Систематическая ошибка публикации.

Позитивные результаты обнародуют охотнее, чем негативные. Допустим, вы только что завершили строго научное повторное исследование, которое показало, что увлечение видеоиграми не препятствует развитию рака толстой кишки.
На протяжении двадцати лет вы обследовали репрезентативную выборку из 100 000 американцев и выяснили, что среди фанатов видеоигр и тех, кто совершенно ими не интересуется, заболеваемость раком толстой кишки находится примерно на одном уровне. Предположим, ваша методология безупречна. Какой из престижных медицинских журналов опубликует результаты данного исследования?

Думаю, никакой. И тому есть две причины. Во-первых, нет ни одной научно обоснованной причины полагать, что увлечение видеоиграми способствует развитию рака толстой кишки, а потому не совсем понятно, зачем вы проводили свое исследование. Во-вторых, тот факт, что некий фактор не препятствует заболеванию раком, не представляет научной ценности. В конце концов, многие вещи этому не препятствует. Негативные результаты не производят особого впечатления – ни в медицине, ни где бы то ни было.

А теперь допустим, что один из ваших приятелей, вместе с которым вы оканчивали магистратуру, провел другое повторное исследование и выяснил, что среди тех, кто много играет в видеоигры, заболевание раком толстой кишки встречается реже. А вот это уже гораздо интереснее! Результаты именно такого рода привлекают повышенное внимание медицинских журналов, популярной прессы, блогеров и разработчиков компьютерных игр (которые не преминут их снабдить надписью о пользе игр для здоровья). Пройдет совсем немного времени, и заботливые мамаши по всей стране бросятся спасать своих детей от рака, выхватывая у них книги из рук и заставляя играть в видеоигры.

Разумеется, согласно важному положению в статистике, необычные явления происходят довольно редко и, как правило, в результате случайного стечения обстоятельств. В одном из 100 аналогичных исследований наверняка обнаружатся нелепые результаты типа взаимозависимости между увлечением видеоиграми и меньшей заболеваемостью раком толстой кишки. Проблема в том, что результаты 99 исследований, которые не выявили такую связь, опубликованы не будут, поскольку малоинтересны. А вот единственное исследование, которое ее обнаружит, попадет в печать и привлечет к себе повышенное внимание.

Источником данной систематической ошибки является не исследование как таковое, а сомнительная информация, которая фактически становится достоянием широкого круга читателей. Тот, кого интересует литература о видеоиграх и заболеваемости раком толстой кишки, найдет публикацию лишь о единственном исследовании, и в ней будет утверждаться, что увлечение видеоиграми предотвращает заболевание раком. Хотя на самом деле результаты 99 исследований из 100 свидетельствуют об отсутствии какой-либо связи.

Да, мой пример несколько абсурден, однако данная проблема вполне реальна и довольно серьезна. Вот первое предложение из статьи в The New York Times, в которой говорится о систематической ошибке публикации, касающейся лекарств от депрессии: «Производители антидепрессантов, таких как Prozak и Paxil, никогда не публиковали результаты примерно трети испытаний своих лекарств, проводившихся, чтобы получить одобрение государственных контролирующих органов. Таким образом производители антидепрессантов вводили в заблуждение врачей и пациентов относительно подлинной эффективности этих препаратов»{54}. Оказывается, были обнародованы данные о 94 % исследований с положительными результатами, касающимися эффективности этих лекарств, и лишь о 14 % исследований с отрицательными результатами. Для пациентов, страдающих депрессией, это крайне важно. Если бы были оглашены результаты всех исследований, то оказалось бы, что в действительности антидепрессанты лишь немногим лучше любого плацебо.

Чтобы справиться с данной проблемой, теперь медицинские журналы, как правило, требуют зарегистрировать любое исследование в самом начале проекта, если предполагается последующая публикация его результатов. Это предоставляет редакторам определенные свидетельства о соотношении позитивных и негативных исходов. Если, например, зарегистрировано 100 исследований по анализу влияния катания на роликовой доске (скейтборде) на развитие сердечно-сосудистых заболеваний, и лишь одно из них будет в конечном счете представлено для публикации с положительными результатами, то редакторы могут заключить, что в ходе других исследований получены отрицательные результаты (или по крайней мере проверить такую вероятность).

<< | >>
Источник: Чарльз Уилан. Голая статистика. Самая интересная книга о самой скучной науке. 2016

Еще по теме Систематическая ошибка публикации.:

  1. Систематическая запись
  2. Систематическое самостоятельное обучение
  3. систематический риск (SR)
  4. Систематической записью
  5. 25. Хронологические и систематические записи
  6. Размещение публикаций в сетевых СМИ
  7. Управление публикациями
  8. Сравнение индивидуального и систематического вклада переменных
  9. АКЦИИ ИЗ ПУБЛИКАЦИЙ
  10. Тестирование рекламы до публикации
  11. 8.3. Написание и публикация статей
  12. Написание и публикация статей