Публикационное смещение

Публикационное смещение (также известное как «эффект выдвижного ящика», англ. publication bias) — это систематическая ошибка, возникающая в процессе научной коммуникации, когда вероятность публикации результатов исследования зависит от направления и статистической значимости этих результатов, а не от их научной ценности или методологического качества. Это явление приводит к тому, что в научной литературе оказываются непропорционально широко представлены исследования с положительными, статистически значимыми результатами, в то время как работы с нулевыми или отрицательными результатами (не подтверждающими гипотезу) остаются неопубликованными, что искажает общую картину знаний в конкретной области.

История изучения

Термин «публикационное смещение» вошёл в научный обиход во второй половине XX века, хотя само явление было замечено значительно раньше. Одним из первых систематических описаний проблемы считается работа статистика Теодора Стерлинга (Theodore Sterling) 1959 года, который проанализировал статьи в четырёх ведущих психологических журналах и обнаружил, что 97% из них сообщали о статистически значимых результатах. Этот феномен получил название «парадокс Стерлинга».

В 1979 году психолог Роберт Розенталь (Robert Rosenthal) ввёл метафору «проблема выдвижного ящика» (file drawer problem), предположив, что многие исследования с незначимыми результатами так и остаются в ящиках столов исследователей, не доходя до публикации. В 1990-е годы, с развитием мета-анализа, проблема публикационного смещения стала предметом интенсивного изучения, поскольку мета-анализы, объединяющие результаты множества исследований, оказались особенно уязвимыми для этого искажения.

Причины возникновения

Публикационное смещение формируется под влиянием нескольких факторов, действующих на разных этапах научного процесса.

Со стороны исследователей

Авторы исследований часто не заинтересованы в публикации «нулевых» результатов, поскольку они могут восприниматься как неудача. Получение статистически значимых результатов подтверждает исходную гипотезу и повышает шансы на успешную защиту диссертации, получение гранта или продвижение по карьерной лестнице. Кроме того, многие исследователи полагают, что журналы не примут к публикации работу с отрицательными результатами, и поэтому даже не подают такие рукописи.

Со стороны редакторов и рецензентов

Редакторы научных журналов и рецензенты отдают предпочтение статьям, сообщающим о значимых открытиях, так как такие работы привлекают больше внимания и цитирований. Журналы с высоким импакт-фактором реже публикуют исследования с нулевыми результатами, создавая тем самым «порочный круг»: престижные издания публикуют только «положительные» результаты, а авторы, стремясь попасть в такие журналы, избегают подачи «отрицательных» работ.

Со стороны спонсоров и заказчиков

В прикладных областях, особенно в медицине и фармакологии, спонсоры исследований (например, фармацевтические компании) могут быть заинтересованы в публикации только тех результатов, которые демонстрируют эффективность их препарата. Исследования, показавшие неэффективность или вред, могут намеренно не публиковаться или задерживаться на годы.

Виды и проявления

Публикационное смещение проявляется в нескольких формах:

• Смещение по направлению результатов: наиболее распространённый тип, при котором публикуются исследования с положительными (подтверждающими гипотезу) результатами.
• Смещение по значимости: публикуются только работы, достигшие статистической значимости (p < 0,05).
• Смещение по языку: исследования с положительными результатами чаще публикуются в англоязычных международных журналах, а с отрицательными — в местных изданиях.
• Смещение по доступности: работы с положительными результатами быстрее и легче находятся в базах данных, так как они чаще цитируются и индексируются.
• Смещение по времени: исследования с положительными результатами публикуются быстрее, чем с отрицательными (эффект «задержки публикации»).

Последствия

Публикационное смещение имеет серьёзные последствия для науки и практики.

Искажение мета-анализов

Мета-анализы, основанные на опубликованной литературе, переоценивают величину эффекта и могут делать ложные выводы об эффективности вмешательств. Например, в мета-анализе клинических испытаний антидепрессантов, проведённом в 2008 году, было показано, что включение неопубликованных данных снижает общую оценку эффективности препаратов на 11–69%.

Репликационный кризис

Публикационное смещение является одной из причин так называемого «кризиса воспроизводимости» в психологии, биомедицине и других науках. Многие опубликованные результаты не удаётся воспроизвести в независимых лабораториях, отчасти потому, что в литературе зафиксированы только «удачные» попытки.

Влияние на клиническую практику

В медицине публикационное смещение может приводить к тому, что врачи и пациенты получают искажённую информацию об эффективности и безопасности лекарств. Это может повлечь за собой назначение неэффективных или даже вредных методов лечения.

Искажение научного знания

В долгосрочной перспективе публикационное смещение формирует неполную и смещённую картину реальности в научной литературе. Гипотезы, которые на самом деле неверны, могут казаться подтверждёнными, а истинные эффекты — недооценёнными.

Методы выявления и коррекции

Для выявления публикационного смещения разработаны статистические методы:

• Воронкообразная диаграмма (funnel plot): график, на котором по оси X откладывается величина эффекта, а по оси Y — размер выборки (или стандартная ошибка). При отсутствии смещения точки образуют симметричную «воронку». Асимметрия воронки указывает на возможное публикационное смещение.
• Тест Эггера (Egger’s test): регрессионный тест для статистической оценки асимметрии воронкообразной диаграммы.
• Метод «trim and fill»: процедура, которая оценивает, сколько исследований «не хватает» для симметрии воронки, и корректирует общую оценку эффекта.
• Тест Розенталя (fail-safe N): расчёт количества неопубликованных исследований с нулевыми результатами, необходимых для того, чтобы опровергнуть выводы мета-анализа.

Меры по снижению

В последние десятилетия научное сообщество предпринимает шаги для борьбы с публикационным смещением:

• Регистрация исследований: предварительная регистрация протоколов клинических испытаний (например, на ClinicalTrials.gov) и других исследований в открытых реестрах позволяет отслеживать, какие работы были начаты, и сравнивать их с опубликованными результатами.
• Публикация протоколов: многие журналы начали принимать к публикации протоколы исследований до получения результатов, что снижает стимул к «выборочной» публикации.
• Журналы для отрицательных результатов: появились специализированные издания (например, Journal of Negative Results in Biomedicine, PLOS ONE), которые публикуют работы независимо от направления результатов.
• Открытая наука и репозитории данных: размещение сырых данных и препринтов в открытом доступе позволяет другим исследователям проверять результаты и выявлять возможные смещения.
• Требования к отчётности: рекомендации CONSORT (для клинических испытаний) и PRISMA (для систематических обзоров) требуют авторов сообщать о всех проанализированных исходах, а не только о значимых.

Примеры

Одним из наиболее известных примеров публикационного смещения является история с антидепрессантами селективными ингибиторами обратного захвата серотонина (СИОЗС). В 2008 году группа исследователей под руководством Эрика Тёрнера (Erick Turner) проанализировала данные, поданные в Управление по контролю за продуктами и лекарствами США (FDA), и сравнила их с опубликованными статьями. Оказалось, что из 74 зарегистрированных испытаний 37 показали положительные результаты, и 36 из них были опубликованы. Из 37 испытаний с отрицательными или неоднозначными результатами только 14 были опубликованы, причём 11 из них были представлены в публикациях как положительные.

Другой пример — исследования эффективности акупунктуры. Мета-анализы, включающие только опубликованные работы, часто показывают значительный эффект, но при учёте неопубликованных данных и «серой литературы» (диссертации, тезисы конференций) величина эффекта существенно снижается.

Источники

• Sterling, T. D. (1959). Publication decisions and their possible effects on inferences drawn from tests of significance—or vice versa. Journal of the American Statistical Association, 54(285), 30–34.
• Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638–641.
• Turner, E. H., Matthews, A. M., Linardatos, E., Tell, R. A., & Rosenthal, R. (2008). Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine, 358(3), 252–260.
• Egger, M., Smith, G. D., Schneider, M., & Minder, C. (1997). Bias in meta (организация признана экстремистской, деятельность запрещена в РФ)-analysis detected by a simple, graphical test. BMJ, 315(7109), 629–634.
• Duval, S., & Tweedie, R. (2000). Trim and fill: a simple funnel-plot–based method of testing and adjusting for publication bias in meta-analysis. Biometrics, 56(2), 455–463.
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124.
• Боренштейн, М., Хеджес, Л. В., Хиггинс, Дж. П. Т., & Ротштейн, Х. Р. (2009). Введение в мета-анализ. John Wiley & Sons.