Публикационная предвзятость

Публикационная предвзятость (англ. publication bias) — это систематическое искажение результатов научных исследований, возникающее на этапе отбора и публикации статей в рецензируемых журналах. Проявляется в том, что положительные, значимые или подтверждающие гипотезу результаты публикуются с большей вероятностью, чем отрицательные, незначимые или опровергающие её. Публикационная предвзятость является одной из основных проблем современной научной коммуникации, поскольку приводит к формированию неполной или ложной картины в определённой области знаний.

История

Систематическое изучение публикационной предвзятости началось во второй половине XX века. Одним из первых исследователей, обративших внимание на этот феномен, стал американский психолог Теодор Стерлинг, который в 1959 году показал, что в четырёх ведущих психологических журналах 97% опубликованных статей содержали статистически значимые результаты. В 1979 году английский статистик Майкл Стокерс (Michael Stokers) ввёл термин «проблема «файлового ящика» (file-drawer problem), описывая ситуацию, когда отрицательные результаты остаются неопубликованными и пылятся в ящиках столов учёных.

Широкую известность проблема приобрела после метаанализа, проведённого в 1980-х годах в медицине. Так, в 1986 году группа британских исследователей под руководством Пола Крауфорда показала, что клинические испытания, финансируемые фармацевтическими компаниями, почти в два раза чаще давали положительные результаты, чем независимые исследования. В 2005 году американский врач Джон Иоаннидис опубликовал статью «Почему большинство опубликованных результатов исследований ложны», в которой аргументировал, что из-за публикационной предвзятости значительная часть научных выводов, особенно в биомедицине и психологии, не может быть воспроизведена.

Виды и механизмы

Публикационная предвзятость реализуется через несколько ключевых механизмов, которые могут действовать как независимо, так и совместно.

Предвзятость по направленности результатов

Наиболее распространённый вид — предвзятость в пользу положительных результатов. Исследования, демонстрирующие статистически значимое различие между группами (например, эффективность нового препарата по сравнению с плацебо), публикуются примерно в три раза чаще, чем работы с нулевыми или отрицательными результатами. Лабораторные эксперименты в психологии показывают, что редакторы и рецензенты субъективно оценивают положительные результаты как более качественные, даже при идентичном дизайне.

Предвзятость подтверждения

Связана с тем, что исследователи подсознательно склонны трактовать неоднозначные данные в пользу своей гипотезы. Например, при анализе данных, когда возможны разные статистические методы, учёный может выбрать тот, который даёт значимый результат. В когнитивной психологии это явление известно как «эффект ожидания экспериментатора» или «подтверждающее смещение».

Предвзятость публикации отрицательных результатов

Отрицательные результаты часто считаются «скучными», «незначимыми» или «недостаточно информативными». Редакции журналов нередко отказывают в публикации таких работ, мотивируя это низкой научной ценностью. В ответ исследователи перестают направлять их в редакции, что создаёт замкнутый круг.

Предвзятость по языку и географии

Исследования, проведённые в развитых странах (США, Великобритания, Германия), публикуются в ведущих англоязычных журналах чаще, чем работы из развивающихся стран или написанные на других языках. Это приводит к тому, что результаты, полученные в разных социально-экономических контекстах, остаются неизвестными широкой научной общественности.

Предвзятость по размеру выборки

Малые выборки (менее 20–30 наблюдений) чаще дают ложноположительные результаты, чем большие. Такие исследования публикуются охотнее, если демонстрируют эффект, и реже — если не находят различий. В медицине это особенно опасно: клинические испытания с участием десятков пациентов могут вводить в заблуждение, если они опубликованы, а испытания с сотнями — нет.

Предвзятость по времени

Связана с тем, что исследования, дающие положительные результаты, публикуются быстрее. В некоторых областях (например, в вирусологии во время пандемий) рукописи с положительными данными могут приниматься к публикации в течение нескольких дней, тогда как отрицательные результаты могут ожидать рецензирования месяцами.

Примеры и последствия

Медицина

В 2008 году американский психиатр Эрика Тёрнер (Erica Turner) сравнила опубликованные данные клинических испытаний антидепрессантов с данными, поданными в Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA). Оказалось, что из 74 зарегистрированных испытаний только 51% были опубликованы, причём из них 94% показывали положительный эффект препаратов. Среди неопубликованных — все 100% показывали либо отсутствие эффекта, либо негативное действие. В результате врачи и пациенты получали искажённую картину реальной эффективности лекарств.

Психология

В 2015 году в рамках проекта «Воспроизводимость» (Reproducibility Project) психологи попытались повторить 100 классических экспериментов, опубликованных в ведущих журналах. Успешно воспроизвести удалось лишь 36 из них. Одной из главных причин названа публикационная предвзятость — оригинальные исследования были отобраны для публикации именно из-за ярких положительных результатов.

Экология

Метаанализ 232 экологических исследований показал, что в 68% из них сообщалось о значимых эффектах (например, влияние загрязнителей на популяции). При этом исследования с небольшими выборками давали положительные результаты в 80% случаев, а с большими — в 55%. Это указывает на то, что экологическая наука может переоценивать некоторые угрозы из-за систематического отбора публикуемых данных.

Экономика

В экономических моделях публикационная предвзятость приводит к переоценке роли отдельных факторов роста (например, образования, инвестиций) и недооценке негативных эффектов (таких как коррупция или неравенство). Например, метаанализ 500 исследований по связи между государственным долгом и экономическим ростом показал, что результаты, демонстрирующие отрицательный эффект долга, публиковались в два раза чаще, чем нейтральные или положительные.

Методы выявления и борьбы

Статистические методы

Для обнаружения публикационной предвзятости разработаны различные графические и численные инструменты. Наиболее известный из них — «воронкообразный график» (funnel plot), на котором по вертикальной оси откладывается размер эффекта, а по горизонтальной — точность оценки (обычно обратное значение стандартной ошибки). При отсутствии предвзятости точки образуют симметричную воронку. Асимметрия в сторону положительных результатов указывает на наличие предвзятости. Более строгим является тест Эггера (Egger’s test) — регрессионный анализ, позволяющий количественно оценить степень асимметрии.

Регистрация исследований

Одним из наиболее эффективных способов борьбы с публикационной предвзятостью является обязательная предварительная регистрация клинических испытаний и других исследований. В 2005 году Всемирная организация здравоохранения (ВОЗ) и Международный комитет редакторов медицинских журналов (ICMJE) ввели правило: результаты любого клинического испытания могут быть опубликованы только в том случае, если оно зарегистрировано до начала набора пациентов. В России аналогом является система регистрации клинических исследований в Регистре лекарственных средств (РЛС) и на платформе ClinicalTrials.gov.

Публикация отрицательных результатов

С 2010-х годов появляются журналы, специализирующиеся на публикации отрицательных результатов (например, Journal of Negative Results in Biomedicine, PLOS ONE, который принимает «солидные, а не значимые» результаты). Также разработаны платформы для препринтов (arXiv, bioRxiv, Zenodo), где учёные могут публиковать любые данные до формального рецензирования.

Открытые данные и репликация

Движение за открытую науку (Open Science) требует, чтобы вместе с каждой статьёй публиковались исходные данные и код для анализа. Это позволяет другим исследователям проверить результаты и снижает возможности для манипуляций. Проекты по массовой репликации (например, в психологии и биологии) выявляют работы, чьи выводы не воспроизводятся, что стимулирует авторов более ответственно подходить к отчёту о результатах.

Реформы в издательской практике

В научных журналах внедряются изменения: отказ от акцента на «значимости» (p-значение) в пользу оценки размера эффекта и доверительных интервалов; введение более строгих правил для авторов по отчёту о всех анализах; публикация «открытых отзывов» (open peer review), когда рецензенты подписывают свои отзывы.

Критика и ограничения

Некоторые исследователи утверждают, что публикационная предвзятость не является столь масштабной проблемой, как её представляют. По их мнению, отрицательные результаты всё же публикуются, но реже из-за объективно более низкого качества дизайна. Другие критикуют методы выявления предвзятости: например, асимметрия воронкообразных графиков может возникать не только из-за предвзятости, но и из-за гетерогенности исследований или из-за того, что крупные испытания действительно точнее и дают меньший эффект.

Тем не менее, на современном этапе развития науки публикационная предвзятость признаётся одной из главных угроз достоверности научных знаний. Ведущие научные организации (Национальные академии наук США, Лондонское королевское общество) выпускают руководства по её предотвращению, а многие крупные журналы (Nature, Science) ввели обязательные требования по предварительной регистрации.

Ссылки

• Sterling T.D. Publication decisions and their possible effects on inferences drawn from tests of significance – or vice versa // Journal of the American Statistical Association. — 1959. — Vol. 54, No. 285. — P. 30–34.
• Rosenthal R. The file-drawer problem and tolerance for null results // Psychological Bulletin. — 1979. — Vol. 86, No. 3. — P. 638–641.
• Ioannidis J.P.A. Why most published research findings are false // PLoS Medicine. — 2005. — Vol. 2, No. 8. — e124.
• Turner E.H., Matthews A.M., Linardatos E., Tell R.A., Rosenthal R. Selective publication of antidepressant trials and its influence on apparent efficacy // New England Journal of Medicine. — 2008. — Vol. 358. — P. 252–260.
• Open Science Collaboration. Estimating the reproducibility of psychological science // Science. — 2015. — Vol. 349, No. 6251. — aac4716.
• Egger M., Davey Smith G., Schneider M., Minder C. Bias in meta (организация признана экстремистской, деятельность запрещена в РФ)-analysis detected by a simple, graphical test // British Medical Journal. — 1997. — Vol. 315. — P. 629–634.