Кризис воспроизводимости

Кризис воспроизводимости — это продолжающееся методологическое явление в науке, заключающееся в том, что результаты значительной доли опубликованных научных исследований не могут быть воспроизведены другими учёными при повторении эксперимента или анализа по тем же методикам. Термин получил широкое распространение в 2010-х годах, особенно в психологии, биомедицине и экономике, и стал предметом интенсивных дискуссий о качестве научной работы, эффективности системы рецензирования и стимулах в академической среде.

История возникновения и распространения термина

Хотя отдельные случаи невоспроизводимости известны с начала XX века, системное осознание проблемы началось в 2000-х годах. В 2005 году американский врач и статистик Джон Иоаннидис опубликовал статью «Почему большинство опубликованных исследовательских результатов ложны», в которой на математических моделях показал, что в условиях малых выборок, слабых эффектов и большого числа проверяемых гипотез доля ложноположительных результатов в литературе может превышать 50 %.

В 2011 году в социальной психологии разразился скандал вокруг фабрикации данных Дирком Сместерсом, что привлекло внимание к проблеме. В 2012 году проект «Reproducibility Project: Psychology» под руководством Центра открытой науки (Center for Open Science) начал систематическое воспроизведение 100 экспериментов из трёх ведущих психологических журналов. Результаты, опубликованные в 2015 году в журнале Science, показали, что успешно воспроизведены лишь 36 из 100 исследований (36 %), причём средний размер эффекта в воспроизведениях был вдвое меньше, чем в оригинальных работах.

В 2016 году аналогичный проект «Reproducibility Project: Cancer Biology» начал воспроизведение экспериментов из 50 высокоцитируемых статей по онкологии. К 2021 году были завершены проверки лишь 18 экспериментов из-за сложностей и затрат; из них успешно воспроизведены 5 (28 %). В 2018 году опрос журнала Nature показал, что 90 % респондентов-учёных признают существование кризиса воспроизводимости, а 52 % считают его серьёзной проблемой для науки.

Основные причины

Статистические и методологические факторы

• Низкая статистическая мощность: многие исследования проводятся на выборках недостаточного размера, чтобы надёжно обнаружить реальный эффект. Типичная мощность в психологических исследованиях оценивается в 20–50 %, что означает высокую вероятность пропустить истинный эффект или получить ложноположительный результат.
• p-хакинг (p-hacking): манипуляции с данными или анализом для получения статистически значимого p-значения (<0,05). Это включает добавление или удаление наблюдений, выбор подходящего статистического теста, дробление выборки на подгруппы.
• HARKing (Hypothesizing After the Results are Known): формулирование гипотез уже после получения результатов, что создаёт иллюзию предсказательной силы исследования.
• Малые размеры эффекта: многие эффекты, особенно в социальных науках, невелики, и их трудно воспроизвести даже при корректной методологии.
• Публикационное смещение (publication bias): журналы предпочитают публиковать положительные и статистически значимые результаты, тогда как нулевые результаты (отсутствие эффекта) остаются неопубликованными.

Системные и институциональные факторы

• Давление «публикуйся или погибни» (publish or perish): карьерный рост, получение грантов и должностей зависят от количества публикаций, что стимулирует учёных к получению «красивых» результатов, а не к тщательной проверке.
• Недостаточное рецензирование: рецензенты и редакторы редко проверяют исходные данные и код анализа, фокусируясь на интерпретации результатов.
• Отсутствие стандартов отчётности: во многих дисциплинах нет обязательных требований к детальному описанию методов, размещению данных и кода.
• Стимулы к новизне: журналы и грантовые агентства ценят новые и неожиданные результаты, а не воспроизведения, которые считаются рутинной работой.

Области, наиболее затронутые кризисом

Психология

Социальная и когнитивная психология стали эпицентром кризиса. Помимо проекта 2015 года, в 2018 году «Many Labs 2» — международное сотрудничество 186 лабораторий — воспроизвёл 28 классических эффектов, из которых успешно воспроизведены 13 (46 %). Среди невоспроизведённых оказались такие известные эффекты, как «прайминг» (влияние неосознаваемых стимулов на поведение) и «эффект социальной лености».

Биомедицина

В 2012 году компания Amgen сообщила, что из 53 «знаковых» исследований по онкологии и гематологии воспроизведены только 6 (11 %). Bayer в 2011 году заявил о воспроизводимости лишь 20–25 % из 67 внутренних проверок. Проблема особенно остра в доклинических исследованиях, где используются клеточные линии и животные модели.

Экономика

В 2016 году проект «Reproducibility Project: Economics» начал воспроизведение 18 статей из ведущих экономических журналов. К 2020 году были завершены проверки 16 статей, из которых успешно воспроизведены 9 (56 %). Основные проблемы — неполный доступ к данным и коду, а также сложность воспроизведения полевых экспериментов.

Другие области

• Нейронауки: исследования функциональной магнитно-резонансной томографии (фМРТ) страдают от малых выборок и гибкости анализа. В 2020 году проект «NARPS» показал, что 70 независимых команд, анализируя одни и те же данные фМРТ, получили широкий спектр результатов, включая как значимые, так и незначимые эффекты.
• Политология: в 2018 году проект «Reproducibility Project: Political Science» воспроизвёл 18 из 21 исследования (86 %), но при этом средний размер эффекта в воспроизведениях был на 50 % ниже.
• Химия и материаловедение: проблемы с воспроизводимостью синтеза наноматериалов и катализаторов связаны с недостаточной детализацией методик и вариабельностью реагентов.

Последствия

Для научного сообщества

• Снижение доверия к опубликованным результатам: учёные всё чаще относятся к литературе скептически, что замедляет прогресс, так как новые исследования опираются на непроверенные данные.
• Потеря ресурсов: невоспроизводимые исследования ведут к напрасной трате грантовых средств, времени и усилий исследователей. Оценки показывают, что ежегодные потери от невоспроизводимости в доклинических исследованиях составляют около 28 миллиардов долларов США.
• Ущерб репутации науки: публичные скандалы и ретракции (отзывы) статей подрывают доверие общества к науке.

Для практики и политики

• Медицина: невоспроизводимые доклинические исследования могут приводить к клиническим испытаниям неэффективных или опасных препаратов. Например, в 2010-х годах было показано, что многие исследования по стволовым клеткам и генной терапии невоспроизводимы, что задержало разработку реальных методов лечения.
• Экономика и политика: рекомендации, основанные на невоспроизводимых результатах, могут приводить к неэффективным государственным расходам и ошибочным решениям.

Меры по преодолению

Предрегистрация и регистрационные отчёты

Предрегистрация (preregistration) — публичное депонирование плана исследования, гипотез и методов до сбора данных. Регистрационные отчёты (Registered Reports) — формат публикации, при котором статья принимается к публикации на основе плана исследования, а не результатов. Этот подход внедрён в более чем 300 журналах, включая Nature Human Behaviour и Cortex.

Открытая наука

• Открытые данные и код: размещение сырых данных и программного кода в репозиториях (например, Open Science Framework, Figshare, Zenodo) позволяет другим учёным проверять анализ.
• Препринты: ранняя публикация рукописей до рецензирования (например, на arXiv, bioRxiv, PsyArXiv) ускоряет обмен информацией и позволяет выявлять ошибки до формальной публикации.
• Открытое рецензирование: публикация рецензий и имён рецензентов повышает прозрачность.

Повышение статистической грамотности

• Обучение статистике: включение в учебные программы курсов по современным статистическим методам, включая байесовскую статистику, мета-анализ и методы коррекции множественных сравнений.
• Использование доверительных интервалов и размеров эффекта: вместо простого p-значения рекомендуется публиковать доверительные интервалы и стандартизированные размеры эффекта.

Институциональные реформы

• Изменение критериев оценки учёных: переход от количественных показателей (число публикаций, импакт-фактор) к качественным, включая воспроизводимость, открытость и вклад в методологию.
• Финансирование воспроизведений: выделение грантов на прямые и концептуальные воспроизведения. Например, программа «Reproducibility Initiative» (США) финансирует независимые воспроизведения.
• Создание репозиториев невоспроизводимых результатов: журнал «ReScience» публикует только воспроизведения, а «Journal of Negative Results» — нулевые результаты.

Критика концепции

Некоторые учёные считают, что термин «кризис» преувеличен. Они указывают, что:

• Невоспроизводимость — естественное свойство науки, которая всегда была самокорректирующейся системой.
• Многие невоспроизводимые результаты могут быть ложноположительными, но они не обязательно вредят науке, если впоследствии опровергаются.
• Воспроизведение не всегда возможно из-за уникальных условий (например, полевые исследования, исторические события) или этических ограничений.
• Фокус на воспроизводимости может подавлять инновационные и рискованные исследования, которые часто дают ложноположительные результаты, но могут привести к прорывам.

Тем не менее, большинство исследователей признают необходимость системных улучшений, и термин «кризис воспроизводимости» продолжает использоваться для обозначения совокупности методологических и институциональных проблем, требующих решения.

Источники

• Ioannidis J. P. A. Why Most Published Research Findings Are False // PLoS Medicine. — 2005. — Vol. 2, № 8. — e124.
• Open Science Collaboration. Estimating the reproducibility of psychological science // Science. — 2015. — Vol. 349, № 6251. — aac4716.
• Baker M. 1,500 scientists lift the lid on reproducibility // Nature. — 2016. — Vol. 533, № 7604. — P. 452–454.
• Begley C. G., Ellis L. M. Raise standards for preclinical cancer research // Nature. — 2012. — Vol. 483, № 7391. — P. 531–533.
• Camerer C. F. et al. Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015 // Nature Human Behaviour. — 2018. — Vol. 2, № 9. — P. 637–644.
• Nosek B. A. et al. The preregistration revolution // Proceedings of the National Academy of Sciences. — 2018. — Vol. 115, № 11. — P. 2600–2606.
• Munafò M. R. et al. A manifesto for reproducible science // Nature Human Behaviour. — 2017. — Vol. 1, № 1. — 0021.