Кризис репликации

Кризис репликации (также кризис воспроизводимости) — это продолжающийся методологический кризис в науке, заключающийся в том, что результаты многих научных исследований, особенно в психологии, социальных науках и медицине, не могут быть воспроизведены (реплицированы) другими независимыми исследователями. Данное явление ставит под сомнение надёжность значительной части опубликованных научных данных и указывает на системные проблемы в практике научных исследований, включая статистические ошибки, публикационное смещение и сомнительные исследовательские практики.

История возникновения и осознания проблемы

Ранние предпосылки

Проблема воспроизводимости научных результатов обсуждалась и ранее, но системный характер она приобрела в начале XXI века. В 2005 году американский эпидемиолог Джон Иоаннидис опубликовал статью «Почему большинство опубликованных исследовательских результатов ложны», в которой на основе математического анализа показал, что для многих областей науки вероятность того, что заявленный результат является истинным, крайне мала из-за низкой статистической мощности исследований и предвзятости.

Проект «Воспроизводимость» (Reproducibility Project)

Ключевым событием, привлёкшим широкое внимание к кризису, стал проект «Воспроизводимость» в психологии, проведённый в 2011–2015 годах под руководством Брайана Носека. В рамках проекта 270 исследователей попытались повторить 100 экспериментов, опубликованных в трёх ведущих психологических журналах. Результаты, опубликованные в журнале Science в 2015 году, показали, что только 36 из 100 попыток репликации дали статистически значимые результаты, аналогичные исходным. Средний размер эффекта в репликациях был примерно вдвое меньше, чем в оригинальных исследованиях.

Другие крупные проекты

В последующие годы были предприняты масштабные попытки репликации и в других областях:

• Экспериментальная экономика: проект, опубликованный в 2016 году, показал, что из 18 исследований в ведущих экономических журналах успешно воспроизведены только 11 (61%).
• Социальная психология: проект «Многие лаборатории» (Many Labs) выявил, что ряд известных эффектов, таких как «прайминг» (влияние неосознаваемых стимулов на поведение), воспроизводятся крайне нестабильно.
• Биомедицина: компания Bayer и проект Reproducibility Project: Cancer Biology показали, что от 65% до 89% результатов доклинических исследований в онкологии не поддаются воспроизведению.

Основные причины кризиса

Статистические и методологические факторы

1. Низкая статистическая мощность: Многие исследования проводятся на малых выборках, что снижает вероятность обнаружения реального эффекта и увеличивает риск ложноположительных результатов.
2. P-хаккинг (p-hacking): Практика манипуляции данными или методами анализа (например, удаление «выбросов», добавление испытуемых, перебор статистических тестов) до получения статистически значимого p-значения (обычно p < 0,05).
3. HARKing (Hypothesizing After the Results are Known): Формулировка гипотезы уже после того, как результаты известны, и представление её как априорной. Это создаёт иллюзию предсказательной силы исследования.
4. Публикационное смещение (publication bias): Научные журналы предпочитают публиковать положительные (значимые) результаты, а не отрицательные или нулевые. Это искажает общую картину, делая её более оптимистичной, чем есть на самом деле.

Социальные и институциональные факторы

1. Система стимулов «публикуйся или погибни» (publish or perish): Карьерный рост, получение грантов и престиж учёного зависят от количества публикаций. Это стимулирует гонку за «значимыми» результатами, а не за надёжными данными.
2. Слабая культура репликации: Воспроизведение чужих исследований часто считается «неоригинальной» работой и не поощряется при приёме на работу или выделении финансирования. Репликации сложнее опубликовать.
3. Давление на получение положительных результатов: Финансирующие организации и академические институты часто ожидают от исследователей прорывных, положительных открытий, что подталкивает к сомнительным практикам.

Области, наиболее затронутые кризисом

Психология

Социальная и когнитивная психология оказались в эпицентре кризиса. Особенно сильно пострадала репутация таких областей, как:

• Социальный прайминг: Исследования, показывавшие, что неосознаваемые стимулы (например, слова, связанные со старостью) могут влиять на скорость ходьбы, не воспроизводятся.
• Эффект «эго-истощения»: Идея о том, что самоконтроль является ограниченным ресурсом, который истощается при использовании, получила лишь слабые и противоречивые подтверждения в крупномасштабных репликациях.

Медицина и фармакология

Кризис репликации в доклинических исследованиях (на клетках и животных) имеет прямые последствия для разработки лекарств. Невоспроизводимые результаты приводят к колоссальным финансовым потерям (миллиарды долларов в год) и к тому, что клинические испытания на людях начинаются на основе ложных предпосылок.

Экономика и социология

В этих областях проблема усугубляется сложностью контроля за всеми переменными в полевых (а не лабораторных) экспериментах. Многие результаты, полученные на специфических выборках (например, на студентах престижных университетов), не обобщаются на более широкие популяции.

Последствия и реакция научного сообщества

Изменение практик

Кризис привёл к ряду реформ в научной методологии:

• Пререгистрация (preregistration): Исследователи всё чаще регистрируют свои гипотезы, план анализа и размер выборки в открытых базах данных до начала сбора данных. Это позволяет отличить априорные гипотезы от апостериорных.
• Открытые данные и материалы: Требование публиковать сырые данные и коды анализа для проверки расчётов становится стандартом для многих журналов.
• Увеличение размера выборок: Ведётся работа по созданию консорциумов для проведения крупномасштабных многоцентровых исследований.
• Использование байесовской статистики: Как альтернатива или дополнение к традиционному NHST (Null Hypothesis Significance Testing), байесовские методы позволяют количественно оценить силу доказательств в пользу гипотезы.

Рост числа репликаций

Появились специализированные проекты и журналы (например, Journal of Articles in Support of the Null Hypothesis, Replications in the Social Sciences), посвящённые публикации репликаций, как успешных, так и неудачных. Крупные инициативы, такие как Center for Open Science, предоставляют инфраструктуру для таких проектов.

Критика самого кризиса

Некоторые учёные утверждают, что масштаб кризиса преувеличен. Они указывают на то, что:

• Репликация редко бывает идеальной; различия в процедурах, популяциях и времени могут объяснять неудачу воспроизведения.
• Критерий статистической значимости (p < 0.05) является лишь одним из инструментов, и полагаться исключительно на него ошибочно.
• Фокус на репликации может подавлять инновационные и рискованные исследования.

Тем не менее, консенсус в научном сообществе заключается в том, что кризис репликации является реальной и серьёзной проблемой, требующей системных изменений в культуре публикаций, финансирования и оценки научной деятельности.

Источники

• Ioannidis, J. P. A. (2005). Why Most Published Research Findings Are False. PLoS Medicine, 2(8), e124.
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
• Camerer, C. F., et al. (2016). Evaluating replicability of laboratory experiments in economics. Science, 351(6280), 1433–1436.
• Begley, C. G., & Ellis, L. M. (2012). Drug development: Raise standards for preclinical cancer research. Nature, 483(7391), 531–533.
• Nosek, B. A., et al. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606.
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11), 1359–1366.