Reproducibility Project

Reproducibility Project — это серия крупномасштабных научных инициатив, направленных на систематическую проверку воспроизводимости результатов ранее опубликованных исследований, преимущественно в области психологии, а также в других социальных и биомедицинских науках. Основная цель проектов — оценить, насколько независимые исследовательские группы могут получить те же результаты, используя оригинальные методы и данные, что является фундаментальным принципом научного метода.

История и предпосылки

Кризис воспроизводимости

К середине 2010-х годов в научном сообществе накопилось значительное количество свидетельств о том, что многие результаты, особенно в социальной психологии и психологии личности, не поддаются воспроизведению. Это явление получило название «кризис воспроизводимости» (replication crisis). Среди основных причин выделялись: малые размеры выборок, недостаточная статистическая мощность, сомнительные исследовательские практики (p-hacking, HARKing — гипотезирование после получения результатов), публикационная предвзятость (склонность журналов публиковать только положительные результаты) и недостаточная прозрачность методологии.

Инициация проекта

Первым и наиболее известным проектом стал Reproducibility Project: Psychology (RP:P), инициированный в 2011 году Центром открытой науки (Center for Open Science, COS) под руководством Брайана Носека. Проект представлял собой коллаборацию более 270 исследователей из разных стран, которые добровольно взялись за воспроизведение 100 экспериментальных и корреляционных исследований, опубликованных в 2008 году в трёх ведущих психологических журналах: Journal of Personality and Social Psychology, Journal of Experimental Psychology: Learning, Memory, and Cognition и Psychological Science.

Методология Reproducibility Project: Psychology

Отбор исследований

Для воспроизведения были отобраны 100 статей, опубликованных в 2008 году. Выборка была случайной, но стратифицированной по журналам. Критерии включения: эмпирическое исследование с количественными данными, чётко описанная методология, доступность материалов для репликации.

Процедура репликации

Каждое исследование воспроизводилось независимой командой, которая следовала детальному протоколу, разработанному на основе оригинальной статьи. Команды стремились максимально точно повторить оригинальные процедуры, при необходимости консультируясь с авторами оригинальных работ. Для обеспечения объективности, анализ данных проводился «вслепую» — исследователи, проводившие репликацию, не знали, какие эффекты ожидаются, до завершения сбора данных.

Критерии успешности

Успешность воспроизведения оценивалась по нескольким критериям:

1. Статистическая значимость: если в оригинальном исследовании эффект был статистически значимым (p < 0,05), то в репликации он также должен был достичь этого порога.
2. Размер эффекта: сравнивалась величина эффекта (например, d Коэна или r Пирсона) в оригинале и репликации.
3. Субъективная оценка: сами исследователи, проводившие репликацию, оценивали, насколько успешно им удалось воспроизвести оригинальный результат.

Результаты и выводы

Основные результаты RP:P

Результаты Reproducibility Project: Psychology были опубликованы в журнале Science в 2015 году. Ключевые цифры:

• Статистическая значимость: из 100 репликаций только 36 (36%) показали статистически значимый результат в том же направлении, что и оригинальное исследование. Для сравнения, в оригинальных работах 97 из 100 (97%) были статистически значимы.
• Размер эффекта: средний размер эффекта в репликациях составил примерно половину от среднего размера эффекта в оригинальных исследованиях (медианное значение r = 0,037 против r = 0,197).
• Субъективная оценка: только 39% исследователей, проводивших репликацию, оценили свой результат как «успешное воспроизведение» оригинального эффекта.

Интерпретация

Результаты RP:P были восприняты как серьёзное подтверждение наличия кризиса воспроизводимости в психологии. Однако интерпретация вызвала дискуссии. Критики отмечали, что:

• Низкий уровень воспроизводимости может быть связан не с дефектами оригинальных исследований, а с недостаточной точностью репликаций (например, различия в выборках, времени, культуре).
• Некоторые репликации могли иметь недостаточную статистическую мощность для обнаружения эффектов малого размера.
• Сам критерий статистической значимости (p < 0,05) не является надёжным индикатором истинности эффекта.

Несмотря на критику, RP:P стал катализатором реформ в психологии и других науках. Он привёл к:

• Усилению требований к предварительной регистрации исследований (preregistration).
• Распространению практики открытых данных и материалов.
• Разработке новых статистических методов (например, байесовский подход).
• Созданию специализированных журналов, публикующих репликации (например, Journal of Open Psychology Data).

Другие проекты воспроизводимости

Reproducibility Project: Cancer Biology

В 2013 году был запущен Reproducibility Project: Cancer Biology (RP:CB), также координируемый Центром открытой науки. Проект ставил целью воспроизвести 50 ключевых экспериментальных результатов из области биологии рака, опубликованных в 2010–2012 годах в ведущих журналах (Nature, Cell, Science и др.). Результаты, опубликованные в 2017–2018 годах, оказались ещё более тревожными: из 18 завершённых репликаций только 5 (28%) были признаны успешными. Проект столкнулся с серьёзными методологическими и организационными трудностями, включая отказ авторов оригинальных работ предоставить материалы и данные.

Проекты в других областях

Аналогичные инициативы были запущены в экономике, политологии, нейронауках и клинической медицине. Например, проект Many Labs (2012–2018) под руководством Ричарда Кляйна и др. провёл серию крупномасштабных репликаций известных психологических эффектов (например, эффект прайминга, эффект затруднённого чтения) с участием сотен лабораторий по всему миру. Результаты показали, что некоторые классические эффекты (например, эффект «социального прайминга» возраста) не воспроизводятся, в то время как другие (например, эффект Струпа) воспроизводятся стабильно.

Значение и влияние

Влияние на научную практику

Reproducibility Project и связанные с ним инициативы привели к значительным изменениям в научной культуре:

• Повышение прозрачности: многие журналы теперь требуют обязательной предварительной регистрации исследований, открытого доступа к данным и аналитическим скриптам.
• Изменение критериев оценки: акцент сместился с публикации «новых» и «неожиданных» результатов на надёжность и воспроизводимость.
• Развитие метанауки: возникла новая дисциплина — метанаука, изучающая методы и практики самой науки.
• Создание инфраструктуры: Центр открытой науки разработал платформу Open Science Framework (OSF), которая стала стандартом для регистрации и обмена исследовательскими материалами.

Критика и ограничения

Сами проекты воспроизводимости подвергались критике:

• Методологическая неоднородность: репликации часто не являются точными копиями оригиналов, что затрудняет интерпретацию.
• Статистические проблемы: использование порога p < 0,05 как единственного критерия успеха критикуется как упрощение.
• Публикационная предвзятость: результаты репликаций, особенно неудачных, могут быть менее склонны к публикации, хотя эта проблема постепенно решается.

Несмотря на критику, Reproducibility Project остаётся одним из наиболее значимых методологических проектов в современной науке, продемонстрировавшим необходимость системного пересмотра исследовательских практик.

Источники

• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
• Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature, 533(7604), 452–454.
• Nosek, B. A., & Lakens, D. (2014). Registered reports: A method to increase the credibility of published results. Social Psychology, 45(3), 137–141.
• Errington, T. M., et al. (2014). Reproducibility Project: Cancer Biology. eLife, 3, e04333.
• Klein, R. A., et al. (2014). Investigating variation in replicability: A “many labs” replication project. Social Psychology, 45(3), 142–152.