Проект «Воспроизводимость

Проект «Воспроизводимость» — это международная научная инициатива, направленная на систематическую проверку и оценку воспроизводимости результатов, опубликованных в рецензируемых научных журналах. Основная цель проекта — выявление степени надёжности и достоверности эмпирических данных в различных областях науки, а также стимулирование повышения качества исследований за счёт внедрения стандартов открытой науки, предварительной регистрации протоколов и публикации «сырых» данных.

История

Идея масштабной проверки воспроизводимости возникла в начале 2010-х годов на фоне так называемого «кризиса воспроизводимости» — осознания того, что значительная часть опубликованных результатов, особенно в психологии, биомедицине и экономике, не может быть воспроизведена независимыми исследователями. Одним из первых крупных проектов стал Reproducibility Project: Psychology (RP:P), запущенный в 2011 году под эгидой Центра открытой науки (Center for Open Science, COS). В 2015 году были опубликованы результаты: из 100 статей из трёх ведущих психологических журналов удалось воспроизвести лишь 36—47% эффектов, причём средний размер эффекта в воспроизведениях был примерно вдвое меньше, чем в оригинальных работах.

Вслед за этим последовали проекты в других дисциплинах. В 2016 году стартовал Reproducibility Project: Cancer Biology, нацеленный на проверку результатов 53 ключевых исследований в области онкологии. К 2021 году было завершено лишь 18 воспроизведений, из которых только 5 подтвердили оригинальные выводы. В 2018 году начался Experimental Economics Replication Project, охвативший 18 лабораторных экспериментов в экономике: воспроизведены были 11 из 18. В 2020 году был запущен Social Sciences Replication Project, в рамках которого проверялись 21 статья из журналов Nature и Science за 2010—2015 годы — воспроизведены 13 из 21.

Методология

Проекты «Воспроизводимость» обычно следуют стандартизированному протоколу, включающему несколько этапов:

1. Отбор исследований. Выбираются статьи, опубликованные в рецензируемых журналах, часто — из числа наиболее цитируемых или влиятельных. Критерии отбора могут включать год публикации, область науки, доступность данных.
2. Предварительная регистрация. Команда воспроизведения заранее регистрирует план анализа, дизайн эксперимента и методы статистической обработки в открытых реестрах (например, Open Science Framework), чтобы избежать «подгонки» результатов.
3. Сбор данных. Независимые исследователи (часто — несколько лабораторий) проводят эксперименты или анализируют существующие наборы данных, стараясь максимально точно повторить оригинальные условия.
4. Анализ и сравнение. Результаты воспроизведения сравниваются с оригинальными по нескольким критериям:

• Статистическая значимость (p-значение);
• Размер эффекта (например, Коэна d, отношение шансов);
• Направление эффекта (совпадает ли знак);
• Качественное заключение (подтверждает ли воспроизведение основной вывод).

1. Публикация отчёта. Результаты публикуются в открытом доступе, часто в виде препринтов или статей в специализированных журналах (например, eLife, PLOS ONE, Royal Society Open Science).

Основные проекты

Reproducibility Project: Psychology (RP:P)

• Организатор: Центр открытой науки (COS, США).
• Период: 2011—2015.
• Объём: 100 статей из трёх журналов (Journal of Personality and Social Psychology, Journal of Experimental Psychology: Learning, Memory, and Cognition, Psychological Science).
• Результаты: 36% воспроизведений показали статистически значимый эффект (против 97% в оригинальных статьях); средний размер эффекта уменьшился на 50%.
• Значение: Проект стал катализатором реформ в психологии, включая внедрение предварительной регистрации и отчётов о проверке мощности.

Reproducibility Project: Cancer Biology (RP:CB)

• Организатор: Science Exchange и COS.
• Период: 2013—2021.
• Объём: 53 ключевые статьи из онкологии (выбраны из Nature, Cell, Science и др.).
• Результаты: Из 18 завершённых воспроизведений только 5 (28%) подтвердили оригинальные выводы; 4 показали частичное подтверждение; 9 — не подтвердили.
• Значение: Выявил серьёзные проблемы с воспроизводимостью в доклинических исследованиях рака, что привело к ужесточению требований к публикации данных и методов.

Experimental Economics Replication Project (EERP)

• Организатор: Университет Цюриха и другие.
• Период: 2016—2018.
• Объём: 18 лабораторных экспериментов из экономических журналов.
• Результаты: 11 из 18 (61%) воспроизведены; размер эффекта в среднем снизился на 30%.
• Значение: Продемонстрировал, что экономические эксперименты имеют более высокую воспроизводимость, чем психологические, но всё ещё далеки от идеала.

Social Sciences Replication Project (SSRP)

• Организатор: Университет Виргинии и другие.
• Период: 2018—2020.
• Объём: 21 статья из Nature и Science (2010—2015) в области социальных наук.
• Результаты: 13 из 21 (62%) воспроизведены; размер эффекта в среднем снизился на 40%.
• Значение: Показал, что даже в самых престижных журналах уровень воспроизводимости не превышает 70%.

Many Labs Projects

• Организатор: COS и международные консорциумы.
• Период: 2013—2020 (несколько волн: Many Labs 1, 2, 3, 4, 5).
• Объём: От 10 до 50 классических экспериментов в каждой волне, проводимых в десятках лабораторий по всему миру.
• Результаты: Воспроизводимость варьировалась от 50% до 80% в зависимости от дизайна и условий.
• Значение: Выявил влияние культурных, языковых и процедурных факторов на воспроизводимость.

Критика и ограничения

Проекты «Воспроизводимость» подвергаются критике по нескольким направлениям:

• Методологические расхождения. Критики утверждают, что точное воспроизведение невозможно из-за различий в оборудовании, популяции, времени проведения или интерпретации протоколов. Неудачное воспроизведение может быть следствием не ошибки оригинала, а несовершенства копии.
• Статистическая мощность. Многие воспроизведения имеют малую выборку, что снижает способность обнаружить реальный эффект. В проекте RP:P средняя мощность воспроизведений составляла около 50%, что могло занизить уровень воспроизводимости.
• Искажение отбора. Проекты часто выбирают статьи с высоким уровнем цитирования или сенсационными результатами, которые могут быть менее надёжными. Это создаёт смещение в сторону низкой воспроизводимости.
• Эффект «публикационной предвзятости». Оригинальные исследования, скорее всего, были опубликованы именно потому, что дали статистически значимые результаты. Воспроизведения, напротив, не подвержены такому отбору, что может искусственно снижать процент успешных воспроизведений.
• Воспроизводимость как узкий критерий. Некоторые учёные считают, что воспроизводимость — лишь один из аспектов надёжности, и что акцент на ней может отвлекать от других проблем, таких как внутренняя валидность, теоретическая обоснованность или практическая значимость.

Влияние на научную практику

Несмотря на критику, проекты «Воспроизводимость» оказали значительное влияние на развитие научной методологии:

• Предварительная регистрация. Многие журналы (например, Psychological Science, Nature Human Behaviour) теперь требуют регистрации протоколов до сбора данных.
• Открытые данные и код. Всё больше изданий поощряют или требуют публикации «сырых» данных и аналитических скриптов.
• Реформы рецензирования. Внедряются «слепые» рецензии, проверка на статистические ошибки, а также публикация «отрицательных» результатов.
• Образовательные программы. В университетах читаются курсы по воспроизводимости и открытой науке (например, в МГУ имени М. В. Ломоносова, НИУ ВШЭ, СПбГУ).
• Финансирование. Национальные научные фонды (Российский научный фонд, РНФ, в России; Национальный научный фонд, NSF, в США) начали учитывать воспроизводимость при оценке заявок.

Проект «Воспроизводимость» в России

В России систематические проекты по проверке воспроизводимости начали реализовываться с 2018 года. В 2019 году на базе Института психологии РАН был запущен Российский проект воспроизводимости (РПВ), нацеленный на проверку результатов 30 статей из российских психологических журналов (Вопросы психологии, Психологический журнал, Экспериментальная психология). К 2022 году были завершены 12 воспроизведений, из которых 7 подтвердили оригинальные результаты. В 2020 году стартовал Проект «Воспроизводимость» в биомедицине (Санкт-Петербургский государственный университет), охвативший 15 статей по нейробиологии и фармакологии. Результаты показали воспроизводимость на уровне 40—50%. В 2021 году Российский фонд фундаментальных исследований (РФФИ) объявил конкурс на поддержку проектов по воспроизводимости, однако в 2022 году фонд был ликвидирован, и его функции переданы РНФ.

Перспективы

Дальнейшее развитие проектов «Воспроизводимость» связано с автоматизацией проверок (использование алгоритмов для выявления статистических аномалий), созданием международных реестров воспроизведений, а также внедрением «краудсорсинговых» моделей, при которых проверку могут проводить студенты и волонтёры под руководством опытных исследователей. Ожидается, что к 2030 году большинство ведущих научных журналов будут требовать обязательной предварительной регистрации и публикации данных, что повысит общий уровень воспроизводимости до 70—80%.

Источники

• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
• Errington, T. M., et al. (2021). Reproducibility in cancer biology: An assessment of 18 replication studies. eLife, 10, e67995.
• Camerer, C. F., et al. (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour, 2, 637—644.
• Camerer, C. F., et al. (2016). Evaluating replicability of laboratory experiments in economics. Science, 351(6280), 1433—1436.
• Klein, R. A., et al. (2014). Investigating variation in replicability: A “many labs” replication project. Social Psychology, 45(3), 142—152.
• Носов, И. А., & Шевелёв, А. В. (2022). Российский проект воспроизводимости: первые результаты. Психологический журнал, 43(2), 5—14.
• Munafò, M. R., et al. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1, 0021.