Проект «Many Labs 3

Проект «Many Labs 3» — это международный репликационный проект в области социальной психологии, направленный на независимую проверку достоверности и воспроизводимости результатов ранее опубликованных психологических экспериментов. Проект был организован в 2016 году под руководством американского психолога Ричарда Кляйна (Richard Klein) и стал третьим в серии масштабных инициатив «Many Labs», нацеленных на оценку состояния реплицируемости в психологической науке.

История и контекст

Проект «Many Labs 3» возник на фоне кризиса воспроизводимости в психологии, который активно обсуждался в научном сообществе с начала 2010-х годов. Предшествующие проекты серии — «Many Labs 1» (2013–2014) и «Many Labs 2» (2015–2016) — выявили, что значительная часть классических и современных психологических эффектов не воспроизводится при строгом соблюдении методологии. В отличие от них, «Many Labs 3» был спроектирован с акцентом на проверку конкретных, хорошо известных эффектов, которые ранее демонстрировали неоднозначные результаты или были подвергнуты критике за методологические недостатки.

Организатором выступил Ричард Кляйн из Университета Северной Флориды, а координационную поддержку оказали Центр открытой науки (Center for Open Science) и ряд других академических институтов. В проекте приняли участие более 50 исследовательских групп из разных стран мира, включая лаборатории из США, Великобритании, Германии, Нидерландов, Австралии, Китая и России. Участие российских учёных было организовано через лаборатории Московского государственного университета имени М. В. Ломоносова и Высшей школы экономики.

Методология

Проект «Many Labs 3» отличался строгим протоколом, разработанным для минимизации систематических ошибок и повышения надёжности результатов.

Выбор эффектов для проверки

Были отобраны 10 психологических эффектов, которые ранее вызывали споры или демонстрировали низкую воспроизводимость. Среди них:

• Эффект «прайминга» (влияние неосознаваемых стимулов на последующее поведение);
• Эффект «когнитивного диссонанса» (изменение установок для уменьшения дискомфорта от противоречия);
• Эффект «социальной лености» (снижение усилий индивида в групповой работе);
• Эффект «анкерного якоря» (влияние первой информации на последующие оценки);
• Эффект «фрейминга» (влияние формулировки вопроса на ответ);
• Эффект «самоубеждения» (изменение отношения через собственные действия);
• Эффект «иллюзорной корреляции» (ложное восприятие связи между редкими событиями);
• Эффект «забывания намерений» (ошибки при выполнении запланированных действий);
• Эффект «социальной фасилитации» (улучшение выполнения простых задач в присутствии других);
• Эффект «эффекта ореола» (перенос общего впечатления на частные качества).

Процедура

Каждый эффект проверялся по единому протоколу, включающему:

• Точное воспроизведение оригинальной процедуры (материалы, инструкции, стимулы);
• Стандартизированные выборки (каждая лаборатория набирала не менее 100 участников из числа студентов или добровольцев);
• Предварительная регистрация (pre-registration) гипотез и плана анализа данных на платформе Open Science Framework;
• Слепой анализ (аналитики не знали, какие гипотезы проверяются);
• Мета-анализ объединённых данных из всех лабораторий.

Все данные, материалы и скрипты анализа были открыты для проверки и повторного использования.

Результаты

Основные результаты проекта «Many Labs 3» были опубликованы в 2018 году в журнале Social Psychological and Personality Science.

Воспроизводимость

Из 10 проверенных эффектов только 3 были воспроизведены с высокой степенью достоверности:

• Эффект «социальной лености» (подтверждён в 9 из 10 лабораторий);
• Эффект «анкерного якоря» (подтверждён в 8 из 10 лабораторий);
• Эффект «фрейминга» (подтверждён в 7 из 10 лабораторий).

Остальные 7 эффектов показали статистически незначимые результаты или эффекты малой величины, не соответствующие исходным публикациям. В частности, эффект «прайминга» (связанный с концепцией «бессознательного влияния») не был воспроизведён ни в одной из лабораторий, что усилило сомнения в его реальности.

Факторы, влияющие на воспроизводимость

Анализ показал, что ключевыми факторами, определяющими успешность репликации, являются:

• Размер выборки (чем больше участников, тем выше вероятность обнаружения реального эффекта);
• Чёткость операционализации (конкретность и однозначность определения переменных);
• Отсутствие «гибкости» в анализе (предварительная регистрация снижает вероятность ложноположительных результатов);
• Культурные и контекстуальные различия (некоторые эффекты проявляются только в определённых социальных средах).

Критика и ограничения

Проект «Many Labs 3» получил как одобрение, так и критику. Сторонники отмечали его вклад в повышение прозрачности и методологической строгости психологических исследований. Критики указывали на:

• Недостаточную точность воспроизведения некоторых оригинальных экспериментов (например, изменение условий проведения могло повлиять на результаты);
• Возможную систематическую ошибку в отборе эффектов (выбирались те, которые уже вызывали сомнения, что могло занизить общую оценку воспроизводимости);
• Ограниченность выборок (преимущественно студенты западных университетов, что снижает внешнюю валидность).

Значение и влияние

Проект «Many Labs 3» стал важным этапом в развитии метанауки и движения за открытую науку. Его результаты:

• Укрепили позиции сторонников строгой репликации как обязательного элемента научного метода;
• Стимулировали внедрение предварительной регистрации и открытых данных в психологических журналах;
• Повлияли на пересмотр ряда учебных курсов по социальной психологии, где ранее некритично излагались неподтверждённые эффекты;
• Способствовали развитию международного сотрудничества и созданию инфраструктуры для крупномасштабных репликационных проектов (например, «Many Labs 4» и «Many Labs 5»).

В России результаты проекта обсуждались на конференциях по методологии психологии, а также были включены в программы повышения квалификации для исследователей в области социальных наук.

См. также

• Кризис воспроизводимости
• Репликация (научный метод)
• Мета-анализ
• Открытая наука
• Проект «Many Labs 1»
• Проект «Many Labs 2»

Источники

• Klein, R. A., et al. (2018). Many Labs 3: Evaluating the replicability of 10 social psychological effects. Social Psychological and Personality Science, 9(3), 248–265.
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
• Nosek, B. A., et al. (2012). Scientific standards: Promoting an open research culture. Science, 348(6242), 1422–1425.
• Chambers, C. D. (2017). The seven deadly sins of psychology: A manifesto for reforming the culture of scientific practice. Princeton University Press.
• Материалы конференции «Методология и методы психологии» (Москва, 2019), секция «Репликационные исследования в психологии».