HARKing

HARKing (аббревиатура от англ. Hypothesizing After the Results are Known — «выдвижение гипотез после того, как результаты известны») — это научная недобросовестность, заключающаяся в представлении post-hoc гипотез (сформулированных после получения и анализа данных) как априорных (выдвинутых до сбора данных). Данная практика нарушает принципы подтверждающего исследования (confirmatory research), поскольку искажает статистическую значимость результатов и вводит в заблуждение научное сообщество относительно истинной природы проверяемых предположений.

История термина и контекст

Термин «HARKing» был введён в научный оборот американским психологом Норбертом Керром (Norbert Kerr) в 1998 году в статье «HARKing: Hypothesizing After the Results are Known» (Personality and Social Psychology Review). Керр определил HARKing как одну из форм сомнительных исследовательских практик (questionable research practices, QRPs), наряду с p-хакством (p-hacking) и селективным отчётом (selective reporting).

Проблема HARKing стала особенно актуальной в контексте кризиса воспроизводимости (replication crisis) в психологии и других социальных науках, который активно обсуждается с начала 2010-х годов. Исследования показывают, что HARKing широко распространён: по данным опросов, от 30% до 60% учёных признаются в том, что хотя бы раз прибегали к этой практике.

Механизм и виды HARKing

Классическая форма

Классический HARKing происходит, когда исследователь:

1. Собирает данные без чётко сформулированных априорных гипотез (или с гипотезами, которые не подтвердились).
2. Анализирует данные, обнаруживая неожиданные, но статистически значимые закономерности.
3. Формулирует новые гипотезы, объясняющие эти закономерности.
4. Представляет эти гипотезы в отчёте как изначально предполагавшиеся.

Разновидности

Норберт Керр выделил несколько вариантов HARKing:

• Полный HARKing (full HARKing) — все гипотезы в статье являются post-hoc.
• Частичный HARKing (partial HARKing) — часть гипотез является априорными, часть — post-hoc, но все представлены как априорные.
• HARKing с неявным признанием (implicit HARKing) — автор не указывает, что гипотезы были сформулированы после анализа данных, но не утверждает прямо, что они были априорными.

Причины и мотивация

Исследователи выделяют несколько факторов, способствующих HARKing:

• Давление на публикацию (publish or perish) — требование к учёным публиковать большое количество статей в рецензируемых журналах.
• Предвзятость к положительным результатам (publication bias) — научные журналы предпочитают публиковать статьи со статистически значимыми результатами, а не с нулевыми гипотезами.
• Структура академических статей — стандартный формат IMRAD (Introduction, Methods, Results, Discussion) предполагает, что гипотезы формулируются до описания результатов, что не оставляет места для post-hoc анализа.
• Недостаток методологической грамотности — некоторые исследователи не осознают разницу между подтверждающим и разведочным (exploratory) анализом данных.

Последствия для науки

HARKing наносит серьёзный ущерб научному процессу:

• Искусственное завышение статистической значимости — post-hoc гипотезы, проверенные на тех же данных, на которых они были сформулированы, имеют завышенный уровень ложноположительных результатов (Type I error).
• Снижение воспроизводимости — результаты, полученные с помощью HARKing, с высокой вероятностью не воспроизводятся на независимых выборках.
• Искажение научной литературы — накопление ложноположительных результатов создаёт иллюзию надёжных знаний, которые на самом деле являются артефактами.
• Эрозия доверия к науке — повторяющиеся случаи невоспроизводимости подрывают доверие как внутри научного сообщества, так и со стороны общества.

Отличие от смежных практик

HARKing часто путают с другими сомнительными практиками, хотя между ними есть различия:

• P-хакство (p-hacking) — манипуляции с данными или методами анализа для достижения статистической значимости (например, удаление выбросов, добавление ковариат, прекращение сбора данных при достижении p<0.05). В отличие от HARKing, p-hacking не обязательно включает изменение гипотез.
• Селективный отчёт (selective reporting) — публикация только тех результатов, которые подтверждают гипотезы, и сокрытие незначимых или противоречивых данных.
• Разведочный анализ (exploratory analysis) — законный метод исследования, при котором гипотезы формулируются на основе данных, но это явно указывается в отчёте. HARKing — это недобросовестное представление разведочного анализа как подтверждающего.

Критика и контраргументы

Некоторые исследователи утверждают, что HARKing не всегда является недобросовестной практикой. Аргументы в защиту включают:

• Пост-хок гипотезы могут быть ценными — многие научные открытия были сделаны именно благодаря неожиданным наблюдениям, которые затем были проверены на новых данных.
• Искусственное разделение на априорные и post-hoc гипотезы — в реальном исследовательском процессе граница между ними часто размыта.
• Культурные различия — в некоторых научных традициях post-hoc гипотезы считаются допустимыми, если они явно обозначены как таковые.

Однако большинство методологов сходятся во мнении, что HARKing вреден, поскольку вводит в заблуждение относительно статистической обоснованности выводов. Ключевое различие — не в том, была ли гипотеза сформулирована до или после анализа, а в том, как она представлена в отчёте.

Методы борьбы с HARKing

Для снижения распространённости HARKing предлагаются следующие меры:

• Пререгистрация (preregistration) — публичная регистрация плана исследования, включая гипотезы, методы и план анализа, до начала сбора данных. Это позволяет отличить априорные гипотезы от post-hoc.
• Регистрированные отчёты (registered reports) — формат публикации, при котором рецензирование проводится до сбора данных, на основе введения и методов. Это снижает стимулы к HARKing, так как решение о публикации принимается независимо от результатов.
• Явное разграничение подтверждающего и разведочного анализа — в статьях следует чётко указывать, какие гипотезы были априорными, а какие — сформулированы post-hoc.
• Обучение методологии — включение в программы подготовки исследователей курсов по научной добросовестности и статистике.
• Культурные изменения — поощрение публикации нулевых результатов и разведочных исследований, снижение давления на публикацию положительных результатов.

Примеры в науке

Хотя HARKing трудно выявить напрямую, существуют косвенные свидетельства его распространённости. Например, анализ статей в журналах по психологии показал, что в большинстве работ гипотезы формулируются так, как будто они были априорными, хотя часто они явно возникли после анализа данных. В биомедицинских исследованиях HARKing может приводить к ложным выводам об эффективности лекарств или методов лечения.

В российской науке проблема HARKing также признаётся, хотя систематических исследований её распространённости мало. В методических рекомендациях по научной добросовестности, разработанных Комиссией РАН по противодействию фальсификации научных исследований, HARKing упоминается как одна из форм нарушения научной этики.

Источники

• Kerr, N. L. (1998). HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, 2(3), 196-217.
• John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524-532.
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359-1366.
• Nosek, B. A., & Lakens, D. (2014). Registered reports: A method to increase the credibility of published results. Social Psychology, 45(3), 137-141.
• Комиссия РАН по противодействию фальсификации научных исследований. (2020). Методические рекомендации по научной добросовестности. Москва: РАН.