Метаанализ Шмидта и Хантера

Метаанализ Шмидта и Хантера — это статистический метод синтеза результатов множества независимых исследований, разработанный американскими психологами Франком Шмидтом (Frank L. Schmidt) и Джоном Хантером (John E. Hunter) в 1970–1980-х годах. Метод направлен на коррекцию артефактов измерения (ошибок выборки, ненадёжности тестов, ограничения диапазона) для получения точных оценок истинных корреляций между переменными, особенно в области психологии труда, организационной психологии и управления персоналом. В отличие от традиционного метаанализа, предложенного Джином Глассом, подход Шмидта и Хантера фокусируется на выявлении и устранении систематических ошибок, а не только на объединении эффектов.

История и предпосылки

Проблема разрозненных результатов

До 1970-х годов в психологии труда и других социальных науках наблюдалась проблема «разрозненности» результатов: разные исследования одной и той же взаимосвязи (например, между интеллектом и профессиональной успешностью) давали сильно различающиеся корреляции. Это объяснялось малыми размерами выборок, разными методиками измерения и случайными ошибками. Традиционные методы обзора литературы (нарративные обзоры) не позволяли количественно обобщить данные.

Разработка метода

Франк Шмидт и Джон Хантер, работая в области индустриально-организационной психологии, в 1977 году опубликовали статью «Development of a General Solution to the Problem of Invalidity of Meta (организация признана экстремистской, деятельность запрещена в РФ)-Analysis», где предложили метод коррекции артефактов. В 1982 году вышла их совместная монография «Meta-Analysis: Cumulating Research Findings Across Studies», а в 1990 году — «Methods of Meta-Analysis: Correcting Error and Bias in Research Findings», ставшая классическим руководством. Метод был разработан для преодоления ограничений подхода Гласса, который не учитывал влияние ошибок измерения и ограничения диапазона.

Основные принципы и процедура

Учёт артефактов

Ключевое отличие метода Шмидта и Хантера — систематическая коррекция наблюдаемых эффектов на артефакты:

• Ошибка выборки (sampling error): случайные колебания из-за малого числа наблюдений. Корректируется путём взвешивания эффектов по размеру выборки.
• Ненадёжность измерений (measurement unreliability): если тесты или опросники несовершенны, наблюдаемые корреляции занижаются. Вводится поправка на надёжность (например, альфа Кронбаха).
• Ограничение диапазона (range restriction): если выборка отобрана по какому-то критерию (например, только высококвалифицированные работники), корреляция может быть искажена. Метод позволяет восстановить истинную корреляцию для полного диапазона.
• Дискретизация (dichotomization): превращение непрерывных переменных в категориальные (например, «успех/неуспех»), что снижает статистическую мощность. Корректируется обратным преобразованием.

Процедура расчёта

1. Сбор данных: из каждого исследования извлекаются наблюдаемые корреляции (r) и информация об артефактах (размер выборки, надёжность тестов, ограничение диапазона).
2. Коррекция индивидуальных эффектов: для каждого исследования вычисляется скорректированная корреляция (r_c) с учётом ненадёжности предиктора и критерия:

\[ r_c = \frac{r}{\sqrt{r_{xx} \cdot r_{yy}}} \] где \(r_{xx}\) и \(r_{yy}\) — надёжности измерений.

1. Взвешенное среднее: все скорректированные эффекты усредняются с весами, обратно пропорциональными дисперсии ошибки выборки (обычно по формуле \(w_i = n_i\) или \(w_i = 1/(1/n_i)\)).
2. Оценка гетерогенности: рассчитывается остаточная дисперсия после вычитания дисперсии, объясняемой артефактами. Если остаточная дисперсия мала, результаты считаются однородными (истинная корреляция одинакова во всех исследованиях). Если велика — ищутся модераторы (например, тип теста, возраст испытуемых).
3. Интервалы достоверности: для истинной корреляции строятся 95% или 90% интервалы, показывающие диапазон возможных значений.

Отличия от других методов

• От подхода Гласса: Шмидт и Хантер корректируют артефакты, а не просто объединяют эффекты.
• От подхода Хеджеса и Олкина: метод Шмидта и Хантера использует случайные эффекты и коррекцию на ненадёжность, тогда как Хеджес и Олкин фокусируются на фиксированных эффектах и стандартных ошибках.

Применение в психологии и других областях

Индустриально-организационная психология

Метод широко применялся для метаанализа валидности методов отбора персонала. Например, в 1998 году Шмидт и Хантер опубликовали метаанализ 85 лет исследований, показавший, что:

• Общие когнитивные способности (GMA) имеют скорректированную корреляцию около 0,51 с профессиональной успешностью.
• Структурированные интервью — около 0,51.
• Тесты на честность — около 0,41.
• Рабочие пробы — около 0,54.

Без коррекции артефактов эти корреляции были бы на 20–30% ниже.

Образование и психометрика

Метод использовался для оценки валидности вступительных экзаменов (например, SAT, GRE) и тестов интеллекта. Исследования показали, что после коррекции на ненадёжность и ограничение диапазона корреляция между IQ и академической успеваемостью достигает 0,6–0,7.

Медицина и эпидемиология

Хотя метод разработан для психологии, он применяется и в медицине для синтеза корреляционных исследований (например, связь между физической активностью и риском сердечно-сосудистых заболеваний), но реже, чем подходы Кокрановского сотрудничества.

Социология и экономика

В социологии метод используется для обобщения корреляций между социально-экономическим статусом и здоровьем, а в экономике — для анализа связи между образованием и доходом.

Критика и ограничения

Предположения метода

• Линейность и нормальность: метод предполагает линейные связи и нормальное распределение артефактов, что не всегда выполняется.
• Независимость артефактов: коррекция на ненадёжность и ограничение диапазона может быть неверной, если эти артефакты взаимосвязаны.
• Однородность истинных эффектов: если истинные корреляции различаются между исследованиями (гетерогенность), метод может давать смещённые средние.

Практические проблемы

• Доступность данных: многие исследования не сообщают надёжности тестов или ограничения диапазона, что вынуждает использовать средние оценки из других источников.
• Малые выборки: при очень малых выборках (n < 30) коррекция может быть нестабильной.
• Публикационная предвзятость: метод не устраняет систематическое отсутствие неопубликованных исследований с нулевыми результатами.

Альтернативные подходы

• Метаанализ случайных эффектов (Хеджес, 1983): использует взвешивание по дисперсии и не требует коррекции артефактов, но менее точен при наличии ненадёжности.
• Байесовский метаанализ: позволяет вводить априорные распределения для артефактов, что может быть более гибким.

Значение и наследие

Метод Шмидта и Хантера стал стандартом в индустриально-организационной психологии и психометрике. Его применение позволило:

• Обосновать использование когнитивных тестов при приёме на работу (вопреки критике 1960-х годов).
• Установить, что многие «противоречивые» результаты в психологии на самом деле согласуются после коррекции артефактов.
• Разработать практические рекомендации по отбору персонала, которые используются в крупных компаниях (например, в США — в государственных службах и частном секторе).

В 2015 году Американская психологическая ассоциация (APA) включила метод Шмидта и Хантера в свои рекомендации по проведению метаанализов. Несмотря на критику, метод остаётся одним из наиболее влиятельных инструментов для синтеза корреляционных исследований в социальных науках.

Источники

• Schmidt, F. L., & Hunter, J. E. (1977). Development of a general solution to the problem of invalidities of meta-analysis. Journal of Applied Psychology, 62(5), 529–540.
• Schmidt, F. L., & Hunter, J. E. (1990). Methods of Meta-Analysis: Correcting Error and Bias in Research Findings. Sage Publications.
• Hunter, J. E., & Schmidt, F. L. (2004). Methods of Meta-Analysis: Correcting Error and Bias in Research Findings (2nd ed.). Sage Publications.
• Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to Meta-Analysis. Wiley.
• American Psychological Association. (2015). Publication Manual of the American Psychological Association (6th ed.).