Item Response Theory

Item Response Theory (IRT, теория ответов на задания, теория латентных черт) — это раздел психометрики и статистики, предназначенный для анализа и моделирования результатов тестирования, опросов и других измерительных инструментов. В отличие от классической теории тестов (Classical Test Theory, CTT), которая фокусируется на суммарном балле по тесту, IRT моделирует вероятность правильного ответа испытуемого на конкретное задание как функцию от латентной (скрытой) характеристики испытуемого (например, способности, уровня знаний, установки) и параметров самого задания (сложность, дискриминативность, вероятность угадывания). IRT позволяет создавать адаптивные тесты, сравнивать результаты разных испытуемых независимо от набора заданий и обеспечивать более точное измерение латентных черт.

История

Развитие IRT началось в середине XX века как ответ на ограничения классической теории тестов. В 1950-х годах датский математик Георг Раш (Georg Rasch) предложил модель, названную его именем (модель Раша), которая описывает вероятность правильного ответа как логистическую функцию от разности между способностью испытуемого и сложностью задания. В 1960-х годах американские психометрики Аллан Бирнбаум (Allan Birnbaum) и Фредерик Лорд (Frederic Lord) расширили эту идею, введя параметры дискриминативности и угадывания, что привело к созданию двух- и трёхпараметрических логистических моделей. В 1970-х годах с развитием вычислительной техники IRT стала активно применяться в образовательном тестировании (например, в США для тестов GRE и SAT). В 1980-х годах появились компьютерные адаптивные тесты (CAT), основанные на IRT, которые позволяют подбирать задания в реальном времени в зависимости от уровня испытуемого. В России IRT начала внедряться в 1990-х годах, в основном в академических исследованиях и при разработке тестов в области образования и психологии.

Основные понятия

IRT базируется на нескольких ключевых концепциях, отличающих её от классической теории тестов.

Латентная черта

Латентная черта (θ, тета) — это гипотетическая характеристика испытуемого, которую измеряет тест. Она может быть одномерной (например, общая математическая способность) или многомерной (например, вербальные и невербальные способности). В IRT θ обычно выражается в стандартизированной шкале со средним значением 0 и стандартным отклонением 1. Значение θ определяет, насколько вероятно, что испытуемый с данной способностью правильно ответит на задание.

Характеристическая кривая задания

Характеристическая кривая задания (Item Characteristic Curve, ICC) — это график, показывающий вероятность правильного ответа на задание как функцию от уровня латентной черты θ. Форма кривой определяется параметрами задания. Для однопараметрической модели (Раша) кривая имеет одинаковый наклон для всех заданий, а для двух- и трёхпараметрических моделей наклон может различаться.

Модели IRT

Существует несколько основных моделей IRT, различающихся количеством параметров, описывающих задание.

Однопараметрическая логистическая модель (1PL) — модель Раша

Модель Раша (1PL) описывает вероятность правильного ответа как:

P(X=1|θ, b) = 1 / (1 + exp(-(θ - b)))

где:

• P — вероятность правильного ответа,
• θ — уровень способности испытуемого,
• b — параметр сложности задания (значение θ, при котором вероятность правильного ответа равна 0,5).

В модели Раша все задания имеют одинаковую дискриминативность (наклон кривой), что делает её наиболее строгой и простой для интерпретации. Она широко применяется в образовательных тестах, где задания должны быть однородными по своей способности различать испытуемых.

Двухпараметрическая логистическая модель (2PL)

Модель 2PL добавляет параметр дискриминативности a:

P(X=1|θ, a, b) = 1 / (1 + exp(-a(θ - b)))

где a — параметр дискриминативности, определяющий наклон ICC. Чем больше a, тем круче кривая и тем лучше задание различает испытуемых с близкими уровнями способности. Модель 2PL позволяет заданиям иметь разную дискриминативность, что делает её более гибкой, чем модель Раша.

Трёхпараметрическая логистическая модель (3PL)

Модель 3PL добавляет параметр вероятности угадывания c:

P(X=1|θ, a, b, c) = c + (1 - c) / (1 + exp(-a(θ - b)))

где c — параметр угадывания (нижняя асимптота ICC), который отражает вероятность правильного ответа для испытуемого с очень низкой способностью (например, при случайном выборе в тесте с множественным выбором). Модель 3PL часто используется в тестах, где есть задания с вариантами ответов, таких как экзамены или опросы.

Многомерные модели IRT

Для измерения нескольких латентных черт одновременно используются многомерные модели IRT (MIRT). Они описывают вероятность ответа как функцию от вектора способностей θ = (θ1, θ2, ..., θk). MIRT применяется в комплексных тестах, например, при оценке математических и вербальных способностей одновременно.

Параметры заданий

Каждое задание в IRT характеризуется тремя основными параметрами.

Сложность (b)

Параметр сложности b указывает, при каком уровне способности θ вероятность правильного ответа равна 0,5 (для 1PL и 2PL) или (1 + c)/2 (для 3PL). Задания с высоким b (например, 2 или 3) требуют высокой способности для правильного ответа, а с низким b (например, -2 или -3) — низкой. Шкала b обычно совпадает со шкалой θ.

Дискриминативность (a)

Параметр дискриминативности a определяет, насколько резко вероятность правильного ответа меняется с изменением θ. Высокое значение a (например, > 1,5) означает, что задание хорошо различает испытуемых с близкими уровнями способности. Низкое a (например, < 0,5) указывает на слабую дифференцирующую способность задания.

Угадывание (c)

Параметр угадывания c (также называемый «псевдо-угадыванием») задаёт нижнюю границу вероятности правильного ответа. Для заданий с четырьмя вариантами ответов c обычно составляет около 0,25. В моделях 1PL и 2PL c принимается равным 0, что предполагает отсутствие угадывания.

Применение

IRT широко используется в различных областях, где требуется точное измерение скрытых характеристик.

Образовательное тестирование

IRT лежит в основе многих стандартизированных тестов, таких как GRE, GMAT, TOEFL, а также в национальных экзаменах (например, ЕГЭ в России частично использует элементы IRT для анализа заданий). Компьютерные адаптивные тесты (CAT) на основе IRT подбирают задания в реальном времени, чтобы максимально точно оценить способность испытуемого при минимальном количестве вопросов.

Психология и психиатрия

В психологии IRT применяется для разработки и валидации опросников, измеряющих личностные черты, установки, депрессию, тревожность и другие конструкты. Например, опросник «Большая пятёрка» (Big Five) может быть адаптирован с использованием IRT для повышения точности измерений.

Медицина

В медицине IRT используется для создания шкал оценки качества жизни, функционального состояния пациентов и симптомов. Например, в системе PROMIS (Patient-Reported Outcomes Measurement Information System) применяются IRT-модели для оценки боли, усталости и других параметров.

Социология и маркетинг

В социологических опросах IRT помогает анализировать ответы на вопросы о ценностях, предпочтениях или поведении. В маркетинге — для оценки удовлетворённости клиентов или лояльности к бренду.

Преимущества и недостатки

Преимущества

• Инвариантность оценок: Оценки способностей испытуемых не зависят от конкретного набора заданий, а параметры заданий — от выборки испытуемых (при условии правильной модели).
• Точность измерений: IRT позволяет оценить погрешность измерения для каждого уровня способности, а не только для всего теста в целом.
• Адаптивность: Возможность создания компьютерных адаптивных тестов, которые сокращают время тестирования и повышают точность.
• Сравнимость результатов: Результаты разных тестов можно привести к единой шкале (например, с помощью калибровки заданий).

Недостатки

• Сложность: IRT требует больших вычислительных ресурсов и статистических знаний для оценки параметров.
• Требования к данным: Для надёжной оценки параметров необходимы большие выборки (обычно от 500 до 1000 испытуемых на задание).
• Предположения: Модели IRT основаны на предположениях (например, одномерность, локальная независимость), которые не всегда выполняются на практике.
• Интерпретация: Результаты IRT сложнее интерпретировать для неспециалистов по сравнению с классическими баллами.

Критика

IRT подвергается критике за чрезмерную математическую сложность, которая может затруднять её применение в практических условиях. Некоторые исследователи отмечают, что модели IRT могут быть чувствительны к выбросам и нарушению предположений, что приводит к смещённым оценкам. Кроме того, в образовательных системах, где важна простота и прозрачность (например, в школьных тестах), классическая теория тестов часто остаётся предпочтительной. В России IRT не получила широкого распространения в массовом тестировании из-за высокой стоимости внедрения и необходимости в специализированном программном обеспечении.

Интересные факты

• Модель Раша была названа в честь Георга Раша, который разработал её в 1960 году, работая над тестами для датских школьников.
• IRT используется в системах автоматического распознавания речи и компьютерного зрения для оценки качества моделей.
• В 2010-х годах IRT стала применяться в анализе социальных сетей для измерения «влиятельности» пользователей.

Источники

• Lord, F. M. (1980). Applications of Item Response Theory to Practical Testing Problems. Lawrence Erlbaum Associates.
• Rasch, G. (1960). Probabilistic Models for Some Intelligence and Attainment Tests. Danish Institute for Educational Research.
• Embretson, S. E., & Reise, S. P. (2000). Item Response Theory for Psychologists. Lawrence Erlbaum Associates.
• Baker, F. B., & Kim, S. H. (2004). Item Response Theory: Parameter Estimation Techniques. Marcel Dekker.
• De Ayala, R. J. (2009). The Theory and Practice of Item Response Theory. Guilford Press.