Критериально-ориентированное тестирование

Критериально-ориентированное тестирование (англ. criterion-referenced testing) — это вид педагогического и психологического тестирования, при котором результаты испытуемого интерпретируются относительно заранее установленного, объективного стандарта (критерия) выполнения, а не относительно результатов других испытуемых. Основная цель такого тестирования — определить, владеет ли испытуемый определённым набором знаний, умений или навыков на заданном уровне, а не выявить его место в группе.

История возникновения

Концепция критериально-ориентированного тестирования возникла как альтернатива нормативно-ориентированному (norm-referenced testing), которое сравнивает результаты индивида со средними показателями выборки (нормой). В середине XX века, с развитием программированного обучения и систем индивидуального усвоения знаний (например, система полного усвоения знаний Бенджамина Блума), возникла необходимость в инструментах, позволяющих объективно оценить, достиг ли учащийся конкретных учебных целей.

Термин «критериально-ориентированное тестирование» был введён в 1963 году американским психологом Робертом Глейзером в статье «Психологическая наука и технология обучения». Он предложил различать тесты, измеряющие «абсолютный» уровень выполнения, и тесты, измеряющие «относительное» положение в группе. Дальнейшее развитие концепция получила в работах Ральфа Тайлера и Уильяма Пайка, которые разработали методологию создания тестов, ориентированных на конкретные образовательные стандарты.

В СССР и России критериально-ориентированный подход начал активно применяться в 1970-1980-е годы в рамках системы профессионального отбора и аттестации, а также в педагогических исследованиях, связанных с проблемой объективного контроля знаний.

Теоретические основы

Критериально-ориентированное тестирование базируется на нескольких ключевых принципах:

• Определённость критерия. Критерий (стандарт) должен быть чётко сформулирован, измерим и однозначно понимаем. Обычно он представляет собой минимально допустимый уровень выполнения (cut-off score) или полный перечень операций, которые должен освоить испытуемый.
• Содержательная валидность. Тест должен полностью охватывать ту область знаний или навыков, для оценки которой он создан. Задания подбираются так, чтобы репрезентативно представлять всю совокупность элементов содержания.
• Абсолютная шкала. Результат выражается в процентах от максимально возможного балла или в количестве правильно выполненных заданий. Интерпретация не зависит от того, как выполнили тест другие люди.
• Ориентация на мастерство. Основная задача — выявить, достиг ли испытуемый уровня «мастерства» (mastery), то есть усвоил ли он материал в требуемом объёме.

Виды критериально-ориентированных тестов

В зависимости от цели и способа задания критерия выделяют несколько разновидностей:

• Тесты на основе содержания (domain-referenced tests). Критерий определяется как полный перечень элементов содержания (например, все правила орфографии русского языка). Тест проверяет, насколько хорошо испытуемый владеет каждым элементом.
• Тесты на основе целей обучения (objectives-referenced tests). Критерий формулируется как конкретная учебная цель (например, «уметь решать квадратные уравнения»). Задания направлены на проверку достижения этой цели.
• Тесты на основе стандартов (standards-referenced tests). Критерий задаётся внешним нормативным документом — образовательным стандартом (например, ФГОС). Такие тесты широко используются в государственной итоговой аттестации (ОГЭ, ЕГЭ в России).
• Тесты на основе минимальной компетентности (minimum competency tests). Устанавливается минимальный порог (cut-off score), который необходимо преодолеть для получения сертификата, допуска к следующему этапу обучения или к профессиональной деятельности.

Структура и разработка

Процесс создания критериально-ориентированного теста включает несколько этапов:

1. Определение области тестирования. Чётко описывается, какие знания, умения или навыки подлежат проверке. Составляется спецификация теста — таблица, в которой перечислены все элементы содержания и их весовые коэффициенты.
2. Формулировка заданий. Каждое задание должно быть направлено на проверку одного конкретного элемента содержания. Задания могут быть закрытого типа (выбор ответа, установление соответствия) или открытого типа (краткий ответ, развёрнутый ответ).
3. Установление критерия выполнения. Определяется минимальное количество баллов (или процент правильных ответов), которое свидетельствует о достижении требуемого уровня. Методы установления критерия: экспертный (метод Ангоффа, метод Эбеля), эмпирический (метод контрастных групп), нормативный (на основе результатов пилотного тестирования).
4. Пилотное тестирование и анализ заданий. Проверяется, насколько задания дифференцируют испытуемых по уровню подготовки, не содержат ли ошибок, не являются ли слишком лёгкими или слишком трудными. Для критериально-ориентированных тестов важен не столько коэффициент дискриминативности, сколько соответствие задания критерию.
5. Валидизация. Оценивается содержательная валидность (соответствие теста спецификации), критериальная валидность (корреляция с внешним критерием, например, с оценкой эксперта) и надёжность (устойчивость результатов при повторном тестировании).

Применение

Критериально-ориентированное тестирование широко используется в различных сферах:

• Образование. Оценка усвоения учебных программ, промежуточная и итоговая аттестация, диагностика пробелов в знаниях. В России к критериально-ориентированным тестам относятся задания Всероссийских проверочных работ (ВПР) и частично задания Единого государственного экзамена (ЕГЭ), где установлены минимальные баллы, соответствующие определённому уровню подготовки.
• Профессиональная сертификация. Подтверждение квалификации специалистов (например, сертификация бухгалтеров, аудиторов, программистов). Кандидат должен продемонстрировать владение конкретным набором профессиональных компетенций.
• Психологическая диагностика. Оценка сформированности определённых навыков или личностных качеств (например, тесты на внимание, память, профессионально важные качества). Критерием может выступать нормативный показатель для данной возрастной или профессиональной группы.
• Медицина и реабилитация. Оценка функционального состояния пациента, достижения целей лечения (например, тесты на моторные навыки, когнитивные функции).
• Спорт. Определение уровня физической подготовленности спортсмена по нормативам (например, сдача нормативов ГТО в России).

Преимущества и недостатки

Преимущества:

• Объективность оценки: результат не зависит от того, насколько хорошо справились другие испытуемые.
• Чёткая обратная связь: испытуемый и преподаватель точно знают, какие элементы содержания усвоены, а какие нет.
• Возможность сравнения результатов разных групп и разных лет при условии неизменности критерия.
• Ориентация на достижение конкретных учебных целей, что стимулирует целенаправленное обучение.

Недостатки:

• Сложность и трудоёмкость разработки: необходимо тщательно определить и описать область тестирования, установить валидный критерий.
• Риск «натаскивания» на тест: если критерий известен, обучение может сводиться к заучиванию ответов на типовые задания, а не к формированию глубоких знаний.
• Сложность интерпретации результатов вблизи порогового значения: небольшая разница в баллах может привести к качественно разным выводам (сдал/не сдал).
• Ограниченная применимость для оценки творческих способностей и сложных когнитивных навыков, которые трудно формализовать в виде критерия.

Критика

Основные критические замечания в адрес критериально-ориентированного тестирования связаны с его чрезмерной формализацией. Противники утверждают, что сведение оценки к бинарному результату («достиг/не достиг») упрощает реальную картину знаний и не учитывает индивидуальные особенности усвоения материала. Кроме того, установление порогового значения (cut-off score) часто носит субъективный характер, так как требует экспертных оценок, которые могут различаться у разных специалистов. В образовательной практике существует риск того, что тест начинает «диктовать» содержание обучения, а не наоборот.

См. также

• Нормативно-ориентированное тестирование
• Педагогическая диагностика
• Тестология
• Система полного усвоения знаний
• Валидность (психометрика)

Источники

• Glaser, R. (1963). Instructional technology and the measurement of learning outcomes: Some questions. American Psychologist, 18(8), 519–521.
• Popham, W. J. (1978). Criterion-Referenced Measurement. Englewood Cliffs, NJ: Prentice-Hall.
• Аванесов В. С. (2002). Теоретические основы разработки заданий в тестовой форме. М.: Исследовательский центр проблем качества подготовки специалистов.
• Клайн П. (1994). Справочное руководство по конструированию тестов. Киев: ПАН Лтд.
• Чельшкова М. Б. (2002). Теория и практика конструирования педагогических тестов. М.: Логос.