Тестовый балл

Тестовый балл — это числовой показатель, который отражает результат выполнения теста или экзаменационной работы испытуемым, полученный в результате стандартизированной обработки ответов. В зависимости от системы оценивания тестовый балл может выражаться в виде суммы набранных первичных баллов, полученных за выполнение заданий, или в виде шкалированного (вторичного) балла, который приводит результаты к единой измерительной шкале для сравнения с результатами других участников или с установленными критериями.

История возникновения

Понятие тестового балла возникло с развитием тестологии — науки о создании и применении тестов. В начале XX века, с внедрением психологических и образовательных тестов (например, тестов интеллекта Альфреда Бине и Теодора Симона), возникла необходимость количественного выражения результатов. Первоначально баллы вычислялись как простое количество правильных ответов. Однако со временем стало очевидно, что такая система не учитывает сложность заданий и не позволяет корректно сопоставлять результаты разных вариантов теста.

С середины XX века, с развитием статистических методов и появлением компьютерной обработки данных, стали разрабатываться модели шкалирования. В СССР и России систематическое применение тестовых баллов связано с проведением централизованных экзаменов, таких как Единый государственный экзамен (ЕГЭ), который был введён в начале 2000-х годов. Для ЕГЭ была разработана система шкалирования первичных баллов в тестовые (вторичные) по 100-балльной шкале, основанная на модели с использованием нормального распределения.

Виды тестовых баллов

В зависимости от целей и методики расчёта выделяют несколько основных типов тестовых баллов.

Первичный балл

Первичный балл (сырой балл) представляет собой сумму баллов, набранную испытуемым за выполнение всех заданий теста. Каждое задание может иметь определённый вес (максимальный первичный балл), который устанавливается разработчиками. Первичный балл не учитывает сложность заданий и не является шкалированным, поэтому его прямое использование для сравнения с результатами других участников или с нормативами ограничено. Например, в ЕГЭ по математике профильного уровня максимальный первичный балл составляет 31, а по русскому языку — 50. Эти значения невозможно сопоставить напрямую, так как они измеряются в разных единицах.

Шкалированный балл

Шкалированный балл (тестовый или вторичный балл) — это результат преобразования первичного балла по определённой статистической модели, которая учитывает сложность заданий, их дискриминирующую способность и распределение результатов среди участников. Шкалированный балл позволяет сравнивать результаты разных тестов, различных вариантов одного теста или результаты, полученные в разные годы. В ЕГЭ шкалированные баллы переводятся в 100-балльную шкалу, где 100 — это максимально возможный результат, а минимальное значение порога (так называемое минимальное количество баллов, подтверждающее освоение программы) устанавливается для каждого предмета отдельно. В международных тестах, таких как PISA, шкалированные баллы могут выражаться по шкале со средним значением 500 и стандартным отклонением 100.

Процентный балл

Процентный балл (процентиль) показывает долю участников, которые получили результат ниже данного значения. Например, если испытуемый имеет процентиль 80, это означает, что он справился с заданиями лучше, чем 80% участников того же теста. Процентиль является относительным показателем и широко используется в педагогической и психологической диагностике для определения места испытуемого в группе. Важно отличать процентиль от процента правильных ответов: процентиль — это порядковый показатель распределения, а процент — доля верных ответов относительно общего числа заданий.

Стандартизированный балл (Z-балл)

Z-балл (стандартное отклонение) выражает разницу между индивидуальным первичным баллом и средним арифметическим группы, делённую на стандартное отклонение. Этот показатель позволяет определить, насколько результат испытуемого отличается от среднего в единицах стандартного отклонения. Z-баллы могут быть положительными (выше среднего) и отрицательными (ниже среднего). На основе Z-баллов часто строятся другие шкалы, например шкала IQ со средним 100 и стандартным отклонением 15 или 16.

Методы шкалирования

Шкалирование — это математическая процедура перевода первичных баллов в шкалированные. Существует несколько подходов, различающихся по сложности и целям.

Линейное шкалирование

При линейном шкалировании первичные баллы преобразуются по линейной формуле, которая не меняет относительного расстояния между результатами участников. Такой метод используется, когда тестовые варианты имеют одинаковую сложность или когда различия в сложности не учитываются. Однако в современных массовых тестах линейное шкалирование применяется редко, так как оно не устраняет влияние изменяющейся сложности заданий на результаты.

Распределение по нормальному закону

Наиболее распространённый метод в педагогических измерениях — это приведение распределения первичных баллов к нормальному (гауссовому) распределению. Сначала строится эмпирическое распределение первичных баллов, затем с помощью процедуры нормализации (например, с использованием процентилей и таблиц нормального распределения) вычисляются шкалированные баллы. Этот метод позволяет учесть, что в тестах разного уровня сложности участники с одинаковым уровнем знаний могут набирать разные первичные баллы, но их шкалированные значения будут сопоставимы.

Адаптивное шкалирование (IRT)

В современных компьютерных тестах, особенно адаптивных, применяются методы, основанные на теории вероятности и латентных переменных (Item Response Theory, IRT). В рамках IRT сложность задания, дискриминирующая способность и вероятность случайного угадывания моделируются отдельно для каждого задания. Шкалированный балл в IRT-моделях (т.н. тета-параметр) оценивается на основе ответов на все вопросы с учётом их параметров. Этот метод более точен, чем линейное или нормальное шкалирование, и позволяет сравнивать результаты даже тех испытуемых, которые решали разные наборы заданий.

Примеры использования

Единый государственный экзамен (Россия)

В системе ЕГЭ каждый участник получает так называемый тестовый балл по 100-балльной шкале. Он вычисляется из первичного балла (суммы баллов за каждое задание) путём линейной процедуры шкалирования с последующим пересчётом по формуле, утверждаемой Рособрнадзором. Минимальное количество тестовых баллов, подтверждающее освоение образовательной программы, устанавливается для каждого предмета. Результат ЕГЭ используется для поступления в высшие учебные заведения.

Международные тесты

В тестах PISA (Организация экономического сотрудничества и развития — международная организация) результаты учащихся выражаются в шкалированных баллах по шкале со средним 500. В тестах TOEFL или IELTS (Международная система тестирования английского языка) используются шкалы от 0 до 120 или 0 до 9 баллов соответственно, которые получаются в результате статистической обработки ответов.

Психологическое тестирование

В клинической и психологической диагностике тестовые баллы используются для оценки уровня интеллекта (IQ), личностных черт по опросникам (например, MMPI — Миннесотский многоаспектный личностный опросник) или состояния психического здоровья. В этих случаях баллы часто преобразуются в T-баллы (со средним 50 и стандартным отклонением 10) или стенайны (деление на 9 единиц по нормальной шкале).

Критика и ограничения

К тестовым баллам предъявляются требования объективности, надёжности и валидности. Основная критика заключается в том, что шкалирование может скрывать погрешности измерения и искусственно сглаживать различия между участниками при низкой вариации баллов. Также отмечается, что конечные шкалированные баллы иногда интерпретируются как арифметическая точность, хотя на самом деле они имеют вероятностную природу. В некоторых случаях процедура шкалирования может приводить к неожиданным эффектам, например к тому, что незначительное изменение первичного балла (на 1 балл) вызывает скачок на несколько шкалированных баллов в верхней или нижней части шкалы. Тем не менее альтернативы тестовым баллам как инструменту массового объективного измерения в настоящее время не существует.

Источники

• Аванесов В. С. «Теоретические основы разработки заданий в тестовой форме». — М.: Издательство Академии повышения квалификации и профессиональной переподготовки работников образования, 2008.
• Наймарк М. А., Гусев А. Б. «Методы статистического анализа в педагогических исследованиях». — СПб.: Издательство Санкт-Петербургского университета, 2012.
• Айзенк Х., Айзенк М. «Психологические тесты: теория и практика». — М.: Эксмо, 2004.
• Joint Committee on Standards for Educational Evaluation. «Program Evaluation Standards: Standards for Educational and Psychological Testing» (несколько изданий).
• Официальные документы Рособрнадзора по процедуре шкалирования результатов ЕГЭ (размещаются на сайте Федерального центра тестирования).