ABX-тестирование¶

ABX-тестирование — это метод слепого сравнительного тестирования, используемый для определения того, способен ли слушатель (или, в более широком смысле, наблюдатель) различить два стимула. В классическом варианте испытуемому последовательно предъявляются три образца: два известных (A и B) и один неизвестный (X), который случайным образом совпадает либо с A, либо с B. Задача испытуемого — указать, с каким из известных образцов совпадает X. Метод широко применяется в аудиофилии, психоакустике, кодировании аудио и видео, а также в психофизических экспериментах для оценки восприятия.

¶История

Метод ABX-тестирования был разработан в середине XX века в рамках психоакустики и психофизики. Его предшественником является метод «двухальтернативного вынужденного выбора» (2AFC, two-alternative forced choice), где испытуемый выбирает из двух стимулов. ABX-тестирование формализовал американский психоакустик Уильям А. Йост (William A. Yost) в 1970-х годах, хотя отдельные эксперименты с похожей схемой проводились и ранее. В 1980-х годах метод получил распространение в аудиофильских кругах, особенно в контексте споров о различимости аудиокабелей, усилителей и форматов сжатия звука (например, MP3 против CD). С развитием цифрового аудио ABX-тестирование стало стандартным инструментом для проверки качества кодеков в рамках исследований Международного союза электросвязи (ITU) и других организаций.

¶Методология

¶Процедура теста

ABX-тест состоит из трёх этапов предъявления стимулов:

1. Испытуемый прослушивает (или просматривает) образец A (например, оригинальный аудиофайл без сжатия).
2. Испытуемый прослушивает образец B (например, сжатый аудиофайл).
3. Испытуемый прослушивает образец X (случайно выбранный из A или B) и должен определить, является ли X образцом A или B.

Испытуемый может переключаться между A, B и X произвольное количество раз, но не может прослушивать их одновременно. После принятия решения фиксируется ответ «X = A» или «X = B». Процедура повторяется многократно (обычно от 10 до 20 раз) для получения статистически значимого результата.

¶Статистическая обработка

Результаты ABX-теста анализируются с помощью биномиального распределения. Нулевая гипотеза (H₀) гласит, что испытуемый не различает стимулы и отвечает случайно, угадывая в 50% случаев. Если количество правильных ответов превышает порог, определяемый уровнем значимости (обычно p < 0,05), нулевая гипотеза отвергается, и делается вывод о том, что испытуемый способен различать A и B. Для 10 попыток порог правильных ответов составляет 9 из 10 (p ≈ 0,011), для 16 попыток — 12 из 16 (p ≈ 0,038), для 20 попыток — 15 из 20 (p ≈ 0,021).

¶Контроль за переменными

Для обеспечения чистоты эксперимента важно контролировать следующие факторы:

• Уровень громкости: A и B должны быть выровнены по громкости (RMS или LUFS), чтобы различие не было обусловлено громкостью.
• Время переключения: задержки между переключениями должны быть минимальными и одинаковыми.
• Слепота: испытуемый не должен знать, какой образец является A, B или X, а также не должен получать обратную связь о правильности ответов до завершения серии.
• Порядок предъявления: порядок A и B должен быть рандомизирован для каждого испытуемого.

¶Применение

¶В аудиофилии и потребительской электронике

ABX-тестирование используется для проверки заявлений производителей о различимости аудиооборудования (кабели, усилители, ЦАПы). Сторонники метода утверждают, что только слепой тест может подтвердить, что различие слышно, а не является результатом плацебо или визуальных подсказок. Критики метода (особенно в аудиофильских кругах) указывают, что ABX-тест может не выявлять тонкие различия из-за стресса, временных ограничений или несовершенства процедуры.

¶В кодировании аудио и видео

ABX-тестирование является стандартным методом оценки качества сжатия с потерями. Например, в тестах MPEG (Moving Picture Experts Group) для оценки кодеков (AAC, MP3, Opus) испытуемые сравнивают оригинал с кодированным сигналом. Если кодек считается «прозрачным» (transparent), то в ABX-тесте слушатель не может статистически значимо отличить сжатый файл от оригинала. Этот подход используется в рекомендациях ITU-R BS.1116-3.

¶В психоакустике и психофизике

ABX-тест применяется для изучения порогов различения (just noticeable difference, JND) по частоте, громкости, фазе и другим параметрам звука. Метод позволяет количественно оценить, насколько малым может быть различие между двумя стимулами, чтобы испытуемый его заметил.

¶В маркетинговых исследованиях

В некоторых случаях ABX-тестирование используется для сравнения продуктов (например, напитков, духов) в слепых дегустациях, хотя для вкусовых и обонятельных стимулов чаще применяют треугольный тест (три образца, два из которых одинаковы).

¶Критика и ограничения

ABX-тестирование подвергается критике по нескольким причинам:

• Когнитивная нагрузка: необходимость запоминать два эталона (A и B) и сравнивать с X может быть утомительной и снижать чувствительность испытуемого по сравнению с методами, где эталон один (например, «двойной слепой тест с переключением»).
• Эффект обучения: испытуемые могут улучшать свои результаты с практикой, что искажает результаты однократного теста.
• Недостаточная статистическая мощность: при малом числе попыток (менее 10) тест может не выявить реально существующего различия (ошибка второго рода).
• Неприменимость к некоторым типам восприятия: для оценки качества изображения или видео ABX-тест менее эффективен, чем методы с субъективными шкалами (например, MOS — Mean Opinion Score), так как зрительное восприятие более контекстно-зависимо.
• Субъективность выбора порога: уровень значимости p < 0,05 — произвольный стандарт, и некоторые исследователи требуют более строгих критериев (p < 0,01).

¶Примеры использования

¶Аудиокодеки

В 1990-х годах ABX-тестирование активно применялось для демонстрации того, что MP3 с битрейтом 128 кбит/с неотличим от CD-качества для большинства слушателей. Позднее, с развитием кодеков (AAC, Opus), порог «прозрачности» был снижен до 64–96 кбит/с.

¶Аудиофильские кабели

В 2000-х годах журнал «Stereophile» и другие издания проводили ABX-тесты дорогих аудиокабелей. В большинстве случаев слушатели не могли статистически значимо отличить дорогой кабель от дешёвого, что вызвало споры о субъективном восприятии в аудиофилии.

¶Психоакустические исследования

В экспериментах по определению порога различения частоты (JND) ABX-тест позволяет установить, что человек способен заметить разницу в 1–2 Гц на частоте 1000 Гц при определённых условиях.

¶Инструменты для проведения ABX-тестов

Для проведения ABX-тестов существуют специализированные программные средства:

• ABX Comparator (foobar2000 plugin) — популярный плагин для аудиоплеера foobar2000, позволяющий проводить ABX-тесты с аудиофайлами.
• ABX Test Tool (отличный от foobar2000) — веб-приложения и standalone-программы (например, «ABXer»).
• MATLAB/Python — для исследовательских целей можно написать скрипт, реализующий процедуру ABX с заданными параметрами.

¶Источники

1. Yost, W. A. (1975). "A comparison of two procedures for measuring the difference limen for frequency". Journal of the Acoustical Society of America, 57(S1), S48.
2. ITU-R BS.1116-3 (2015). "Methods for the subjective assessment of small impairments in audio systems".
3. Clark, D. L. (1982). "High-resolution subjective testing using a double-blind comparator". Journal of the Audio Engineering Society, 30(5), 330–338.
4. Leventhal, L. (1986). "Type 1 and Type 2 errors in the statistical analysis of listening tests". Journal of the Audio Engineering Society, 34(6), 437–453.
5. Научные статьи по психоакустике и методологии ABX-тестирования в журналах Journal of the Acoustical Society of America и Journal of the Audio Engineering Society.