Мат в голосовых ассистентах: проблема и ограничения¶

Мат в голосовых ассистентах — проблема, связанная с тем, что системы распознавания и генерации речи иногда выдают нецензурную лексику в ответ на запросы пользователей. В русскоязычном сегменте наиболее обсуждаемый случай связан с голосовым помощником «Алиса» от компании «Яндекс», которая при определённых условиях может использовать бранную лексику, хотя официальная позиция разработчика состоит в том, что продукт должен оставаться «безопасным для всей семьи».

¶Принцип работы голосовых ассистентов

«Алиса» — облачный голосовой помощник, работающий на базе больших языковых моделей и систем автоматического распознавания речи (ASR). Запрос пользователя распознаётся, преобразуется в текст, обрабатывается моделью генерации ответа, после чего текст синтезируется в речь.

На выходе ассистент проходит несколько уровней фильтрации:

• Фильтр распознавания — попытка отсеять нецензурные слова ещё на этапе преобразования речи в текст.
• Фильтр генерации — ограничения на уровне языковой модели, обученной на очищенных корпусах данных.
• Пост-фильтрация — замена потенциально запрещённых слов на звукосочетания или пропуск фрагмента.

Несмотря на многоуровневую защиту, пользователи периодически сообщают о случаях, когда ассистент выдаёт бранную лексику. Это происходит по нескольким причинам.

¶Почему ассистент может использовать нецензурную лексику

¶Ошибки распознавания речи

Система ASR может неверно распознать слово, особенно при сильном акценте, шуме или нечётком произношении. Если распознанное слово совпадает со словарём нецензурной лексики, фильтры могут сработать с задержкой или не сработать вовсе.

¶Обучение на пользовательских данных

Многие ассистенты используют обезличенные записи взаимодействий для дообучения моделей. Если пользователи намеренно произносили брань рядом с устройством, эти данные могли попасть в обучающую выборку.

¶Контекстуальные запросы

Запросы вида «как сказать нецензурное слово на японском» или цитирование текстов, содержащих мат, могут привести к тому, что модель воспроизведёт запрещённую лексику в попытке дать релевантный ответ.

¶Обход фильтров

Пользователи периодически делятся в социальных сетях и на форумах способами «обмануть» ассистента: произношение слова по слогам, сокращения, искажённое произношение. Такие случаи, как правило, быстро закрываются обновлениями программного обеспечения.

¶Позиция «Яндекса»

Официальная позиция компании состоит в том, что «Алиса» спроектирована как «безопасный для семьи» продукт. Нецензурная лексика не является частью целевого функционала, а случаи её появления разработчик квалифицирует как ошибки, которые устраняются в рамках регулярных обновлений.

В публичных интервью представители «Яндекса» отмечали, что:

• модель проходит обучение на очищенных корпусах;
• фильтры регулярно пересматриваются;
• пользовательские жалобы учитываются при доработке системы.

Попытки намеренно провоцировать ассистента на использование брани не имеют практического смысла: обновления закрывают обнаруженные уязвимости, а история взаимодействий хранится и может использоваться для анализа.

¶Правовые аспекты

В Российской Федерации нецензурная брань в публичном пространстве регулируется Кодексом РФ об административных правонарушениях (статья 20.1 — мелкое хулиганство). Распространение матерной лексики через средства массовой информации или интернет влечёт административную ответственность.

Для голосовых ассистентов это означает дополнительную мотивацию разработчиков: потенциальная выдача брани устройством, которое может воспроизвести её в публичном месте, создаёт юридические риски для компании.

¶Альтернативные голосовые помощники

Проблема фильтрации нецензурной лексики характерна не только для «Алисы». Сопоставимые системы — «Маруся» от «Сбера», «Салют» от «Сбербанка», а также зарубежные ассистенты Amazon Alexa, Apple Siri и Google Assistant — используют аналогичные многоуровневые фильтры.

Различия между системами заключаются в:

• строгости фильтров (более жёсткие ограничения снижают вероятность ложных срабатываний, но ухудшают естественность диалога);
• прозрачности политик модерации;
• доступности настроек родительского контроля.

¶Родительский контроль

Для семей с детьми «Яндекс» и другие производители предлагают режимы родительского контроля, ограничивающие доступ к определённым категориям контента. Активация такого режима снижает вероятность получения нецензурного ответа, поскольку фильтрация становится более строгой.

¶Интересные факты

• «Алиса» была запущена в октябре 2017 года и к 2023 году работала на десятках миллионов устройств, включая колонки, смартфоны, телевизоры и автомобили.
• Объём обучающего корпуса языковой модели «Алисы» оценивается в миллиарды слов, что делает полную фильтрацию нетривиальной задачей.
• Случаи «матерящейся Алисы» неоднократно становились вирусными в русскоязычном интернете, что привлекало внимание к проблеме фильтрации контента в ИИ-системах.

Источники:

• Официальная документация «Яндекса» по голосовому помощнику «Алиса»
• Кодекс Российской Федерации об административных правонарушениях, статья 20.1
• Публичные интервью и технические блоги разработчиков «Яндекса»
• Материалы русскоязычных технологических изданий о работе голосовых ассистентов