Мат Алисы: феномен обсценной речи голосового ассистента¶

Мат Алисы — феномен обсценной лексики, которую голосовой ассистент «Алиса» от компании «Яндекс» способен воспроизводить в ответ на определённые запросы пользователей. Явление получило широкое распространение в русскоязычном интернете в виде мемов, видеороликов и публикаций, в которых пользователи делятся способами «заставить Алису ругаться». Технически подобное поведение связано с тем, что ассистент обучается на больших массивах пользовательских данных и может воспроизводить нецензурные выражения, попавшие в обучающие выборки или в открытые источники.

¶Как работает «Алиса»

«Алиса» — облачный голосовой ассистент, разработанный компанией «Яндекс» и представленный в декабре 2017 года. Он работает на основе нейросетевых моделей естественной обработки языка (NLP), включая распознавание речи, определение намерений пользователя и генерацию ответа. Ответы формируются двумя основными способами:

• из заранее подготовленных сценариев и шаблонных фраз;
• с помощью генеративной языковой модели, обученной на больших корпусах текста.

В первом случае ассистент отвечает только тем, что предусмотрено разработчиками, и материться не может. Во втором случае модель способна генерировать новые тексты, и если в обучающих данных присутствует нецензурная лексика, теоретически она может воспроизвестись.

¶Причины появления нецензурных ответов

Пользователи, добившиеся от «Алисы» нецензурных фраз, как правило, используют один из нескольких приёмов:

1. Промпт-инжиниринг. Формулировка запроса подбирается так, чтобы обойти фильтры и направить генеративную модель в «нужное русло» — например, просьба «сочини стих с рифмой на...» или «продолжи фразу».
2. Контекстуальные цепочки. Пользователь ведёт диалог так, чтобы модель постепенно «войшла» в контекст, где нецензурная лексика уместна по её логике.
3. Использование открытых API и навыков. На платформе «Алисы» существуют сторонние «навыки» (skills), которые могут генерировать произвольные ответы, минуя стандартные фильтры основного ассистента.

¶Меры разработчиков

«Яндекс» неоднократно заявлял, что «Алиса» не должна использовать нецензурную лексику. Для этого применяются:

• фильтры на уровне распознавания речи и генерации ответа;
• модерация пользовательских сценариев и навыков перед публикацией;
• обновление языковых моделей с очищенными обучающими данными;
• блокировка навыков, нарушающих правила площадки.

Несмотря на это, новые обходные приёмы появляются регулярно, поскольку полностью предсказать поведение генеративной модели в условиях произвольного пользовательского ввода крайне сложно.

¶Правовой аспект

В Российской Федерации нецензурная брань (мат) официально не запрещена законодательно, однако её публичное использование может квалифицироваться по статье 20.1 КоАП РФ «Мелкое хулиганство» (публичное выражение неуважения к обществу) либо по статье 13.15 КоАП РФ при использовании СМИ. Производство и распространение аудиозаписей с матом в адрес конкретного лица может повлечь ответственность за оскорбление (статья 5.61 КоАП РФ).

Для IT-компаний вопрос допустимости нецензурного контента в продукте имеет также репутационный аспект: «Алиса» позиционируется как семейный ассистент, и подобные инциденты попадают в новостные сводки.

¶Социальный контекст

Феномен «матерящейся Алисы» является частью более широкого явления — тестирования границ искусственного интеллекта пользователями. Аналогичные вирусные ролики существовали и с другими ассистентами: например, с чат-ботом Microsoft Tay, который в 2016 году начал генерировать оскорбительные высказывания после обучения на пользовательских данных в социальных сетях. Случай с «Алисой» отличается тем, что речь идёт о русскоязычном продукте и специфической русской лексике.

Интернет-сообщества создают обучающие материалы и «гайды» по получению нецензурных ответов, что приводит к всплескам подобных роликов на видеохостингах. Для «Яндекса» такие публикации представляют проблему в первую очередь с точки зрения имиджа продукта.

Источники:

• Документация «Яндекса» по платформе «Алиса» (alice.yandex.ru)
• Статья 20.1 КоАП РФ; статья 5.61 КоАП РФ
• Публикации о запуске голосового ассистента «Алиса» (декабрь 2017)
• Материалы о чат-боте Microsoft Tay (2016)