Галлюцинации языковых моделей

Галлюцинации языковых моделей (англ. hallucination), также известные как конфабуляции или вымысел, — это феномен, при котором большая языковая модель (LLM) генерирует правдоподобный, но фактически неверный или бессмысленный текст. В отличие от ошибок, вызванных недостатком данных, галлюцинации представляют собой уверенное утверждение ложных фактов, не соответствующих обучающим данным или реальному миру. Термин заимствован из психологии, где галлюцинацией называют восприятие объекта без внешнего стимула; в контексте ИИ он метафорически описывает «видение» моделью несуществующей информации.

Причины возникновения

Галлюцинации являются следствием фундаментальных принципов работы языковых моделей и особенностей их обучения.

Статистическая природа генерации

Языковые модели, такие как GPT-4 или Llama, не обладают пониманием истинности или логики. Они работают как вероятностные предсказатели: на основе входного текста (промпта) и уже сгенерированных токенов модель вычисляет наиболее вероятное следующее слово или фразу. Задача модели — не найти правильный ответ, а создать текст, который статистически похож на тексты из обучающей выборки. Если в данных встречается закономерность «вопрос о событии X → ответ с датой Y», модель может воспроизвести эту связь, даже если Y неверен.

Ограничения обучающих данных

• Неполнота и противоречия: Обучающие корпуса (например, Common Crawl, книги, статьи) содержат ошибки, устаревшие сведения и противоречивую информацию. Модель не имеет механизма для верификации фактов.
• Отсутствие чувства времени: Модель обучается на срезе данных, зафиксированных на момент сбора. Она не знает о событиях, произошедших после этой даты (так называемая «отсечка знаний»), и может генерировать устаревшие сведения.
• Редкие сущности: Информация о малоизвестных персонах, событиях или терминах представлена в обучающих данных скудно. Модель вынуждена «додумывать» недостающие детали, что повышает риск галлюцинаций.

Архитектурные факторы

Современные LLM основаны на архитектуре трансформера. Механизм внимания (attention) позволяет модели связывать удалённые части текста, но не гарантирует логической согласованности. При генерации длинных ответов модель может «забывать» ранее выданные факты или вступать в противоречие с самой собой. Кроме того, функции активации и случайные шумы в процессе обучения могут приводить к неожиданным комбинациям признаков.

Отсутствие обратной связи с реальностью

Модель не имеет доступа к внешним базам знаний или интернету во время генерации (если это не предусмотрено специальной архитектурой, как в Retrieval-Augmented Generation, RAG). Она не может проверить, соответствует ли её утверждение действительности. Всё, что у неё есть — это внутреннее представление, полученное из статистических закономерностей.

Классификация галлюцинаций

Исследователи выделяют несколько типов галлюцинаций в зависимости от их проявления и источника.

По отношению к исходным данным

• Фактические галлюцинации: Модель утверждает несуществующие факты. Например, называет неверную дату исторического события или приписывает вымышленное открытие реальному учёному.
• Вымышленные сущности: Модель создаёт несуществующие объекты, имена, названия или события. Например, может упомянуть книгу, которой не существует, или описать биографию вымышленного человека.
• Противоречия: Модель генерирует утверждения, которые противоречат друг другу в рамках одного ответа или противоречат ранее данным ответам.

По отношению к запросу пользователя

• Несоответствие инструкции: Модель игнорирует или искажает указания пользователя, выполняя не ту задачу.
• Неверное понимание контекста: Модель неправильно интерпретирует вопрос или контекст, что приводит к нерелевантному ответу.

По степени правдоподобия

• Локальные галлюцинации: Небольшие ошибки в деталях (например, неверный год), при этом общий контекст верен.
• Глобальные галлюцинации: Полный вымысел, когда весь ответ или его значительная часть не соответствует действительности.

Примеры

Галлюцинации могут проявляться в самых разных областях.

• Исторические факты: На вопрос «Когда была основана Москва?» модель может уверенно ответить «1147 год», что верно, но при уточнении «Кем?» может назвать Юрия Долгорукого, а затем добавить вымышленную деталь: «по приказу хана Батыя».
• Научные данные: Модель может «изобрести» химическую формулу или описать несуществующий эксперимент, ссылаясь на реальных учёных.
• Биографии: При запросе о малоизвестном писателе модель может приписать ему несуществующие произведения или награды.
• Юридические консультации: Модель может сослаться на несуществующий закон или судебный прецедент, что особенно опасно при использовании в правовой сфере.
• Медицинские советы: Модель может рекомендовать несуществующее лекарство или неправильную дозировку, что несёт риск для здоровья.

Методы обнаружения и смягчения

Борьба с галлюцинациями — активная область исследований. Разработано несколько подходов.

Технические методы

• Retrieval-Augmented Generation (RAG): Модель получает доступ к внешней базе знаний (например, поисковому индексу) и использует найденные документы для генерации ответа. Это снижает вероятность вымысла, так как модель опирается на реальные источники.
• Fine-tuning на верифицированных данных: Дополнительное обучение модели на наборах данных, где факты проверены и размечены. Это повышает точность, но не устраняет проблему полностью.
• Prompt engineering: Специальные формулировки запросов, которые предписывают модели быть осторожной, указывать источники или признавать незнание (например, «Если ты не уверен, скажи, что не знаешь»).
• Chain-of-Thought (CoT): Пошаговое рассуждение, которое заставляет модель логически обосновывать ответ, снижая вероятность случайных ошибок.
• Методы ансамблирования: Генерация нескольких ответов на один запрос и выбор наиболее согласованного из них.

Методы обнаружения

• Perplexity-based detection: Измерение «удивления» модели при генерации конкретного токена. Высокая перплексия может указывать на галлюцинацию.
• Semantic entropy: Оценка неопределённости модели в семантическом пространстве. Если модель даёт несколько семантически разных ответов на один вопрос, это признак ненадёжности.
• Внешняя верификация: Автоматическая проверка фактов с помощью поисковых систем или баз знаний (например, Wikidata).

Критика и ограничения

Термин «галлюцинация» подвергается критике со стороны некоторых исследователей, которые считают его антропоморфным и вводящим в заблуждение. Они указывают, что языковые модели не обладают сознанием или восприятием, и их «ошибки» — это не патология, а ожидаемое поведение статистической системы. Альтернативные термины — «конфабуляция» или «вымысел» — точнее описывают явление, не приписывая модели человеческих качеств.

Кроме того, проблема галлюцинаций не имеет полного решения в рамках текущей парадигмы. Любая попытка полностью устранить вымысел приводит к снижению креативности и гибкости модели, что может быть нежелательно для некоторых задач (например, генерации художественных текстов). Таким образом, существует фундаментальный компромисс между точностью и творческим потенциалом.

Источники

• Ji, Z., Lee, N., Frieske, R., et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys.
• Rawte, V., Sheth, A., Das, A. (2023). A Survey of Hallucination in Large Language Models: Taxonomy, Detection, and Mitigation. arXiv preprint.
• Bang, Y., Cahyawijaya, S., Lee, N., et al. (2023). A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity. arXiv preprint.
• Maynez, J., Narayan, S., Bohnet, B., et al. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of ACL.
• Блог компании OpenAI (2023). «GPT-4 Technical Report».