RAG — генеративное дополнение поиском¶
RAG (Retrieval-Augmented Generation, генеративное дополнение поиском) — архитектура работы языковых моделей, при которой система перед генерацией ответа извлекает релевантные документы из внешнего хранилища и подаёт их модели как контекст. Подход позволяет сокращать галлюцинации, обновлять знания без переобучения и привязывать ответы к проверяемым источникам.
¶История
Термин «Retrieval-Augmented Generation» ввёл в 2020 году Meta (организация признана экстремистской, деятельность запрещена в РФ) AI (Facebook) в статье «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks» (архив: arXiv:2005.11401). Авторы — Патрик Льюис, Этан Перес, Алекет Пондром и другие — предложили комбинировать предобученную генеративную модель с индексом документов, извлекаемым через плотный (dense) поиск.
До появления RAG для привязки моделей к внешним знаниям использовали поиск по ключевым словам, дообучение на специализированных корпусах и архитектуры вида «модель + база знаний» (например, DPR — Dense Passage Retrieval, 2020). RAG объединил эти идеи в единый обучаемый конвейер.
После выхода ChatGPT (2022) и массового распространения больших языковых моделей (LLM) RAG стал одним из основных способов корпоративного применения LLM: он позволяет использовать актуальные данные компании без дообучения модели.
¶Устройство
Классический RAG-конвейер состоит из трёх этапов:
- Извлечение (retrieval). Поисковый запрос пользователя преобразуется в векторное представление (эмбеддинг) с помощью энкодера. По косинусной сходству или евклидовому расстоянию в векторной базе данных (FAISS, Qdrant, Milvus, pgvector, Weaviate) отбираются k наиболее релевантных фрагментов (чанков) документов.
- Дополнение (augmentation). Найденные фрагменты конкатенируются с исходным запросом и подаются на вход генеративной модели в виде промпта. Обычно добавляются инструкции: отвечать только на основе предоставленного контекста, цитировать источники, сообщать об отсутствии информации.
- Генерация (generation). LLM формирует ответ, опираясь на контекст. Модель может ссылаться на номера фрагментов, что повышает проверяемость.
¶Варианты архитектуры
| Вариант | Описание |
|---|---|
| RAG-Original (Lewis et al., 2020) | Генеративная модель и ретривер обучаются совместно |
| RAG-Sequence | Одно извлечение на весь ответ |
| RAG-Token | Ретривер вызывается на каждом токене |
| Naive RAG | Без дообучения: готовый энкодер + готовая LLM |
| Advanced RAG | Переформулирование запросов, reranking, гибридный поиск |
| Modular RAG | Компоненты заменяются модулярно (агентные сценарии) |
¶Компоненты системы
¶Индексация
Документы разбиваются на фрагменты (чанки) размером от нескольких сотен до нескольких тысяч токенов, с перекрытием. Каждый фрагмент векторизуется энкодером (например, multilingual-e5, BGE, OpenAI text-embedding-3). Индекс хранится в векторной базе. Для русскоязычных задач применяются модели вроде BGE-M3 и multilingual-e5-large.
¶Поиск
Помимо плотного поиска, используются:
- Гибридный поиск — комбинация векторного и ключевого (BM25) поиска, повышающая точность на точных совпадениях (имена, артикулы, номера).
- Reranking — вторая модель (cross-encoder, например bge-reranker) переупорядочивает кандидатов по релевантности.
- Query rewriting — переформулировка запроса LLM перед поиском.
¶Генерация
В роли генератора выступают LLM: GPT-4, Llama, YandexGPT, GigaChat, Mistral, DeepSeek и другие. Контекстное окно современных моделей позволяет подавать десятки фрагментов одновременно.
¶Применение
- Корпоративные чат-боты — ответы на вопросы по внутренней документации (регламенты, договоры, базы знаний).
- Поиск по документам — юридическая, медицинская, техническая экспертиза.
- Поддержка клиентов — автоматизация с привязкой к актуальным инструкциям.
- Генерация отчётов — сводки на основе внутренних данных.
- Образование — репетиторы, отвечающие по учебным материалам.
¶Ограничения
RAG не устраняет все проблемы LLM. Точность зависит от качества индекса: устаревшие или неполные документы приводят к неверным ответам. Разбиение на чанки может разрывать смысловые единицы. Стоимость и задержка возрастают из-за дополнительного поиска и более длинных промптов. Модель может игнорировать контекст и «додумывать» факты. Для сложных многошаговых вопросов одного поиска часто недостаточно — в этих случаях применяют агентные сценарии с повторными запросами к базе.
¶Альтернативы и развитие
Для актуализации знаний без поиска используется дообучение (fine-tuning), но оно дорого и не гарантирует актуальность. Другой подход — «long context»: подача всех документов в большое контекстное окно без ретривера. Гибридные схемы совмещают RAG с fine-tuning. В 2023—2024 годах появились графовые варианты (GraphRAG), где ретривер опирается на граф знаний, а также модулярные и агентные реализации, где LLM сама решает, когда и что искать.
¶Источники
- Lewis P. et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks // arXiv:2005.11401, 2020
- Karpukhin V. et al. Dense Passage Retrieval for Open-Domain Question Answering // arXiv:2004.04906, 2020
- Gao Y. et al. Retrieval-Augmented Generation for Large Language Models: A Survey // arXiv:2312.10997, 2023
