Открыть сервисСервис

RAG — генеративное дополнение поиском

RAG (Retrieval-Augmented Generation, генеративное дополнение поиском) — архитектура работы языковых моделей, при которой система перед генерацией ответа извлекает релевантные документы из внешнего хранилища и подаёт их модели как контекст. Подход позволяет сокращать галлюцинации, обновлять знания без переобучения и привязывать ответы к проверяемым источникам.

История

Термин «Retrieval-Augmented Generation» ввёл в 2020 году Meta (организация признана экстремистской, деятельность запрещена в РФ) AI (Facebook) в статье «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks» (архив: arXiv:2005.11401). Авторы — Патрик Льюис, Этан Перес, Алекет Пондром и другие — предложили комбинировать предобученную генеративную модель с индексом документов, извлекаемым через плотный (dense) поиск.

До появления RAG для привязки моделей к внешним знаниям использовали поиск по ключевым словам, дообучение на специализированных корпусах и архитектуры вида «модель + база знаний» (например, DPR — Dense Passage Retrieval, 2020). RAG объединил эти идеи в единый обучаемый конвейер.

После выхода ChatGPT (2022) и массового распространения больших языковых моделей (LLM) RAG стал одним из основных способов корпоративного применения LLM: он позволяет использовать актуальные данные компании без дообучения модели.

Устройство

Классический RAG-конвейер состоит из трёх этапов:

  1. Извлечение (retrieval). Поисковый запрос пользователя преобразуется в векторное представление (эмбеддинг) с помощью энкодера. По косинусной сходству или евклидовому расстоянию в векторной базе данных (FAISS, Qdrant, Milvus, pgvector, Weaviate) отбираются k наиболее релевантных фрагментов (чанков) документов.
  1. Дополнение (augmentation). Найденные фрагменты конкатенируются с исходным запросом и подаются на вход генеративной модели в виде промпта. Обычно добавляются инструкции: отвечать только на основе предоставленного контекста, цитировать источники, сообщать об отсутствии информации.
  1. Генерация (generation). LLM формирует ответ, опираясь на контекст. Модель может ссылаться на номера фрагментов, что повышает проверяемость.

Варианты архитектуры

ВариантОписание
RAG-Original (Lewis et al., 2020)Генеративная модель и ретривер обучаются совместно
RAG-SequenceОдно извлечение на весь ответ
RAG-TokenРетривер вызывается на каждом токене
Naive RAGБез дообучения: готовый энкодер + готовая LLM
Advanced RAGПереформулирование запросов, reranking, гибридный поиск
Modular RAGКомпоненты заменяются модулярно (агентные сценарии)

Компоненты системы

Индексация

Документы разбиваются на фрагменты (чанки) размером от нескольких сотен до нескольких тысяч токенов, с перекрытием. Каждый фрагмент векторизуется энкодером (например, multilingual-e5, BGE, OpenAI text-embedding-3). Индекс хранится в векторной базе. Для русскоязычных задач применяются модели вроде BGE-M3 и multilingual-e5-large.

Поиск

Помимо плотного поиска, используются:

  • Гибридный поиск — комбинация векторного и ключевого (BM25) поиска, повышающая точность на точных совпадениях (имена, артикулы, номера).
  • Reranking — вторая модель (cross-encoder, например bge-reranker) переупорядочивает кандидатов по релевантности.
  • Query rewriting — переформулировка запроса LLM перед поиском.

Генерация

В роли генератора выступают LLM: GPT-4, Llama, YandexGPT, GigaChat, Mistral, DeepSeek и другие. Контекстное окно современных моделей позволяет подавать десятки фрагментов одновременно.

Применение

  • Корпоративные чат-боты — ответы на вопросы по внутренней документации (регламенты, договоры, базы знаний).
  • Поиск по документам — юридическая, медицинская, техническая экспертиза.
  • Поддержка клиентов — автоматизация с привязкой к актуальным инструкциям.
  • Генерация отчётов — сводки на основе внутренних данных.
  • Образование — репетиторы, отвечающие по учебным материалам.

Ограничения

RAG не устраняет все проблемы LLM. Точность зависит от качества индекса: устаревшие или неполные документы приводят к неверным ответам. Разбиение на чанки может разрывать смысловые единицы. Стоимость и задержка возрастают из-за дополнительного поиска и более длинных промптов. Модель может игнорировать контекст и «додумывать» факты. Для сложных многошаговых вопросов одного поиска часто недостаточно — в этих случаях применяют агентные сценарии с повторными запросами к базе.

Альтернативы и развитие

Для актуализации знаний без поиска используется дообучение (fine-tuning), но оно дорого и не гарантирует актуальность. Другой подход — «long context»: подача всех документов в большое контекстное окно без ретривера. Гибридные схемы совмещают RAG с fine-tuning. В 2023—2024 годах появились графовые варианты (GraphRAG), где ретривер опирается на граф знаний, а также модулярные и агентные реализации, где LLM сама решает, когда и что искать.

Источники

  • Lewis P. et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks // arXiv:2005.11401, 2020
  • Karpukhin V. et al. Dense Passage Retrieval for Open-Domain Question Answering // arXiv:2004.04906, 2020
  • Gao Y. et al. Retrieval-Augmented Generation for Large Language Models: A Survey // arXiv:2312.10997, 2023
Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru