Экстрактивное реферирование

Экстрактивное реферирование (от лат. extractio — извлечение) — это метод автоматического реферирования текста, при котором реферат (краткое содержание) формируется путём отбора и компоновки наиболее значимых фрагментов исходного документа (предложений, абзацев, фраз) без их переформулирования или генерации нового текста. В отличие от абстрактивного реферирования, которое предполагает создание нового, сжатого текста на основе понимания смысла оригинала, экстрактивный подход сохраняет оригинальные формулировки и синтаксис выбранных единиц. Результатом экстрактивного реферирования является подмножество исходных предложений, которые, по мнению алгоритма, в совокупности передают основное содержание документа.

История развития

Идея автоматического реферирования текста возникла в середине XX века вместе с развитием вычислительной техники и информационного поиска. Одним из первых значимых исследований в этой области стала работа Ганса Питера Луна (Hans Peter Luhn) 1958 года, опубликованная в журнале IBM Journal of Research and Development. Лун предложил метод, основанный на статистическом анализе частоты слов: он вычислял «вес» предложения по количеству входящих в него высокочастотных терминов и отбирал предложения с наибольшим весом для формирования реферата. Этот подход заложил основы экстрактивного реферирования.

В 1960-х годах Гарольд Борко (Harold Borko) и другие исследователи развивали методы, основанные на ключевых словах и фразах. В 1970-х годах появились системы, использующие лингвистические признаки, такие как позиция предложения в тексте (первые предложения абзаца или документа считались более значимыми) и наличие маркерных слов (например, «таким образом», «в заключение»). В 1990-х годах, с ростом объёмов текстовой информации в интернете, интерес к автоматическому реферированию резко возрос. Были разработаны более сложные статистические и машинно-обучаемые методы, такие как использование тематических моделей (например, латентное размещение Дирихле, LDA) и алгоритмов кластеризации.

В 2000-х годах ключевым направлением стало применение методов машинного обучения с учителем. Исследователи начали строить классификаторы, которые на основе набора признаков (частотных, позиционных, синтаксических, семантических) определяли, стоит ли включать каждое предложение в реферат. Для обучения таких моделей требовались размеченные вручную корпуса текстов, где для каждого документа был составлен эталонный реферат (обычно людьми). Одним из важнейших событий стало проведение конференций Document Understanding Conference (DUC) и Text Analysis Conference (TAC) в США, которые предоставили стандартизированные наборы данных и метрики для оценки систем реферирования.

С 2010-х годов доминирующим подходом в экстрактивном реферировании стало использование нейронных сетей, в частности, рекуррентных (RNN, LSTM) и трансформерных архитектур. Модели, такие как SummaRuNNer (2017) и BERT-based модели (например, BERTSUM, 2019), показали значительное улучшение качества по сравнению с классическими методами. Они способны учитывать контекстные зависимости между предложениями и глобальную структуру документа.

Классификация методов

Методы экстрактивного реферирования можно классифицировать по нескольким основаниям.

По используемым признакам

• Статистические методы: Основаны на количественных характеристиках текста. Ключевые признаки — частота терминов (TF-IDF), длина предложения, позиция в документе, наличие слов из заголовка. Пример — метод Луна.
• Лингвистические методы: Учитывают синтаксические и семантические особенности. Используют анализ зависимостей, выделение именованных сущностей, тематическое моделирование (LDA), анализ связности текста (кореференция).
• Методы машинного обучения:
• С учителем (supervised): Требуют размеченных данных. Модель (например, SVM, Random Forest, нейронная сеть) обучается предсказывать метку «включить/не включить» для каждого предложения на основе вектора признаков.
• Без учителя (unsupervised): Не требуют размеченных данных. Используют кластеризацию предложений (например, алгоритм TextRank, основанный на графовой модели PageRank), ранжирование по сходству с центроидом кластера или по репрезентативности.
• С полуучителем (semi-supervised): Комбинируют небольшое количество размеченных данных с большим объёмом неразмеченных.

По способу отбора предложений

• Последовательный (sequential): Модель просматривает предложения в порядке их следования в документе и принимает решение о включении каждого, часто с учётом предыдущих решений (например, чтобы избежать избыточности).
• Глобальный (global): Модель оценивает все предложения одновременно и выбирает оптимальное подмножество, максимизирующее некоторую целевую функцию (например, информативность при ограничении на длину реферата). Часто решается с помощью методов оптимизации (например, целочисленного линейного программирования).

Устройство и основные этапы

Типичная система экстрактивного реферирования включает несколько этапов:

1. Предобработка текста: Исходный документ разбивается на предложения и токены (слова, знаки препинания). Производится нормализация (приведение к нижнему регистру), удаление стоп-слов (предлогов, союзов, частиц, не несущих смысловой нагрузки), стемминг или лемматизация (приведение слов к начальной форме).
2. Вычисление признаков (Feature Extraction): Для каждого предложения вычисляется набор числовых характеристик. Типичные признаки:

• TF-IDF: Взвешенная частота терминов, отражающая важность слова для данного документа.
• Позиция: Номер предложения в документе или абзаце (первые и последние предложения часто имеют больший вес).
• Длина предложения: Очень короткие или очень длинные предложения часто исключаются.
• Сходство с заголовком: Косинусное сходство вектора предложения с вектором заголовка.
• Наличие сигнальных слов: Слова типа «резюмируя», «вывод», «цель работы».
• Сходство с другими предложениями: Используется для оценки избыточности.

1. Ранжирование и отбор предложений: На основе вычисленных признаков каждому предложению присваивается вес (score). Затем предложения ранжируются по убыванию веса. Отбирается заданное количество лучших предложений (например, 3-5) или предложения, чей вес превышает порог. Важно обеспечить, чтобы отобранные предложения не были избыточны (не несли одну и ту же информацию).
2. Формирование реферата: Отобранные предложения упорядочиваются в том порядке, в котором они встречались в исходном документе (или, реже, по убыванию веса). Полученная последовательность и является итоговым рефератом. В некоторых системах применяется постобработка для улучшения связности (например, добавление переходных слов).

Применение

Экстрактивное реферирование широко применяется в различных областях, где требуется быстрое извлечение ключевой информации из больших объёмов текста:

• Поисковые системы: Формирование сниппетов (кратких фрагментов) для результатов поиска.
• Новостные агрегаторы: Создание кратких обзоров новостных статей.
• Библиотечное и архивное дело: Автоматическое аннотирование документов и книг.
• Научные исследования: Помощь в реферировании научных статей, патентов, отчётов.
• Юридическая сфера: Анализ и сжатие объёмных юридических документов, судебных решений.
• Бизнес-аналитика: Мониторинг и обобщение отзывов клиентов, новостей рынка, конкурентной разведки.
• Образование: Создание кратких конспектов лекций, учебных материалов.

Преимущества и недостатки

Преимущества

• Простота и интерпретируемость: Результат состоит из оригинальных предложений, поэтому легко проверить его достоверность и понять, откуда взята информация.
• Грамматическая корректность: Поскольку предложения не переформулируются, в реферате отсутствуют грамматические ошибки, характерные для ранних систем абстрактивного реферирования.
• Высокая скорость работы: Алгоритмы экстрактивного реферирования, особенно статистические, работают значительно быстрее, чем сложные нейросетевые генеративные модели.
• Низкие требования к данным: Многие эффективные методы (например, TextRank) не требуют размеченных данных для обучения.

Недостатки

• Низкая связность (coherence): Реферат может выглядеть как набор несвязанных предложений, лишённых логических переходов и связок. Отсутствие переформулирования может приводить к повторам и нарушению логики повествования.
• Избыточность (redundancy): Разные предложения могут содержать одну и ту же информацию, что приводит к дублированию в реферате.
• Неспособность к обобщению: Модель не может создать новое предложение, которое бы обобщало несколько идей из разных частей текста. Она лишь выбирает существующие.
• Зависимость от качества исходного текста: Если исходный текст плохо структурирован или содержит много второстепенной информации, качество реферата будет низким.
• Проблема с длинными документами: Для очень длинных документов (книги, многостраничные отчёты) экстрактивные методы часто работают плохо, так как теряют глобальный контекст.

Сравнение с абстрактивным реферированием

Экстрактивное реферирование является более простым и исторически более ранним подходом. Его главное отличие от абстрактивного — отсутствие этапа генерации нового текста. Абстрактивные методы, основанные на современных языковых моделях (например, GPT, T5, BART), способны создавать сжатое изложение, перефразируя и обобщая исходный текст, что позволяет получить более связный и лаконичный реферат. Однако они требуют огромных вычислительных ресурсов, больших объёмов обучающих данных и подвержены проблемам «галлюцинаций» (генерации фактов, не соответствующих исходному тексту). На практике часто используются гибридные подходы, где экстрактивный этап используется для отбора наиболее релевантных предложений, а затем абстрактивная модель генерирует на их основе итоговый реферат.

Метрики оценки

Для оценки качества экстрактивного реферирования используются автоматические метрики, сравнивающие сгенерированный реферат с эталонным (референсным), созданным человеком. Наиболее распространённые метрики:

• ROUGE (Recall-Oriented Understudy for Gisting Evaluation): Семейство метрик, основанных на подсчёте совпадающих n-грамм (последовательностей из n слов) между автоматическим и эталонным рефератами. Наиболее популярны ROUGE-1 (униграммы), ROUGE-2 (биграммы) и ROUGE-L (наибольшая общая подпоследовательность). ROUGE оценивает в основном полноту (recall) — насколько хорошо автоматический реферат покрывает содержание эталонного.
• BLEU (Bilingual Evaluation Understudy): Метрика, изначально разработанная для машинного перевода, но также применяемая для реферирования. Она оценивает точность (precision) — долю n-грамм в автоматическом реферате, которые встречаются в эталонном.
• METEOR: Метрика, учитывающая синонимию и стемминг, что делает её более устойчивой к лексическим вариациям, чем ROUGE и BLEU.

Источники

• Luhn, H. P. (1958). The automatic creation of literature abstracts. IBM Journal of Research and Development, 2(2), 159-165.
• Nenkova, A., & McKeown, K. (2011). Automatic summarization. Foundations and Trends in Information Retrieval, 5(2-3), 103-233.
• Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
• Lin, C. Y. (2004). ROUGE: A Package for Automatic Evaluation of Summaries. Proceedings of the ACL-04 Workshop on Text Summarization Branches Out.
• Liu, Y., & Lapata, M. (2019). Text Summarization with Pretrained Encoders. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP).