Открыть сервисСервис

AACT Tools — набор инструментов для анализа транскриптов

AACT Tools — это набор программных инструментов (toolkit), разработанный для автоматизированного анализа текстовых данных, прежде всего транскриптов устной речи, интервью и разговорных корпусов. Инструменты выполняют предобработку текста, извлечение лексических и грамматических характеристик, подсчёт частотности и построение статистических описаний языковых данных. Набор ориентирован на исследователей лингвистики, социологии, медиаисследований и смежных дисциплин, работающих с большими массивами разговорного текста.

Назначение и область применения

AACT Tools разрабатывался как инструментарий для работы с разговорными корпусами — прежде всего с транскрипциями интервью, дискуссий, телевизионных и радиопередач. Основные задачи, которые решает набор:

  • автоматическая очистка и нормализация транскриптов (удаление служебных помет, разметка реплик говорящих);
  • разбиение текста на реплики, предложения и токены;
  • подсчёт частотности слов, частотности реплик, длины реплик;
  • поиск и извлечение лексических единиц по заданным шаблонам;
  • построение описательной статистики по корпусу (словарный запас, показатели разнообразия лексики);
  • подготовка данных для дальнейшего корпусного анализа.

Инструменты особенно востребованы в исследованиях, где материалом служат устные интервью или дискуссии, а анализ должен охватить сотни и тысячи реплик, что делает ручную обработку практически невозможной.

История и контекст разработки

AACT Tools связан с проектом AACT (American Association for Corpus Tools) — инициативой, направленной на создание открытого инструментария для корпусной лингвистики и анализа разговорного дискурса. Проект возник в академической среде в начале 2000-х годов и был ориентирован на исследователей, работающих с большими массивами транскриптов.

Разработка велась в контексте общего тренда на цифровизацию корпусов устной речи: в 1990-е — 2000-е годы ряд университетских и государственных программ (в США и Европе) создавал электронные корпусы интервью и разговорной речи, требовавшие стандартизированных средств обработки. AACT Tools дополнял существующие на тот момент системы (например, инструменты для корпусов COCA, BNC, ICE) средствами, специализированными именно на разговорном материале с его неформальностью, повторами, самоисправлениями и служебными пометами.

Устройство и принцип работы

Архитектура набора строится по принципу конвейера (pipeline): исходный транскрипт проходит последовательные этапы обработки, на каждом из которых выполняется отдельная операция.

Предобработка

На первом этапе текст нормализуется: удаляются или заменяются служебные символы, стандартизируются обозначения говорящих, разрешаются неоднозначности в разметке. Затем текст разбивается на реплики по маркерам говорящих, а реплики — на предложения и токены.

Анализ

После предобработки выполняется анализ: подсчёт частотности, построение словаря корпуса, вычисление показателей разнообразия (например, индекса Тип-Токен), поиск лексических единиц по шаблонам (регулярным выражениям или словарям).

Выгрузка

Результаты выгружаются в табличные форматы (CSV, TSV) или форматы, пригодные для загрузки в корпусные платформы и статистические пакеты.

Сравнение с аналогами

ИнструментОсновная областьОсобенность
AACT ToolsРазговорные корпусы, транскриптыСпециализация на устном дискурсе
AntConcЛюбой текстовый корпусУниверсальный корпусный анализатор
Sketch EngineЛюбой корпусОблачный сервис, широкие функции
NVivoКачественный анализ интервьюРабота с разметкой, а не с корпусной статистикой

Отличительной чертой AACT Tools является именно специализация на разговорном материале: набор учитывает особенности транскриптов, которые универсальные корпусные анализаторы обрабатывают хуже.

Применение в исследованиях

Инструменты использовались в лингвистических и социологических исследованиях дискурса: анализе интервью, изучении политического разговорного дискурса, исследовании гендерных и идентичностных практик в устной речи. В российской академической традиции аналогичные задачи решаются с помощью отечественных корпусных платформ и пакетов, однако принцип конвейерной обработки транскриптов, заложенный в AACT Tools, получил широкое распространение.

Источники

  • Manning C. D., Schütze H. Foundations of Statistical Natural Language Processing. — MIT Press, 1999.
  • Sinclair J. Corpus, Concordance, Collocation. — Oxford University Press, 1991.
  • Материалы проекта AACT (American Association for Corpus Tools).
  • Литература по корпусной лингвистике и анализу разговорного дискурса.
Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru