Google Books Ngram

Google Books Ngram — это сервис, предоставляющий возможность поиска и визуализации частотности слов и словосочетаний (n-грамм) в корпусе оцифрованных книг, хранящихся в базе данных Google Books. Сервис был разработан командой Google Research и запущен в декабре 2010 года. Google Books Ngram Viewer (инструмент визуализации) позволяет строить графики, показывающие, как часто определённые языковые единицы встречались в книгах на разных языках на протяжении заданного периода времени (обычно с 1500 по 2019 год). Проект является частью более масштабной инициативы Google по оцифровке книг и предоставляет исследователям в области лингвистики, истории, социологии и других гуманитарных наук уникальный инструмент для количественного анализа культурных и языковых изменений.

История и развитие

Предпосылки создания

Идея использования крупных текстовых корпусов для анализа культурных трендов (культуромика, или культурономика) была впервые систематически изложена в 2011 году в статье «Quantitative Analysis of Culture Using Millions of Digitized Books», опубликованной в журнале Science группой исследователей, включая Жана-Батиста Мишеля и Эреза Либермана Айдену. Они показали, что частотность слов в оцифрованных книгах может служить индикатором таких явлений, как цензура, технологические инновации и изменение общественного внимания.

Запуск и развитие

Сервис Google Books Ngram Viewer был запущен в декабре 2010 года. Первоначально он охватывал корпуса книг на английском, французском, немецком, испанском, русском, иврите и китайском языках. В последующие годы корпуса расширялись и обновлялись. Ключевым моментом стало включение данных по русскому языку, что позволило проводить анализ русскоязычных текстов на протяжении нескольких столетий. В 2012 году была выпущена вторая версия корпуса, содержащая более 8 миллионов книг (около 6% от всех когда-либо опубликованных книг). Позднее, в 2020 году, корпус был обновлён до версии 2019 года, добавившей книги, изданные в период с 2009 по 2019 год.

Критика и ограничения

С самого начала проект подвергался критике. Основные претензии касались качества данных: в корпусе присутствуют ошибки оптического распознавания символов (OCR), метаданные книг (год издания, автор) не всегда точны, а состав корпуса не является репрезентативным для всей книжной продукции. В частности, в нём непропорционально много научной и технической литературы по сравнению с художественной. Кроме того, в некоторых странах, в том числе в России, оцифровка книг Google Books вызвала споры об авторских правах, что привело к ограничению доступа к части текстов.

Устройство и принцип работы

Понятие n-граммы

N-грамма — это последовательность из n элементов (в данном случае — слов или знаков препинания). В Google Books Ngram Viewer можно искать:

• 1-граммы (unigrams): отдельные слова (например, «революция»).
• 2-граммы (bigrams): пары слов (например, «гражданская война»).
• 3-граммы (trigrams): тройки слов (например, «Великая Отечественная война»).

Корпус текстов

Корпус Google Books Ngram состоит из отсканированных и распознанных книг, опубликованных до 2019 года. Для русского языка доступен корпус «Russian 2019», который включает книги на русском языке, изданные в основном в XIX–XXI веках. Важно отметить, что корпус не включает все книги, а лишь те, которые были оцифрованы Google и прошли проверку качества. Общий объём корпуса на всех языках превышает 500 миллиардов слов.

Алгоритм визуализации

Пользователь вводит слово или фразу, выбирает язык, временной диапазон и коэффициент сглаживания (smoothing). Алгоритм вычисляет долю (в процентах) всех n-грамм данного типа в общем количестве n-грамм в книгах за каждый год. Результат отображается в виде графика, где по оси X отложены годы, а по оси Y — относительная частота встречаемости (например, 0.0001% означает, что на каждые 10 миллионов слов в книгах данного года приходится одно вхождение искомого слова).

Применение

Лингвистика и лексикография

Google Books Ngram Viewer используется для изучения истории слов, их семантических сдвигов и изменений в грамматике. Например, можно проследить, как слово «интернет» вошло в активный обиход в 1990-х годах, или как менялось написание слова «Россія» на «Россия» после реформы орфографии 1918 года.

Исторические исследования (Культуромика)

Сервис позволяет выявлять культурные и исторические тренды. Например, исследователи использовали его для анализа:

• Влияния цензуры: резкое падение частотности имён репрессированных деятелей в советских книгах после 1937 года.
• Технологических изменений: рост упоминаний «паровой машины» в XIX веке и «компьютера» в XX веке.
• Социальных изменений: изменение частотности слов, связанных с гендером, войной, религией.

Социология и политология

Анализ частотности политических терминов (например, «демократия», «либерализм», «фашизм») может дать представление об изменении общественного дискурса. Однако такие данные требуют осторожной интерпретации, так как они отражают не столько реальное положение дел, сколько то, что авторы книг считали важным упомянуть.

Образование и популяризация

Инструмент часто используется в образовательных целях для демонстрации исторических тенденций. Он доступен в виде бесплатного веб-сервиса (books.google.com/ngrams) и не требует специальной регистрации.

Примеры анализа на русском языке

Изменение политической лексики

График для слова «товарищ» в русском корпусе показывает резкий рост с 1917 года, пик в 1930–1950-х годах и последующее снижение в постсоветский период. В то же время слово «господин», практически исчезнувшее из книг в советское время, начинает вновь появляться в 1990-х годах.

Технологические термины

Слово «самолёт» демонстрирует устойчивый рост с начала XX века, достигая пика в 1940-е годы (время Второй мировой войны), после чего его частота стабилизируется. Слово «ракета» показывает два пика: первый — в 1960-е годы (космическая гонка), второй — в 1980-е (гонка вооружений).

Литературные персонажи

Можно сравнить частотность упоминаний «Евгения Онегина» и «Печорина». Первый персонаж стабильно упоминается чаще, что может быть связано с его большей культурной значимостью и включением в школьную программу.

Интересные факты

• Ошибки OCR: Из-за ошибок распознавания в корпусе встречаются слова, которых не существовало. Например, слово «skepticism» в старых книгах часто распознавалось как «scepticism» (британский вариант), что создаёт ложный график.
• Авторские права: Google Books Ngram Viewer не показывает сами тексты книг, а только статистику по словам. Это позволяет обходить часть ограничений авторского права, но не решает проблему доступа к полным текстам.
• Русский язык: Русский корпус является одним из самых больших неанглоязычных корпусов в проекте. Однако он содержит в основном книги, изданные в России и СССР, что может давать искажённую картину для русскоязычной диаспоры.
• Эффект «нулевого года»: В корпусе есть годы, для которых данные отсутствуют или крайне скудны (например, 1918–1922 годы в русском корпусе из-за Гражданской войны и разрухи). Графики в эти периоды могут быть ненадёжными.

Критика и ограничения

• Неполнота корпуса: Корпус не является репрезентативной выборкой всей книжной продукции. В нём преобладают научные и технические тексты, а также книги из университетских библиотек. Художественная литература, особенно массовая, представлена хуже.
• Проблемы с метаданными: Год издания, указанный в книге, может не совпадать с реальным годом её написания или распространения. Переиздания классики часто приписываются к году нового издания, а не к году первого выхода.
• Языковой сдвиг: Изменение частотности может быть связано не с изменением реального употребления слова, а с изменением состава корпуса. Например, если в какой-то период было издано много книг по одной теме, частота связанных слов вырастет, даже если в обществе они не стали более популярными.
• Отсутствие контекста: Ngram Viewer показывает только частоту, но не контекст употребления. Слово может использоваться в разных значениях (омонимия), что не различается сервисом. Например, слово «мир» может означать и «отсутствие войны», и «вселенную».
• Правовые ограничения: В некоторых странах, включая Россию, доступ к полным текстам книг из Google Books может быть ограничен из-за судебных исков о нарушении авторских прав. Это не влияет на работу Ngram Viewer, но ограничивает возможности верификации данных.

Источники

1. Michel, J. B., Shen, Y. K., Aiden, A. P., Veres, A., Gray, M. K., Pickett, J. P., ... & Aiden, E. L. (2011). Quantitative analysis of culture using millions of digitized books. Science, 331(6014), 176-182.
2. Google Books Ngram Viewer. Официальная документация и справка.
3. Aiden, E. L., & Michel, J. B. (2013). Uncharted: Big data as a lens on human culture. Penguin.
4. Статьи и обсуждения на русскоязычных научно-популярных ресурсах (например, «ПостНаука», «Троицкий вариант — Наука»), посвящённые культуромике и использованию Google Books Ngram Viewer.