Google Neural Machine Translation¶

Google Neural Machine Translation (GNMT) — система машинного перевода, разработанная корпорацией Google и представленная в 2016 году. В отличие от предыдущих статистических методов, GNMT использует архитектуру глубокого обучения на основе нейронных сетей, что позволяет переводить целые предложения, а не отдельные фразы, добиваясь более высокого качества и естественности результата.

¶История

Разработка GNMT велась исследовательским подразделением Google Brain. Первый значимый прорыв был анонсирован в сентябре 2016 года, когда система начала использоваться для переводов с китайского на английский язык. В ноябре 2016 года Google объявил о полном переходе сервиса Google Translate на новую технологию, отказавшись от ранее применявшейся фразовой статистической модели (PBMT).

Ключевым отличием GNMT от предшественников стал отказ от поэтапной обработки текста (разбиение на слова, перевод, склейка). Вместо этого система анализирует предложение целиком, что позволило значительно улучшить согласование грамматических конструкций и учёт контекста.

¶Архитектура и принцип работы

¶Модель «внимания»

В основе GNMT лежит архитектура секвенциальной модели с механизмом внимания (attention mechanism). Нейронная сеть состоит из двух основных частей: кодера (encoder), который преобразует исходное предложение в векторное представление, и декодера (decoder), который генерирует перевод. Механизм внимания позволяет декодеру «фокусироваться» на наиболее релевантных словах исходного текста в процессе генерации каждого слова перевода.

¶Словесные подблоки

Одной из технических особенностей GNMT является использование «словесных подблоков» (wordpieces). Вместо работы с полными словами система разбивает их на более мелкие фрагменты. Это решение позволило эффективно обрабатывать редкие и неизвестные слова, а также уменьшить размер словаря, необходимого для работы.

¶Обратный перевод

Для повышения качества система применяет технику обратного перевода (back-translation). Она заключается в том, что модель переводит текст на целевой язык, а затем сравнивает обратный перевод с оригиналом, корректируя ошибки и улучшая согласованность.

¶Применение в Google Translate

GNMT стала основой для всех языковых пар в сервисе Google Translate. Система поддерживает десятки языков, включая русский. По заявлениям компании, внедрение нейронного перевода позволило сократить количество ошибок на 55–85% по сравнению со статистической моделью в зависимости от языковой пары.

Перевод осуществляется в облачной инфраструктуре Google, что позволяет обрабатывать миллиарды запросов ежедневно. В 2018 году Google представил более компактную версию системы, адаптированную для работы на мобильных устройствах в офлайн-режиме.

¶Оценка качества

¶Метрики

Для оценки качества перевода GNMT используются стандартные автоматические метрики, такие как BLEU (Bilingual Evaluation Understudy). По результатам тестов, проведённых Google, GNMT показала значительное улучшение по шкале BLEU по сравнению с предыдущей системой PBMT. Однако автоматические метрики не всегда коррелируют с субъективной оценкой носителей языка.

¶Человеческая оценка

В ходе внутренних исследований Google привлекала двуязычных экспертов для оценки качества. Согласно опубликованным данным, в большинстве языковых пар переводы, выполненные GNMT, оценивались как более точные и естественные, чем переводы, созданные статистическими методами. Тем не менее, для сложных текстов (художественная литература, узкоспециализированные технические документы) система может допускать смысловые ошибки.

¶Критика и ограничения

Несмотря на прогресс, GNMT имеет ряд ограничений. Система чувствительна к длине предложения: при переводе слишком длинных или сложных синтаксических конструкций возможны потери смысла. Также остаются проблемы с передачей идиом, культурных реалий и многозначных слов без контекста.

Критике подвергалась и прозрачность работы системы: нейронные сети рассматриваются как «чёрный ящик», что затрудняет диагностику и исправление систематических ошибок. Кроме того, качество перевода сильно зависит от объёма параллельных корпусов текстов для конкретной языковой пары, что приводит к неравномерности качества для разных языков.

¶См. также

• Машинный перевод
• Нейронная сеть
• Google Translate

¶Источники

• Wu Y., Schuster M., Chen Z. et al. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. — arXiv:1609.08144, 2016.
• Официальный блог Google Research: «A Neural Network for Machine Translation, at Production Scale», сентябрь 2016.