Яндекс OCR

Яндекс OCR — это технология оптического распознавания символов (OCR, Optical Character Recognition), разработанная компанией «Яндекс». Она позволяет автоматически извлекать текстовую информацию из изображений, документов, фотографий и видеокадров, преобразуя её в машиночитаемый цифровой формат (например, строки текста в кодировке UTF-8). Технология использует нейросетевые модели и компьютерное зрение для идентификации символов, слов и структуры текста независимо от шрифта, размера, цвета и качества исходного изображения.

История развития

Работы над собственным решением для распознавания текста начались в «Яндексе» в середине 2010-х годов. Первоначально технология применялась для внутренних нужд — оцифровки архивов, обработки скан-копий документов и улучшения поиска по изображениям в сервисе «Яндекс.Картинки». В 2017 году было запущено мобильное приложение «Яндекс.Переводчик», интегрированное с функцией распознавания текста с камеры. В 2019 году технология была выделена в отдельное облачное решение — Yandex Vision OCR (позднее вошло в состав платформы Yandex Cloud). В 2021 году «Яндекс» представил обновлённую версию нейросети, обученную на синтетических данных и размеченных вручную наборах изображений, что повысило точность распознавания русскоязычных текстов и текстов на языках стран СНГ. В 2023 году алгоритм был адаптирован для работы с рукописным текстом и сложными документами, включая таблицы, бланки и удостоверения личности.

Принцип работы

Этапы обработки изображения

1. Предобработка: Изображение нормализуется — устраняются перекосы, повышается контрастность, удаляются шумы и артефакты сжатия. При необходимости выполняется бинаризация (преобразование в чёрно-белый формат).
2. Сегментация: Нейросеть разбивает изображение на фрагменты, определяя границы текстовых блоков, строк, слов и отдельных символов. Специальные модели детектируют области, содержащие текст (Text Detection).
3. Распознавание: Сверточная нейронная сеть (CNN) или рекуррентная нейросеть (RNN с памятью LSTM) анализирует каждый сегмент и сопоставляет его с вероятными символами (буквы, цифры, знаки препинания) из обученного словаря. Для повышения точности применяется механизм внимания (Attention Mechanism), учитывающий контекст соседних символов.
4. Постобработка: Результаты корректируются с помощью языковых моделей — проверяется орфография, исправляются типичные ошибки, восстанавливаются разрывы в словах. Для русского и английского языков используются статистические словари.

Поддерживаемые языки

Яндекс OCR распознаёт тексты на русском, английском, немецком, французском, испанском, итальянском, португальском, турецком, украинском, белорусском, казахском, узбекском, таджикском, азербайджанском, армянском, грузинском, китайском (упрощённое и традиционное письмо), японском, корейском, арабском, хинди и других языках. Общее число поддерживаемых языков превышает 100.

Виды и форматы

По типу входных данных

• Распознавание печатного текста: Обработка книг, журналов, вывесок, этикеток, QR-кодов, таблиц, бланков, паспортов, водительских прав.
• Распознавание рукописного текста: Поддержка рукописных записей, анкет, писем, рецептов (ограниченно, с точностью около 85–90% на кириллице).
• Распознавание текста с камеры (Real-time OCR): Обработка видеопотока или отдельных кадров, полученных в реальном времени с мобильного устройства или веб-камеры.

По типу выходных данных

• Сырой текст: Простая строка или массив строк без форматирования.
• Структурированный текст: JSON с координатами рамок (bounding boxes) каждого слова, строки или блока, а также метаданными об ориентации, языке и уверенности распознавания (confidence score).
• Электронные документы: Преобразование скан-копий в форматы PDF с текстовым слоем, DOCX, TXT.

Применение

В сервисах Яндекса

• Яндекс.Переводчик: перевод текста, сфотографированного камерой (в том числе с английского на русский и обратно).
• Яндекс.Картинки: поиск по изображениям на основе извлечённого текста.
• Яндекс.Документы: оцифровка скан-копий и PDF-файлов.
• Яндекс.Карты: распознавание вывесок и номеров домов для уточнения геоданных.
• Алиса: чтение текста с фотографий и документов (например, рецептов или штрих-кодов).

Для бизнеса и разработки

Через облачные API (Yandex Vision OCR) технология доступна для интеграции в сторонние приложения. Основные сценарии:

• Автоматизация ввода первичных бухгалтерских документов (счёт-фактур, накладных, чеков).
• Оцифровка архивов и библиотечных фондов.
• Учёт товаров и логистика — распознавание этикеток, штрих-кодов, номеров партий.
• Автоматическое заполнение анкет и форм в банках и госучреждениях.
• Распознавание автомобильных номеров (диапазон точности 95–99% при хорошем освещении).
• Мониторинг вывесок и рекламы для маркетинговых исследований.

В мобильных приложениях

Встроенное решение используется в iOS и Android-приложениях «Яндекс» для быстрого копирования текста из фотографий, сохранения визиток и поиска по изображениям.

Сравнение с аналогами

На русскоязычном сегменте Яндекс OCR уступает по точности ABBYY FineReader при работе с идеально сканированными документами, но опережает по скорости обработки и лучше адаптирован для распознавания неструктурированных изображений с камеры (вывески, упаковки, сфотографированные книги). В отличие от Tesseract, не требует локальной установки и настройки.

Ограничения и точность

Точность распознавания варьируется в зависимости от качества исходного изображения:

• Идеальные скан-копии (300 dpi, чёрно-белые): до 99%.
• Фотографии с камеры при хорошем освещении (без перспективных искажений): 93–97%.
• Наклонённые, размытые, засвеченные или тёмные изображения: 60–80%.
• Рукописный текст стандартной убористой каллиграфии: 85–90%; неразборчивый почерк — значительно ниже.

Ограничения связаны с размером шрифта (менее 10 пикселей), некорректным сопоставлением некоторых экзотических шрифтов (готический, декоративный) и многострочным текстом с нестандартными межстрочными интервалами.

Технические детали реализации

Яндекс OCR построен на архитектуре CRNN (Convolutional Recurrent Neural Network) с механизмом attention-based sequence-to-sequence для выравнивания и декодирования. Нейронная сеть обучена на наборе из 2 миллионов вручную размеченных изображений и 10 миллионов синтетически сгенерированных (складывалась из шрифтов, различных фонов и дефектов). Модели разворачиваются на графических ускорителях (GPU NVIDIA) в вычислительных кластерах Yandex Cloud, что обеспечивает время ответа менее 1 секунды для типовых запросов. Для снижения доли ложных положительных срабатываний (false positive) применяется дополнительный фильтр на основе языковой модели с n-граммами.

Критика

Основные замечания пользователей касаются недостаточно точного распознавания редких иностранных языков (например, иврит, вьетнамский) и рукописного текста с сильным наклоном или росчерками. В коммерческих отзывах также упоминается неполная поддержка сложных таблиц с объединёнными ячейками. В отличие от ABBYY, Яндекс OCR пока не имеет встроенного инструмента для восстановления форматирования исходной страницы — результат выдаётся как плоский текст или набор прямоугольников без сохранения колонок, отступов и стилей. Некоторые разработчики отмечают, что в бесплатной квоте 1000 запросов в месяц недостаточно для пилотирования в крупных организациях.

Источники

• Документация Yandex Vision OCR (Yandex Cloud, версия 2024).
• Исследовательские статьи команды Yandex Vision (сборник 2020–2023), опубликованные на платформе Habr.
• Материалы конференции DataFest (Москва, 2022) — доклад «Методы повышения точности распознавания кириллицы в нейросетевых OCR».
• Сравнительный анализ OCR систем для русского языка (Центр речевых технологий, 2023).
• Обзор «Яндекс Vision OCR vs Tesseract vs ABBYY FineReader» (блог Техно-Эксперт, 2024).