Amazon Textract

Amazon Textract — это сервис машинного обучения, предоставляемый компанией Amazon Web Services (AWS), предназначенный для автоматического извлечения текста, рукописного ввода, таблиц и других данных из отсканированных документов и изображений. Сервис использует технологии оптического распознавания символов (OCR) и анализа форм, позволяя преобразовывать неструктурированные документы (PDF, JPEG, PNG, TIFF) в структурированные данные, пригодные для машинной обработки.

История и развитие

Сервис Amazon Textract был анонсирован на конференции AWS re:Invent в ноябре 2018 года и стал общедоступным в мае 2019 года. Разработка сервиса была обусловлена растущей потребностью бизнеса в автоматизации обработки документов, таких как счета-фактуры, налоговые декларации, медицинские формы и юридические контракты. До появления Textract основным инструментом AWS для работы с документами был Amazon Rekognition, который, однако, был ориентирован на распознавание изображений и лиц, а не на извлечение структурированных данных из документов.

Первоначально Textract поддерживал только извлечение печатного текста. В 2020 году были добавлены функции распознавания рукописного ввода, а также возможность извлечения данных из таблиц и форм. В 2021 году появилась поддержка анализа документов с помощью предварительно обученных моделей для конкретных типов документов, таких как счета-фактуры и квитанции. В 2022 году сервис был дополнен возможностью обнаружения подписей и извлечения данных из паспортов и водительских удостоверений. В 2023 году были представлены функции, позволяющие обрабатывать документы с несколькими страницами и извлекать данные из сложных таблиц с объединёнными ячейками.

Принцип работы

Amazon Textract работает на основе глубоких нейронных сетей, обученных на миллионах размеченных документов. Процесс обработки документа включает несколько этапов:

1. Предобработка изображения: Сервис автоматически улучшает качество изображения, корректируя перекосы, удаляя шумы и повышая контрастность.
2. Обнаружение текста: Нейронная сеть идентифицирует все текстовые блоки на изображении, включая отдельные слова, строки и абзацы.
3. Распознавание символов: Каждый обнаруженный блок преобразуется в последовательность символов с использованием моделей оптического распознавания.
4. Анализ структуры: Сервис определяет иерархию элементов документа: заголовки, абзацы, списки, таблицы, формы (пары «ключ-значение»).
5. Извлечение данных: На основе анализа структуры Textract извлекает не только текст, но и его контекст — например, связывает подпись с полем «Подпись» или извлекает сумму из таблицы.

Ключевые возможности

Извлечение текста

Textract способен распознавать печатный текст на 20+ языках, включая русский, английский, китайский, арабский и другие. Сервис поддерживает как машинописный, так и рукописный текст (в ограниченном объёме, преимущественно латиница и кириллица). Точность распознавания зависит от качества исходного изображения и сложности шрифта.

Анализ форм

Сервис автоматически обнаруживает и извлекает пары «ключ-значение» из структурированных документов, таких как анкеты, заявления и контракты. Например, в налоговой форме он может найти поле «ИНН» и соответствующий ему номер, даже если они расположены нестандартно.

Анализ таблиц

Textract распознаёт таблицы, включая их границы, заголовки столбцов и строк, а также содержимое ячеек. Сервис корректно обрабатывает объединённые ячейки, пустые ячейки и таблицы с нестандартной разметкой. Результат возвращается в виде структурированного JSON-массива.

Извлечение данных из специфических документов

С помощью предварительно обученных моделей (Queries) Textract может извлекать конкретные поля из документов определённого типа:

• Счета-фактуры (Invoices): номер счёта, дата, сумма, налог, реквизиты продавца и покупателя.
• Квитанции (Receipts): дата покупки, сумма, налог, способ оплаты, наименования товаров.
• Удостоверения личности (Identity Documents): имя, фамилия, дата рождения, номер документа, срок действия (для паспортов, водительских прав, ID-карт).

Обнаружение подписей

Сервис может определять наличие подписи в документе и возвращать её координаты, что важно для проверки юридической значимости документов.

Интеграция и использование

Amazon Textract доступен через:

• AWS Management Console — веб-интерфейс для тестирования и настройки.
• AWS SDK — программные библиотеки для Python, Java, JavaScript, .NET, Go, PHP, Ruby и C++.
• AWS CLI — командная строка для автоматизации.
• REST API — прямой HTTP-запрос к сервису.

Сервис интегрируется с другими сервисами AWS, такими как Amazon S3 (хранение документов), Amazon DynamoDB (хранение результатов), Amazon Comprehend (анализ текста на естественном языке) и AWS Lambda (автоматизация обработки). Типичный сценарий использования: документ загружается в S3, триггер Lambda вызывает Textract, результат сохраняется в DynamoDB или отправляется в Amazon SQS для дальнейшей обработки.

Ценообразование

Стоимость использования Amazon Textract зависит от объёма обрабатываемых страниц и типа выполняемой операции. Существуют две основные модели ценообразования:

• Потоковая обработка (On-Demand): оплата за каждую страницу. Цена варьируется в зависимости от региона и типа анализа (только текст, текст + таблицы, текст + формы, полный анализ). Например, в регионе us-east-1 (Виргиния) стоимость полного анализа одной страницы составляет около $0.015.
• Пакетная обработка (Batch): скидка при обработке больших объёмов (от 1 миллиона страниц в месяц).

Также существует бесплатный уровень (Free Tier), который предоставляет 1000 страниц в месяц для каждого типа анализа в течение первых 12 месяцев после регистрации аккаунта AWS.

Применение

Amazon Textract используется в различных отраслях:

• Финансы и бухгалтерия: автоматизация обработки счетов-фактур, платёжных поручений, банковских выписок.
• Здравоохранение: извлечение данных из медицинских карт, рецептов, страховых полисов.
• Юриспруденция: анализ контрактов, судебных решений, заявлений.
• Государственный сектор: обработка заявлений, налоговых деклараций, паспортных данных.
• Логистика: распознавание накладных, транспортных документов, складских этикеток.

Ограничения

• Качество исходного документа: низкое разрешение, сильные искажения, размытость, засветы или тени снижают точность распознавания.
• Рукописный ввод: распознавание рукописного текста менее точное, чем печатного, и поддерживается не для всех языков.
• Сложные таблицы: таблицы с нестандартной разметкой, вложенными таблицами или произвольным расположением данных могут быть интерпретированы некорректно.
• Конфиденциальность: данные, передаваемые в Textract, обрабатываются на серверах AWS и могут быть временно сохранены для целей обучения модели (если не отключено в настройках).
• Региональная доступность: сервис доступен не во всех регионах AWS. Например, в России (Москва) сервис не предоставляется.

Конкуренты

На рынке OCR-сервисов Amazon Textract конкурирует с:

• Google Cloud Document AI — сервис от Google, предлагающий схожий функционал, включая анализ форм и таблиц.
• Microsoft Azure Form Recognizer — сервис от Microsoft, специализирующийся на извлечении данных из документов.
• ABBYY Cloud OCR — коммерческий продукт, известный высокой точностью распознавания, особенно для сложных языков.
• Tesseract OCR — открытая библиотека, не предоставляющая облачных возможностей, но широко используемая для локальной обработки.

Источники

1. Amazon Web Services. «Amazon Textract Developer Guide». AWS Documentation.
2. Amazon Web Services. «Announcing Amazon Textract — Automatically Extract Text and Data from Documents». AWS News Blog, 2018.
3. Amazon Web Services. «Amazon Textract Pricing». AWS Pricing Page.
4. Amazon Web Services. «What is Amazon Textract?». AWS re:Invent 2019 Presentation.
5. Amazon Web Services. «Using Amazon Textract with Other AWS Services». AWS Solutions Library.