Live Text

Live Text — это функция, встроенная в операционные системы Apple (iOS, iPadOS и macOS), которая позволяет распознавать текст на изображениях, фотографиях и в видеороликах, а также делать его интерактивным: выделять, копировать, переводить, искать в интернете и выполнять другие действия. Функция использует технологию оптического распознавания символов (OCR) и машинного обучения, работая непосредственно на устройстве пользователя, без отправки данных на серверы компании.

История и развитие

Функция Live Text была впервые представлена на Всемирной конференции разработчиков Apple (WWDC) в июне 2021 года. Она стала частью операционных систем iOS 15, iPadOS 15 и macOS Monterey, выпущенных осенью того же года. Изначально функция поддерживала семь языков: английский, китайский (упрощённое и традиционное письмо), французский, итальянский, немецкий, испанский и португальский. Русский язык был добавлен позже — в обновлении iOS 16, iPadOS 16 и macOS Ventura, выпущенном в 2022 году.

С каждым последующим обновлением операционных систем Apple расширяла возможности Live Text. В iOS 16 функция начала работать с видеороликами, позволяя останавливать видео на любом кадре и взаимодействовать с текстом. В iOS 17 появилась возможность распознавать текст на изображениях, сделанных в режиме «Портрет», а также улучшилась точность распознавания рукописного текста.

Принцип работы

Live Text использует нейросетевую архитектуру, обученную на миллионах изображений с текстом. Распознавание происходит на нейронном движке (Neural Engine) процессора Apple A12 Bionic и более новых, а также на чипах серии M для Mac. Это обеспечивает высокую скорость обработки и сохранение конфиденциальности данных пользователя, так как вся обработка выполняется локально.

Алгоритм определяет границы текста на изображении, выделяет отдельные символы и слова, после чего преобразует их в редактируемый текст. Функция распознаёт как печатный, так и рукописный текст, а также текст, расположенный под разными углами, на искривлённых поверхностях или в условиях плохого освещения.

Основные возможности

Live Text предоставляет пользователю ряд интерактивных действий с распознанным текстом:

• Выделение и копирование: Пользователь может выделить любой фрагмент текста на изображении или видео, скопировать его в буфер обмена и вставить в другое приложение.
• Поиск в интернете: Выделенное слово или фраза могут быть отправлены в поисковую систему (по умолчанию — Safari) для получения дополнительной информации.
• Перевод: Функция интегрирована с системным переводчиком Apple. Пользователь может перевести выделенный текст на другой язык, не покидая приложения.
• Звонок по номеру телефона: Если на изображении распознан номер телефона, нажатие на него предлагает совершить вызов, отправить сообщение или добавить контакт.
• Открытие ссылок: Распознанные URL-адреса становятся активными ссылками, которые можно открыть в браузере.
• Добавление событий в календарь: Даты и время, указанные на изображении, можно одним касанием добавить в приложение «Календарь».
• Отправка электронной почты: Адреса электронной почты распознаются и предлагают создать новое письмо.
• Поиск по карте: Адреса и названия мест могут быть отправлены в приложение «Карты» для построения маршрута.

Поддерживаемые устройства и системы

Для работы Live Text требуется устройство с процессором Apple A12 Bionic или новее. Это включает:

• iPhone: начиная с iPhone XS, iPhone XR и новее (все модели).
• iPad: iPad (8-го поколения и новее), iPad mini (5-го поколения и новее), iPad Air (3-го поколения и новее), все модели iPad Pro.
• Mac: компьютеры Mac с процессором Apple Silicon (M1, M2, M3 и новее), а также Mac с процессором Intel T2.

Функция доступна в приложениях «Фото», «Камера», «Быстрые заметки», «Скриншоты», а также в браузере Safari и других приложениях, поддерживающих просмотр изображений. Для работы с видео требуется iOS 16 или новее.

Ограничения и точность

Несмотря на высокую точность, Live Text имеет ряд ограничений:

• Качество изображения: На размытых, засвеченных или слишком тёмных изображениях распознавание может быть неточным или невозможным.
• Рукописный текст: Функция лучше распознаёт печатный текст. Рукописный текст распознаётся менее уверенно, особенно если он неразборчив или написан с использованием нестандартных шрифтов.
• Языковая поддержка: Хотя список поддерживаемых языков расширяется, он не охватывает все языки мира. Для некоторых языков (например, арабского или иврита) поддержка может быть ограничена или отсутствовать.
• Сложные шрифты и декоративные элементы: Текст, наложенный на сложный фон, или текст, выполненный декоративными шрифтами, может распознаваться с ошибками.
• Работа с видео: При работе с видео функция работает только на остановленном кадре. Распознавание текста в движущемся видео в реальном времени не поддерживается.

Конфиденциальность

Apple подчёркивает, что Live Text обрабатывает все данные непосредственно на устройстве пользователя. Это означает, что изображения и видео не отправляются на серверы компании для распознавания текста. Такой подход соответствует общей политике конфиденциальности Apple, направленной на минимизацию сбора и передачи пользовательских данных.

Сравнение с аналогами

Функция Live Text не является уникальной. Подобные технологии распознавания текста на изображениях существуют и в других экосистемах:

• Google Lens: Сервис от Google, доступный на устройствах Android и iOS, предлагает схожий функционал, включая распознавание текста, перевод, поиск по картинке и определение объектов. В отличие от Live Text, Google Lens часто требует подключения к интернету для обработки, хотя некоторые функции работают и офлайн.
• Microsoft Office Lens: Приложение от Microsoft, предназначенное для сканирования документов, также включает распознавание текста. Оно интегрировано с экосистемой Microsoft 365 и позволяет сохранять результаты в OneNote, Word и другие приложения.
• Сторонние приложения: Существует множество приложений для OCR (оптического распознавания символов), таких как Adobe Scan, CamScanner, Text Fairy и другие. Они часто предлагают более широкие возможности настройки, но могут быть менее удобны в использовании, чем встроенная функция.

Live Text отличается от аналогов прежде всего глубокой интеграцией в операционную систему Apple, что обеспечивает бесшовную работу между приложениями и не требует установки дополнительного программного обеспечения.

Источники

1. Официальная документация Apple по функциям iOS 15, iOS 16, iOS 17, iPadOS 15, iPadOS 16, macOS Monterey, macOS Ventura.
2. Презентации WWDC 2021, 2022, 2023 годов.
3. Статьи на сайте поддержки Apple (support.apple.com).
4. Обзоры и анализ технологий распознавания текста в изданиях The Verge, TechCrunch, 9to5Mac.