Visual Look Up

Visual Look Up — это функция, встроенная в операционную систему Apple, которая позволяет идентифицировать объекты, животных, растения, достопримечательности, тексты и другие элементы на фотографиях и в видеокадрах, а также предоставлять о них дополнительную информацию из внешних баз данных. Функция использует технологии машинного обучения и компьютерного зрения для анализа изображений и сопоставления их с эталонными образцами. Она доступна на устройствах с iOS, iPadOS и macOS, начиная с определённых версий операционных систем.

История

Функция Visual Look Up была впервые представлена компанией Apple в 2021 году на конференции Worldwide Developers Conference (WWDC) как часть операционной системы iOS 15. Изначально она была доступна только на устройствах с процессором A12 Bionic или новее (iPhone XS, iPhone XR, iPad Pro 2018 года и более поздние модели). В 2022 году, с выходом iOS 16, функционал был расширен: добавлена возможность выделения и копирования текста с фотографий (Live Text), а также распознавания объектов на видео (при постановке на паузу). В 2023 году, в iOS 17, функция получила поддержку распознавания еды, рецептов и символов на дорожных знаках. В 2024 году, в iOS 18, Visual Look Up была интегрирована с приложением «Заметки» и улучшена для работы с историческими документами и рукописями.

Принцип работы

Visual Look Up использует нейросетевую модель, обученную на миллионах изображений. При активации функция выполняет следующие шаги:

1. Анализ изображения: нейросеть определяет ключевые объекты на фотографии (например, собаку, цветок, здание, текст).
2. Сопоставление с базой данных: выделенный объект сравнивается с эталонными изображениями из базы Apple, которая включает данные из таких источников, как Wikipedia, Викисклад, базы данных растений (например, iNaturalist), картографические сервисы (Apple Maps) и другие.
3. Вывод информации: пользователю отображается панель с результатами — название объекта, краткое описание, ссылки на статьи, карты, рецепты или другие данные.

Функция работает как на статичных изображениях, так и на видео (при постановке на паузу). Для распознавания текста (Live Text) используется отдельная модель оптического распознавания символов (OCR), которая может обрабатывать рукописный и печатный текст на 15 языках, включая русский.

Доступность и совместимость

Visual Look Up доступна на устройствах, соответствующих следующим требованиям:

• ОС: iOS 15 и новее, iPadOS 15 и новее, macOS Monterey (12.0) и новее.
• Процессор: A12 Bionic или новее (iPhone XS, iPhone XR, iPad Pro 2018 года, Mac с чипом M1 или новее).
• Регионы: функция доступна в большинстве стран мира, включая Россию, но качество распознавания может варьироваться в зависимости от региона (например, для достопримечательностей в России данные могут быть менее полными, чем для США или Европы).

Возможности

Распознавание объектов и животных

Visual Look Up способна идентифицировать более 1000 видов животных и растений, включая домашних питомцев (собак, кошек), диких зверей (львов, медведей), птиц, насекомых, а также цветы, деревья, грибы и травы. Результаты включают название вида, научное название, ареал обитания и ссылки на статьи в Wikipedia.

Распознавание достопримечательностей

Функция определяет известные здания, памятники, мосты, парки и другие архитектурные объекты. Для достопримечательностей в России (например, Красная площадь, Эрмитаж, Петергоф) данные берутся из Wikipedia и Apple Maps. В некоторых случаях может быть показана карта с местоположением объекта.

Распознавание текста (Live Text)

Live Text — подфункция Visual Look Up, которая позволяет выделять, копировать, переводить и искать текст на фотографиях и видео. Поддерживается распознавание рукописного и печатного текста на 15 языках, включая русский, английский, немецкий, французский, испанский, итальянский, португальский, китайский, японский, корейский и другие. Функция работает с текстом на вывесках, документах, книгах, чеках, меню и т.д.

Распознавание еды и рецептов

В iOS 17 и новее Visual Look Up может определять блюда и продукты питания (например, пиццу, суши, яблоки, кофе) и предлагать рецепты, связанные с ними. Данные берутся из партнёрских баз, таких как Yummly и Allrecipes.

Распознавание символов и знаков

Функция способна идентифицировать дорожные знаки, логотипы брендов, символы на упаковках, а также математические формулы и химические соединения. Например, при фотографировании дорожного знака «Остановка запрещена» Visual Look Up может показать его значение и правила дорожного движения.

Примеры использования

• Путешествия: турист фотографирует незнакомое растение в парке, и функция определяет его как «Роза морщинистая» (Rosa rugosa), показывая описание и ареал.
• Обучение: студент фотографирует страницу учебника по биологии, и Live Text позволяет скопировать текст, а Visual Look Up идентифицирует изображённое животное (например, «Амурский тигр»).
• Повседневная жизнь: пользователь фотографирует чек из магазина, и функция распознаёт текст, позволяя скопировать сумму покупки или название товара.
• Кулинария: фотография блюда в ресторане приводит к предложению рецепта (например, «Паста карбонара»).

Ограничения и критика

• Точность распознавания: функция может ошибаться, особенно при распознавании редких видов растений или животных, а также в условиях плохого освещения, размытости или нестандартных ракурсов.
• Зависимость от интернета: для получения результатов требуется подключение к интернету, так как данные загружаются из облачных баз Apple.
• Конфиденциальность: Apple утверждает, что обработка изображений происходит на устройстве (on-device), а данные не передаются на серверы без согласия пользователя. Однако для некоторых функций (например, распознавание достопримечательностей) может потребоваться отправка анонимизированных данных.
• Региональные ограничения: в России и некоторых других странах база данных достопримечательностей и растений может быть неполной, что снижает полезность функции.
• Отсутствие поддержки на старых устройствах: функция не работает на iPhone 6, iPhone 7, iPhone 8 и других устройствах с процессором старше A12 Bionic.

Сравнение с аналогами

Visual Look Up является частью экосистемы Apple и не имеет прямых аналогов в других операционных системах, однако существуют схожие функции:

• Google Lens: приложение от Google, доступное на Android и iOS, которое также распознаёт объекты, текст и достопримечательности. Google Lens имеет более широкую базу данных и поддерживает больше языков, но требует установки отдельного приложения.
• Bing Visual Search: функция от Microsoft, встроенная в браузер Edge и приложение Bing, которая позволяет искать изображения по образцу.
• Samsung Bixby Vision: функция на устройствах Samsung, которая распознаёт объекты, текст и достопримечательности, но имеет ограниченную базу данных.

Visual Look Up отличается от аналогов тем, что она глубоко интегрирована в операционную систему Apple и не требует установки сторонних приложений, а также обеспечивает высокий уровень конфиденциальности за счёт обработки на устройстве.

Интересные факты

• Функция Visual Look Up может распознавать не только объекты, но и звуки (например, пение птиц), если они записаны на видео.
• В iOS 16 и новее функция может определять породы собак и кошек с точностью до 90% по данным Apple.
• Visual Look Up поддерживает распознавание QR-кодов и штрих-кодов, что позволяет быстро переходить на сайты или получать информацию о товарах.
• В 2023 году Apple добавила возможность распознавания исторических личностей на фотографиях (например, Альберта Эйнштейна или Екатерины II), используя данные из Wikipedia.

Источники

• Apple Inc. (2021). «iOS 15 — Visual Look Up». Документация разработчика Apple.
• Apple Inc. (2022). «iOS 16 — Live Text and Visual Look Up Enhancements». Документация разработчика Apple.
• Apple Inc. (2023). «iOS 17 — Visual Look Up for Food and Recipes». Документация разработчика Apple.
• Apple Inc. (2024). «iOS 18 — Visual Look Up in Notes». Документация разработчика Apple.
• Wikipedia. «Visual Look Up». Статья на английском языке.
• iNaturalist. «База данных видов растений и животных».