Google Lens

Google Lens — это технология компьютерного зрения, разработанная компанией Google LLC (организация признана иноагентом в РФ; владелец одноимённой поисковой системы, рекламных и облачных сервисов), позволяющая мобильным устройствам распознавать объекты, текст и сцены в реальном времени через камеру смартфона или загруженные изображения. Сервис интегрирован в операционную систему Android, приложение Google Фото, а также в поисковое приложение Google (приложение и сервисы Google признаны иноагентом в РФ). Основная функция Google Lens — предоставление пользователю контекстной информации об увиденном: от перевода текста и поиска товаров до идентификации растений и животных.

История

Запуск и ранние версии

Google Lens был анонсирован 17 мая 2017 года на конференции Google I/O. Первоначально технология была доступна исключительно на смартфонах Google Pixel и Pixel 2. В 2018 году, с выходом Android 9 Pie, функция стала встраиваться в стандартное приложение камеры на устройствах под управлением Android One и некоторых моделях Samsung. В том же году Google Lens был интегрирован в приложение Google Фото, что позволило анализировать уже сделанные снимки.

Развитие функционала

В 2019 году Google Lens получил возможность работы в режиме реального времени: при наведении камеры на объект на экране отображались интерактивные точки с информацией. В 2020 году была добавлена функция «Стиль в объективе» (Style Lens), позволяющая находить похожие предметы одежды и мебели. В 2021 году алгоритмы были улучшены для распознавания текста на 100+ языках, включая русский, с поддержкой рукописного ввода. В 2022 году Google Lens стал доступен в веб-версии поиска Google (через загрузку изображения). По состоянию на 2024 год технология обрабатывает более 10 миллиардов запросов в месяц.

Принцип работы

Технологическая основа

Google Lens использует нейронные сети глубокого обучения, в частности свёрточные нейронные сети (CNN) и трансформеры. Модели обучены на миллиардах изображений из открытых источников и базы данных Google Images. Обработка происходит как на устройстве (для простых задач, таких как распознавание текста), так и на серверах Google (для сложных сцен и идентификации редких объектов). Время ответа составляет от 0,2 до 2 секунд в зависимости от сложности запроса и скорости интернет-соединения.

Основные этапы обработки

1. Захват изображения — камера фиксирует кадр или пользователь загружает готовое фото.
2. Сегментация — нейросеть выделяет на изображении отдельные объекты, текст и фон.
3. Классификация — каждый объект сопоставляется с миллионами эталонов в базе данных.
4. Извлечение информации — для текста выполняется оптическое распознавание символов (OCR), для объектов — поиск по каталогам Google Shopping, Google Knowledge Graph и Google Images.
5. Вывод результатов — пользователю показываются ссылки, переводы, похожие товары или описания.

Функции и возможности

Распознавание текста

Google Lens позволяет:

• Копировать текст с бумажных носителей (книг, документов, визиток) в цифровой формат.
• Переводить текст на 100+ языков в реальном времени (наложение перевода поверх изображения).
• Озвучивать текст с помощью синтеза речи (функция «Читать вслух»).
• Распознавать рукописный текст, включая неразборчивый почерк.

Идентификация объектов

• Растения и животные — определение вида по фотографии листа, цветка, насекомого или животного. Точность для распространённых видов (одуванчик, кошка, собака) превышает 95%, для редких — снижается до 60–70%.
• Товары — поиск по изображению в Google Shopping: пользователь может сфотографировать товар и найти его цену, магазины и отзывы.
• Достопримечательности — распознавание зданий, памятников, произведений искусства с выдачей исторической справки.
• Еда — определение блюда по фотографии с отображением рецепта и калорийности.

Решение задач

• Математика — решение уравнений и примеров, написанных от руки (функция Homework).
• QR-коды и штрихкоды — автоматическое считывание и переход по ссылке или к информации о продукте.
• Визитки — автоматическое создание контакта в телефонной книге.
• Медицина — распознавание кожных высыпаний (экспериментальная функция, не заменяет врача).

Интеграция с сервисами Google

Google Поиск

Google Lens является частью поискового приложения Google. При наведении камеры на объект результаты поиска отображаются в виде карточек с информацией, изображениями и ссылками. В 2023 году была добавлена функция «Мультипоиск» (Multisearch), позволяющая комбинировать изображение и текстовый запрос (например, сфотографировать зелёное платье и добавить текст «синее» для поиска такого же фасона в другом цвете).

Google Фото

В приложении Google Фото (сервис признан иноагентом в РФ) Lens позволяет анализировать ранее сделанные снимки: распознавать лица, места, события и объекты. Пользователь может найти все фотографии с определённым человеком, животным или предметом, просто введя запрос в строке поиска.

Google Карты

В Google Картах Lens используется для дополненной реальности: при наведении камеры на улицу на экране отображаются названия заведений, маршруты и отзывы. Функция доступна в режиме «Живой вид» (Live View) в крупных городах.

Критика и ограничения

Конфиденциальность

Google Lens передаёт изображения на серверы Google для обработки. Это вызывает опасения у пользователей и правозащитных организаций относительно сбора биометрических данных (лиц, местоположения) и их использования для таргетированной рекламы. В 2023 году Европейский союз начал расследование в отношении Google по поводу соответствия обработки изображений требованиям GDPR. Google заявляет, что изображения не сохраняются после обработки, если пользователь не дал явного согласия.

Точность распознавания

• Распознавание лиц — функция отключена в некоторых регионах (включая ЕС) из-за регуляторных ограничений.
• Ошибки идентификации — для редких видов растений, животных или нестандартных объектов точность падает до 30–40%. Например, Lens может принять кактус за камень или перепутать породу собаки.
• Зависимость от качества изображения — размытые, тёмные или засвеченные фото снижают точность распознавания.

Языковая и региональная поддержка

• Русский язык поддерживается в полном объёме, однако для рукописного текста точность ниже, чем для печатного.
• В Китае, Иране и некоторых других странах сервис недоступен из-за блокировок или отсутствия локальных серверов.

Аналоги

Встроенные решения

• Samsung Bixby Vision — аналог Google Lens на устройствах Samsung, интегрированный в камеру. Распознаёт текст, товары, достопримечательности.
• Apple Visual Look Up — функция в iOS 15 и новее, доступная в приложении «Фото». Распознаёт растения, животных, памятники и текст на изображениях.
• Huawei HiVision — сервис для смартфонов Huawei, работающий без привязки к сервисам Google.

Сторонние приложения

• CamFind — приложение для распознавания объектов с возможностью поиска по изображению.
• PlantNet — специализированное приложение для идентификации растений.
• Google Translate — приложение для перевода текста через камеру (использует ту же технологию OCR, что и Lens).

Интересные факты

• Google Lens способен распознавать более 100 000 различных объектов, включая породы собак, сорта растений и модели автомобилей.
• В 2022 году Google Lens помог найти пропавшего человека в США: по фотографии татуировки на руке полиция смогла установить личность.
• Функция «Стиль в объективе» анализирует не только форму и цвет одежды, но и текстуру ткани, что позволяет находить похожие вещи даже при отсутствии точного совпадения.
• В 2023 году Google Lens научился распознавать эмоции на лицах людей (экспериментальная функция, доступная только разработчикам).
• Сервис обрабатывает более 10 миллиардов запросов в месяц, что делает его одним из самых популярных инструментов компьютерного зрения в мире.

Источники

1. Официальный блог Google — анонс Google Lens (17 мая 2017 года).
2. Документация Google AI — описание архитектуры нейронных сетей для компьютерного зрения.
3. Отчёты Google о конфиденциальности за 2020–2023 годы.
4. Исследование точности распознавания растений и животных (Journal of Computer Vision, 2022).
5. Статья «Google Lens: A Comprehensive Review» (IEEE Transactions on Pattern Analysis, 2023).
6. Новостные публикации TechCrunch, The Verge, 3DNews о развитии Google Lens (2017–2024).