Что это на фото — определение объектов на снимках¶

«Что это на фото» — распространённый поисковый запрос и обобщённое название ряда технологий, сервисов и методов визуального поиска, позволяющих идентифицировать объекты, места, растения, животных, документы и иные предметы, изображённые на фотографии. Технология основана на анализе изображения компьютерными алгоритмами — как правило, нейронными сетями, — и сопоставлении полученного описания или визуального сходства с базой данных. Запрос «что это на фото» отражает базовую потребность пользователя в распознавании незнакомого объекта по снимку.

¶История и развитие

Первые системы визуального поиска по изображению появились в начале 2000-х годов и были основаны на анализе цветовой гистограммы, текстурных описателей и сравнении ключевых точек. К ним относятся алгоритмы SIFT (1999, Дэвид Лоу) и SURF (2006), а также поисковые системы TinEye (запущена в 2008 году) и Google Images (2001). Эти системы искали копии или визуально схожие изображения в интернете, но не отвечали на вопрос о содержании снимка словесно.

Существенный перелом произошёл с развитием глубокого обучения. В 2012 году сеть AlexNet продемонстрировала резкий рост точности классификации изображений на benchmark ImageNet. К середине 2010-х годов появилось множество сервисов, определяющих категории объектов на фото: Google Lens (2017), Yandex.Картинки с функцией «визуальный поиск», приложения PlantNet и iNaturalist для определения биологических видов.

В 2021—2023 годах технология получила новый импульс благодаря мультимодальным моделям — CLIP (OpenAI, 2021), а затем GPT-4V, Google Gemini, YandexGPT Vision и другим моделям, способным описывать содержание произвольного изображения текстом и отвечать на вопросы о нём.

¶Основные методы

¶Поиск похожих изображений

Метод сопоставляет снимок с базой графических файлов по визуальному сходству. Подходит для поиска оригинала изображения, обнаружения копий, определения источника. Алгоритмы извлекают дескрипторы — числовые характеристики изображения, — и находят ближайшие совпадения.

¶Классификация объектов

Нейронная сеть относит изображение к одной из тысяч предопределённых категорий («собака», «автомобиль», «мост»). Точность современных сетей на стандартных наборах данных превышает 90 %.

¶Мультимодальные языковые модели

Пользователь загружает фото и задаёт произвольный вопрос текстом. Модель генерирует развёрнутый ответ: называет объект, описывает контекст, отвечает на уточняющие вопросы. Этот подход наиболее близок к формулировке «что это на фото».

¶Геолокация по снимку

Определение места съёмки по визуальным ориентирам, освещению, теним, растительности. Используется в форензике и OSINT-анализе.

¶Популярные сервисы

В России визуальный поиск развивается в рамках продуктов Яндекса, в том числе в мобильном приложении и браузере Яндекса; также доступны международные сервисы через VPN.

¶Области применения

• Повседневный поиск — определение незнакомых предметов, растений, животных, зданий.
• Коммерция — поиск товаров по фото, визуальный подбор аналогов, оценка подлинности.
• Медицина — предварительная оценка кожных заболеваний, рентгеновских снимков (с ограничениями, не заменяет врача).
• Промышленность — контроль качества, дефектоскопия.
• Наука — автоматическая идентификация видов в биологии, археологических артефактов, астрономических объектов.
• Безопасность — распознавание лиц, номеров, документов (в России регулируется законодательством о персональных данных).
• OSINT — разведка по открытым данным, определение геолокации снимков.

¶Ограничения

Точность распознавания зависит от качества снимка, освещения, ракурса и степени представленности объекта в обучающих данных. Модели склонны ошибаться на редких, регионально специфичных или сильно искажённых объектах. Мультимодальные модели могут «галлюцинировать» — уверенно называть несуществующие факты. Для юридически значимых применений (экспертиза, медицинская диагностика) автоматические ответы требуют подтверждения специалистом.

¶Правовые аспекты в России

Распознавание лиц и биометрическая идентификация регулируются Федеральным законом № 152-ФЗ «О персональных данных» и отдельными нормами о биометрических персональных данных. Использование систем видеонаблюдения с распознаванием лиц в общественных местах допускается в случаях, установленных законом. Коммерческое использование изображений третьих лиц требует их согласия.

Источники:

• Русаков А. С. Глубокое обучение в компьютерном зрении. — М., 2021.
• Сайт Google Lens (support.google.com/lens)
• Сайт сервиса TinEye (tineye.com)
• Проект iNaturalist (inaturalist.org)
• Федеральный закон РФ № 152-ФЗ «О персональных данных»