Поиск по картинкам Яндекс Фото¶
Поиск по картинкам — функция поисковых систем, позволяющая находить изображения по загруженному файлу, ссылке или выделенному фрагменту, а также определять объекты, изображённые на фотографии. В сервисе «Яндекс Картинки» (ранее — «Яндекс.Фотки» в части пользовательских галерей) эта возможность реализована как визуальный поиск: система анализирует пиксельные признаки изображения, сопоставляет их с проиндексированной базой и выдаёт похожие картинки, сайты-источники и текстовое описание содержимого.
¶История
Сервис «Яндекс.Фотки» был запущен в 2007 году как площадка для хранения и публикации пользовательских фотографий. Постепенно на его основе развился поиск изображений: сначала — по текстовым подписям и тегам, затем — по визуальному сходству. Инструмент «Поиск по картинке» появился в «Яндекс Картинках» в 2010-х годах и позволял загружать файл или указывать URL изображения.
В 2017 году Яндекс представил технологию поиска по фрагменту изображения (выделение области на фото), а также распознавание объектов на основе нейросетей. В 2020-х годах визуальный поиск был интегрирован в приложение «Яндекс» с камерой, мобильный браузер и голосового ассистента «Алиса». Отдельное приложение «Яндекс.Фотки» прекратило существование, а пользовательские галереи были перенесены на «Яндекс Диск»; при этом функция поиска по изображениям сохранилась в «Яндекс Картинках».
¶Как работает
Визуальный поиск опирается на компьютерное зрение и машинное обучение. Основные этапы:
- Загрузка или указание источника. Пользователь загружает файл с устройства, вставляет ссылку на изображение или делает снимок камерой.
- Извлечение признаков. Нейросеть строит векторное представление изображения — набор числовых характеристик: контуры, текстуры, цветовые гистограммы, локальные особенности.
- Сравнение с базой. Вектор сопоставляется с индексами проиндексированных изображений; вычисляется мера сходства.
- Классификация и распознавание. Отдельные модели определяют, что изображено: человек, животное, товар, здание, текст на картинке.
- Формирование выдачи. Пользователь получает похожие изображения, сайты, где встречается картинка, и предполагаемые текстовые описания.
¶Возможности сервиса
- Поиск по загруженному файлу или ссылке.
- Поиск по выделенному фрагменту (обрезка области интереса).
- Распознавание объектов и подбор похожих товаров.
- Определение источника изображения и сайтов, где оно опубликовано.
- Распознавание текста на изображении (OCR) с возможностью перевода.
- Поиск похожих лиц и объектов на фотографии.
- Поиск по камере в мобильном приложении в режиме реального времени.
¶Применение
Визуальный поиск используется в повседневных и профессиональных задачах:
- Проверка подлинности фото. Поиск первоисточника помогает выявить старые снимки, выдаваемые за свежие новости.
- Поиск товаров. По фотографии вещи подбираются аналоги и цены в магазинах.
- Определение объектов. Растения, животные, достопримечательности, произведения искусства распознаются по снимку.
- Работа с текстом. Перевод вывесок, меню, документов, сфотографированных на телефон.
- Дизайн и медиа. Поиск визуальных референсов и проверка уникальности изображений.
¶Технологическая основа
Ключевые компоненты — свёрточные нейронные сети для извлечения признаков, модели-классификаторы для распознавания категорий и системы векторного поиска (approximate nearest neighbor) для быстрого сопоставления по миллиардам изображений. Важную роль играет индексация: поисковик постоянно обходит сайты, сохраняет изображения и связанные с ними тексты, что позволяет связывать картинку со смысловым контекстом страницы.
¶Ограничения
- Точность зависит от качества и разрешения изображения.
- Слабо распознаются редкие объекты, стилизованная графика, сильные искажения.
- Возможны ложные совпадения при однотипных изображениях (шаблоны, стоковые фото).
- Часть изображений может быть недоступна из-за ограничений индексации.
- Существуют вопросы приватности: загруженные пользователем фотографии обрабатываются сервисом.
¶Сравнение с аналогами
Помимо Яндекса, визуальный поиск реализован в Google (Google Lens, «Поиск по картинке»), Bing Visual Search и других системах. Российский сервис ориентирован прежде всего на русскоязычный сегмент интернета, учитывает локальные сайты и лучше распознаёт объекты, характерные для России: архитектуру, товары локальных магазинов, кириллический текст на изображениях.
¶Значение
Поиск по изображениям стал самостоятельным направлением поисковых технологий. Он применяется в журналистике для фактчекинга, в электронной коммерции для подбора товаров, в образовании и науке для определения объектов, в быту — для распознавания растений, пород животных и достопримечательностей. Развитие мультимодальных моделей, объединяющих текст и изображение, делает такие сервисы всё более точными и универсальными.
Источники: официальная документация сервиса «Яндекс Картинки»; материалы технологического блога Яндекса; публикации о компьютерном зрении и визуальном поиске; обзоры поисковых систем.