Визуальный поиск товаров по фото

Визуальный поиск товаров — это технология, позволяющая находить в интернет-магазинах и на торговых площадках товары, соответствующие изображению, предоставленному пользователем. В отличие от традиционного текстового поиска, где запрос формулируется словами, визуальный поиск анализирует визуальные признаки объекта на фотографии: форму, цвет, текстуру, пропорции и композицию. Данный метод относится к области компьютерного зрения и систем информационного поиска и применяется для идентификации конкретных моделей товаров, поиска аналогов или похожих продуктов.

Принцип работы

Технология визуального поиска базируется на использовании свёрточных нейронных сетей (CNN) и алгоритмов машинного обучения. Процесс поиска состоит из нескольких этапов:

1. Детекция объекта. Система определяет на фотографии область, содержащую товар, отделяя его от фона и посторонних предметов. Для этого применяются алгоритмы сегментации изображений.

1. Извлечение признаков. Нейросеть преобразует изображение в вектор признаков — числовое представление, описывающее цветовую гамму, форму, текстуру и другие визуальные характеристики объекта. Этот процесс называется эмбеддингом.

1. Сравнение с базой данных. Полученный вектор сопоставляется с векторами признаков товаров, заранее проиндексированных в каталоге. Поиск ближайших соседей выполняется с помощью алгоритмов приближённого поиска, таких как HNSW (Hierarchical Navigable Small World) или продуктовая квантизация.

1. Выдача результатов. Пользователю показывается список товаров с наивысшей степенью визуального сходства, отсортированных по убыванию релевантности.

Для обучения нейросетей используются размеченные наборы данных, содержащие миллионы пар «изображение — товар». Качество распознавания напрямую зависит от объёма и разнообразия обучающей выборки, а также от архитектуры сети (например, ResNet, EfficientNet, Vision Transformer).

История развития

Первые эксперименты с поиском по изображению начались в конце 1990-х годов в академической среде. Одной из ранних коммерческих реализаций стала система Google Images, запущенная в 2001 году, однако она позволяла искать только по ключевым словам, а не по содержанию изображения.

Значительный прорыв произошёл в 2010-х годах с развитием глубокого обучения. В 2014 году компания Pinterest внедрила функцию визуального поиска, позволяющую находить похожие пины. В 2017 году Google представила функцию Google Lens, которая изначально работала с достопримечательностями и текстом, а позднее была интегрирована с Google Shopping для поиска товаров.

В России технология визуального поиска активно развивается с конца 2010-х годов. Крупные маркетплейсы, такие как Ozon и Wildberries, внедрили функцию поиска по фото в свои мобильные приложения. В 2021 году «Яндекс» запустил сервис «Яндекс.Поиск по фото» на базе своей нейросетевой платформы, интегрированный с каталогами товаров.

Сферы применения

Электронная коммерция

Основная область применения — онлайн-торговля. Пользователь, увидевший понравившуюся вещь на улице, в кино или у знакомого, фотографирует её и загружает в приложение маркетплейса. Система находит аналогичные товары в каталоге, что сокращает время поиска и снижает барьер входа для покупки. Функция особенно востребована в сегментах одежды, обуви, мебели, электроники и товаров для дома.

Сравнение цен

Визуальный поиск используется для поиска одного и того же товара в разных магазинах с целью сравнения цен. Сервисы-агрегаторы, например «Яндекс.Маркет», позволяют загрузить фотографию товара и получить список предложений от различных продавцов с указанием стоимости и условий доставки.

Распознавание растений и животных

Отдельное направление — идентификация биологических объектов. Приложения, такие как iNaturalist или PlantNet, позволяют определить вид растения или животного по фотографии. Эта функция полезна для садоводов, туристов и исследователей.

Поиск по одежде и стилю

Специализированные сервисы, например, интегрированные в Pinterest или ASOS, позволяют искать предметы гардероба по фотографии: определить модель джинсов, кроссовок или пальто и найти их в продаже или в виде похожих альтернатив.

Преимущества и ограничения

К преимуществам визуального поиска относятся:

• Скорость. Поиск занимает доли секунды, что значительно быстрее ручного перебора каталога.
• Точность при уникальных товарах. Если товар имеет характерный внешний вид, система находит его с высокой точностью.
• Отсутствие языкового барьера. Для поиска не требуется знать название товара на языке продавца.
• Работа с новыми товарами. Технология позволяет находить товары, которые пользователь видит впервые и не может описать словами.

Ограничения технологии:

• Зависимость от качества фото. Размытые, затемнённые или снятые под нестандартным углом изображения снижают точность распознавания.
• Проблема с однотипными товарами. Если товары визуально похожи (например, белые футболки разных брендов), система может не различить их.
• Не учитываются невизуальные характеристики. Состав ткани, размер, страна производства не могут быть определены по фотографии.
• Конфиденциальность. Загрузка фотографий в облачные сервисы вызывает вопросы о безопасности личных данных.

Крупнейшие платформы с функцией поиска по фото

• Google Lens — сервис компании Google, интегрированный с поисковой системой и Google Shopping. Работает на Android и iOS.
• Pinterest Lens — функция визуального поиска в социальной сети Pinterest, ориентированная на поиск идей для дизайна, рецептов и товаров.
• Amazon StyleSnap — функция в приложении Amazon, позволяющая найти одежду и аксессуары по фотографии.
• AliExpress Visual Search — поиск по изображению на китайской торговой площадке, поддерживающий распознавание товаров из разных категорий.
• Ozon и Wildberries — российские маркетплейсы, внедрившие поиск по фото в мобильных приложениях.
• «Яндекс.Картинки» — сервис, позволяющий искать похожие изображения и связанные с ними товары.

Перспективы развития

Дальнейшее развитие технологии связано с улучшением точности распознавания за счёт использования более сложных архитектур нейросетей и увеличения объёмов обучающих данных. Ожидается внедрение мультимодальных моделей, которые смогут одновременно анализировать изображение и текстовое описание, что повысит релевантность результатов. Также развивается направление дополненной реальности, когда визуальный поиск запускается через камеру смартфона в режиме реального времени без необходимости делать снимок. В перспективе технология может быть интегрирована с голосовыми ассистентами для создания полностью бесшовного пользовательского опыта.