Поиск товара по изображению¶
Поиск товара по изображению — это технология визуального поиска, позволяющая идентифицировать товар, найти его в интернет-магазинах и торговых площадках по фотографии или картинке вместо текстового описания. Основана на методах компьютерного зрения и машинного обучения, в частности на свёрточных нейронных сетях, которые анализируют визуальные признаки объекта — форму, цвет, текстуру, логотипы и компоновку.
¶Принцип работы
Алгоритм визуального поиска выполняет несколько последовательных этапов:
- Предобработка изображения. Фотография масштабируется, нормализуется по яркости и контрасту, убираются фоновые помехи.
- Извлечение признаков. Нейронная сеть преобразует изображение в числовое представление — вектор признаков (эмбеддинг), в котором закодированы визуальные характеристики объекта.
- Поиск по базе данных. Вектор сравнивается с миллионами или миллиардами других векторов, соответствующих товарам из каталога. Используются алгоритмы приближённого поиска ближайших соседей, например FAISS от Meta (организация признана экстремистской, деятельность запрещена в РФ) или Annoy от Spotify, которые позволяют искать совпадения за миллисекунды.
- Ранжирование результатов. Найденные совпадения сортируются по степени визуального сходства, и пользователю показывается список наиболее похожих товаров с ценами и ссылками на продавцов.
¶Основные инструменты и сервисы
¶Google Lens
Сервис Google Lens запущен в 2017 году. Работает через мобильное приложение Google и встроенный в браузер Chrome визуальный поиск. Позволяет сфотографировать товар, выделить объект на фотографии и найти его в интернет-магазинах. По заявлению Google, за первые пять лет Lens выполнили более 10 миллиардов поисковых запросов.
¶Яндекс.Картинки и Яндекс Линз
Российский поисковик Яндекс предоставляет инструмент визуального поиска через сервис «Яндекс.Картинки» (функция «Обратный поиск по картинке») и мобильное приложение «Яндекс Линз». Технология использует собственные нейросети поисковой компании и обучена на крупной базе изображений, включая товарные карточки российских интернет-магазинов. Поиск поддерживает распознавание штрихкодов, QR-кодов, растений, животных, блюд и товаров.
¶Поисковые системы маркетплейсов
Крупные торговые площадки внедрили визуальный поиск в свои приложения:
- Wildberries — функция «Найти по фото» в мобильном приложении, запущена в 2021 году.
- Ozon — визуальный поиск по каталогу товаров.
- AliExpress — функция «Поиск по изображению», одна из первых среди маркетплейсов, использует алгоритмы Alibaba.
¶Специализированные сервисы
Существуют инструменты, ориентированные на поиск конкретных категорий:
- Shazam — распознавание музыки по аудиозаписи (по аналогии с визуальным поиском, но для звука).
- PlantNet — определение растений по фотографии листа или цветка.
- Google Translate — перевод текста с фотографии в реальном времени.
¶Технологическая основа
¶Нейронные сети
Современные системы визуального поиска построены на архитектурах глубокого обучения. Ключевые модели:
- CNN (Convolutional Neural Networks) — свёрточные нейронные сети, такие как ResNet, EfficientNet, Vision Transformer (ViT). Обучаются на размеченных датасетах (ImageNet содержит более 14 миллионов изображений).
- CLIP (Contrastive Language-Image Pre-training) — модель от OpenAI, обученная связывать изображения и текстовые описания, что позволяет искать товары по описанию или фотографии.
¶Обратный поиск по изображению
Технология «обратного поиска по картинке» (reverse image search) позволяет найти, где ещё встречается конкретное изображение или его визуально идентичные версии. Полезна для проверки оригинальности фотографии, поиска более крупного разрешения или выявления плагиата.
¶Практическое применение
¶Шопинг и сравнение цен
Основной сценарий — пользователь видит товар в офлайн-магазине, на улице, у блогера или в социальной сети, фотографирует его и находит в интернете. Это позволяет сравнить цены у разных продавцов, найти скидки и аналоги.
¶Определение брендов и подделок
Визуальный поиск помогает распознать бренд вещи по логотипу, фурнитуре или характерным деталям. Некоторые сервисы (например, Entrupy) используют компьютерное зрения для аутентификации люксовых аксессуаров и выявления подделок.
¶B2B и оптовые закупки
Предприниматели используют поиск по фото для поиска поставщиков: сфотографировав товар, можно найти фабрику-изготовителя на Alibaba, 1688 или других B2B-платформах.
¶Ограничения
Точность визуального поиска зависит от качества исходного изображения, ракурса, освещения и степени визуального сходства с товаром в базе данных. Системы хуже справляются с товарами без чётких визуальных маркеров (например, базовая белая футболка) и с изображениями, на которых несколько объектов. Также существуют этические ограничения: технология может использоваться для слежки за людьми по фотографиям, что привело к запрету сервиса Clearview AI в рядае европейских стран.
¶История
Первые эксперименты с поиском по изображению относятся к началу 2000-х годов. Комерческий сервис TinEye запущен в 2008 году. Google добавил обратный поиск в Google Images в 2011 году. Запуск Google Lens в 2017 году ознаменовал переход от поиска идентичных изображений к распознаванию объектов и поиску похожих товаров.