Автоматизированная система классификации товаров

Автоматизированная система классификации товаров (АСКТ) — это программно-аппаратный комплекс, предназначенный для автоматического присвоения товарам, работам или услугам кодов в соответствии с заданными классификаторами (например, ТН ВЭД ЕАЭС, ОКПД2, HS, UNSPSC) на основе анализа их описаний, характеристик, изображений или иных данных. Такие системы применяются для ускорения, унификации и повышения точности процессов таможенного оформления, складского учёта, электронной коммерции и статистического наблюдения.

История развития

Предпосылки возникновения

Необходимость в автоматизации классификации возникла с ростом объёмов международной торговли и усложнением товарной номенклатуры. К середине XX века ручная классификация тысяч наименований товаров по многотомным справочникам (например, Гармонизированной системе описания и кодирования товаров, разработанной Всемирной таможенной организацией в 1988 году) стала крайне трудоёмкой. Ошибки при ручном кодировании приводили к задержкам на таможне, неправильному начислению пошлин и налогов, а также к искажению статистики.

Первые реализации

Первые попытки автоматизации относились к 1990-м годам и базировались на простых правилах: поиск ключевых слов в названии товара и сопоставление их с фиксированными кодами. Например, система могла присвоить код 8471 (вычислительные машины) любому товару, содержащему слово «компьютер». Такие системы обладали низкой точностью (около 60–70 %) и не учитывали контекст (например, «компьютерный стол» относился бы к мебели, а не к технике).

Современный этап (2010-е — 2020-е)

С развитием методов машинного обучения, особенно обработки естественного языка (NLP) и компьютерного зрения, АСКТ стали использовать нейросетевые модели. Крупные таможенные службы (в том числе Федеральная таможенная служба России) и маркетплейсы (Ozon, Wildberries, Amazon) начали внедрять системы, способные анализировать не только текст, но и изображения товаров, а также структурированные данные (вес, материал, размеры). Точность современных систем на ограниченных наборах данных достигает 95–98 %, однако на реальных массивах с редкими товарами и неполными описаниями она снижается до 80–90 %.

Классификация систем

По используемым данным

• Текстовые системы: анализируют название, описание, технические характеристики товара на естественном языке. Используют методы TF-IDF, word2vec, BERT и их русскоязычные аналоги (RuBERT, RuGPT).
• Визуальные системы: классифицируют товары по фотографиям или 3D-моделям с помощью свёрточных нейросетей (ResNet, EfficientNet). Часто применяются для товаров, где внешний вид критичен (одежда, мебель, запчасти).
• Гибридные системы: объединяют текстовый и визуальный анализ, что повышает надёжность. Например, при классификации обуви система учитывает как текстовое описание («кроссовки из кожи»), так и изображение, чтобы отличить спортивную обувь от повседневной.

По типу классификатора

• Правиловые (rule-based): работают на основе заранее заданных экспертами правил и словарей. Просты в реализации, но плохо масштабируются и требуют постоянного обновления.
• Статистические: используют вероятностные модели (наивный байесовский классификатор, метод опорных векторов). Требуют размеченных обучающих выборок.
• Нейросетевые: основаны на глубоком обучении. Наиболее гибкие и точные, но требуют больших вычислительных ресурсов и данных для обучения.

По степени автоматизации

• Полностью автоматические: система выдаёт код без участия человека. Используются для стандартных товаров с чёткими описаниями.
• Ассистирующие: система предлагает один или несколько вероятных кодов, а окончательное решение принимает оператор (человек). Распространены в таможенных органах, где требуется юридическая ответственность за классификацию.

Устройство и принцип работы

Типичная АСКТ состоит из нескольких модулей:

1. Модуль предобработки данных: очистка текста от стоп-слов, опечаток, нормализация (приведение к начальной форме), выделение ключевых характеристик (материал, назначение, страна происхождения).
2. Модуль извлечения признаков: преобразование текста или изображения в числовые векторы (эмбеддинги). Для текста — использование предобученных языковых моделей, для изображений — свёрточных нейросетей.
3. Модуль классификации: нейронная сеть или ансамбль моделей, которые сопоставляют вектор признаков с одним или несколькими кодами классификатора. Часто используется иерархическая классификация, где система сначала определяет раздел (например, «Текстиль»), затем группу («Одежда»), затем конкретный код.
4. Модуль верификации: проверка логической непротиворечивости (например, если товар — «живая рыба», он не может иметь код замороженной продукции). В некоторых системах — перекрёстная проверка по базе ранее классифицированных товаров.
5. Интерфейс пользователя: веб- или десктопное приложение, где оператор может ввести данные, просмотреть результат и при необходимости откорректировать его.

Применение

Таможенное дело

АСКТ активно используются таможенными службами для автоматизации контроля заявленных кодов ТН ВЭД. В России система «Автоматизированная система таможенного оформления» (АСТО) включает модули классификации, которые анализируют декларации на товары и выявляют риски заявления недостоверных кодов. Это позволяет сократить время проверки одной декларации с нескольких часов до 10–15 минут.

Электронная коммерция

Маркетплейсы применяют АСКТ для автоматического распределения товаров по категориям каталога. Например, при загрузке карточки товара продавцом система самостоятельно определяет, к какому разделу (электроника, одежда, продукты) относится товар, и помещает его в соответствующую витрину. Это упрощает работу продавцов и улучшает поиск для покупателей.

Логистика и складской учёт

На складах АСКТ интегрируются с системами управления складом (WMS). При поступлении товара на склад система по штрихкоду или фотографии определяет его категорию и автоматически назначает ячейку хранения, а также формирует необходимые документы (сертификаты, декларации соответствия).

Статистика и аналитика

Государственные статистические службы (например, Росстат) используют АСКТ для автоматического кодирования товаров в отчётах предприятий по ОКПД2. Это повышает качество статистических данных и позволяет быстрее получать сводки по отраслям экономики.

Проблемы и ограничения

• Неоднозначность классификации: один и тот же товар может относиться к разным кодам в зависимости от контекста (например, «набор для вышивания» может быть классифицирован как игрушка, как текстильное изделие или как набор для рукоделия). Системы не всегда способны корректно разрешить такие коллизии.
• Качество данных: АСКТ чувствительны к ошибкам в описаниях, опечаткам, неполным данным. Если продавец указал «платье», но не уточнил материал, система может ошибиться.
• Обновление классификаторов: классификаторы (особенно ТН ВЭД) регулярно меняются — добавляются новые коды, исключаются старые. Системы требуют постоянного переобучения и актуализации баз знаний.
• Юридическая ответственность: во многих странах (в том числе в России) окончательную ответственность за правильность классификации несёт декларант или таможенный орган. Полностью автоматические системы редко используются для принятия юридически значимых решений без контроля человека.
• Стоимость разработки: создание высокоточной АСКТ требует больших затрат на сбор и разметку данных, обучение моделей и вычислительные ресурсы. Для малых и средних предприятий это часто недоступно.

Перспективы развития

Основные направления совершенствования АСКТ включают:

• Интеграция с блокчейн-технологиями для обеспечения неизменности и прослеживаемости истории классификации товара на всём пути от производителя до потребителя.
• Использование мультимодальных моделей (например, GPT-4 с поддержкой изображений), способных одновременно анализировать текст, фото, видео и аудио (например, звук работы двигателя для классификации запчастей).
• Разработка объяснимого ИИ (XAI): системы смогут не только выдавать код, но и объяснять, на основании каких признаков он был присвоен (например, «Код 6204 присвоен, так как товар является женским платьем из хлопка, длиной выше колена»). Это повысит доверие пользователей.
• Создание открытых эталонных наборов данных для обучения и тестирования АСКТ, что позволит унифицировать подходы и сравнивать эффективность разных систем.

Примеры известных систем

• «Классификатор» ФТС России: ведомственная система, использующаяся для автоматической проверки кодов ТН ВЭД при электронном декларировании. Разработана на основе нейросетевых моделей, обученных на массиве из нескольких миллионов деклараций.
• Amazon Product Classification API: облачный сервис компании Amazon, позволяющий сторонним продавцам автоматически классифицировать товары по каталогу Amazon. Использует комбинацию текстового и визуального анализа.
• OpenAI Classifier (экспериментальный): прототип, созданный компанией OpenAI, демонстрирующий возможность классификации товаров по текстовым описаниям с помощью GPT-моделей. Пока не используется в промышленных масштабах.
• Система «Товары» на базе 1С: модуль для автоматического подбора кода ОКПД2 при заполнении карточки товара в учётных системах малого и среднего бизнеса. Работает на основе словарей и правил, точность — около 85 %.

Источники

• Федеральный закон от 03.08.2018 № 289-ФЗ «О таможенном регулировании в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации» (статья 108 — классификация товаров).
• Решение Совета Евразийской экономической комиссии от 18.10.2016 № 101 «О классификации товаров в соответствии с единой Товарной номенклатурой внешнеэкономической деятельности Евразийского экономического союза».
• Методические рекомендации по применению автоматизированных систем классификации товаров, утв. ФТС России (2022).
• Доклад «Искусственный интеллект в таможенном деле: текущее состояние и перспективы» (НИУ ВШЭ, 2023).
• Статья «Deep Learning for Product Classification: A Survey» (IEEE Access, 2021).