DETR

DETR (DEtection TRansformer) — архитектура нейронной сети для решения задачи компьютерного зрения, а именно детекции объектов на изображениях. В отличие от традиционных подходов, основанных на регионах интересов (Region Proposal Networks) или скользящем окне, DETR рассматривает детекцию как прямую задачу предсказания набора объектов. Модель была предложена исследователями из Facebook (продукт Meta, признанной экстремистской и запрещённой в РФ) AI Research (организация Meta признана экстремистской и запрещена в РФ) в 2020 году.

Архитектура и принцип работы

DETR объединяет архитектуру трансформер (Transformer) со свёрточной нейронной сетью (CNN) для извлечения признаков. Основными компонентами модели являются:

1. Магистральная сеть (Backbone). Обычно используется предобученная свёрточная сеть (например, ResNet-50), которая преобразует входное изображение в набор признаков — карту признаков пониженного разрешения.
2. Трансформер-кодировщик (Encoder). Карта признаков преобразуется в последовательность векторов (эмбеддингов) и подаётся на вход трансформер-кодировщику. Кодировщик, используя механизм самовнимания (self-attention), обрабатывает все элементы последовательности, выявляя глобальные контекстуальные зависимости между различными частями изображения.
3. Трансформер-декодировщик (Decoder). Декодировщик принимает на вход набор из N обучаемых позиционных кодировок (object queries), которые представляют собой «запросы» на поиск объектов. Взаимодействуя с выходом кодировщика через механизм перекрёстного внимания (cross-attention), декодировщик преобразует эти запросы в предсказания. Каждый запрос в итоге соответствует одному потенциальному объекту на изображении.
4. Головы предсказания (Prediction heads). Выход декодировщика проходит через два небольших полносвязных слоя (MLP):

• Голова классификации предсказывает класс объекта (или «нет объекта»).
• Голова регрессии предсказывает координаты ограничивающей рамки (bounding box) — центр, высоту и ширину.

Ключевая особенность DETR — отсутствие анкерных боксов (anchor boxes) и алгоритмов подавления немаксимумов (Non-Maximum Suppression, NMS). Модель предсказывает фиксированное количество N объектов (например, 100 или 300), а лишние предсказания автоматически отбрасываются как «нет объекта».

Обучение

Обучение DETR основано на двустороннем сопоставлении (bipartite matching). Поскольку порядок предсказаний модели не фиксирован, а истинные объекты на изображении имеют свой порядок, необходимо сопоставить каждое предсказание с истинным объектом. Для этого используется венгерский алгоритм, который находит оптимальное однозначное соответствие между предсказаниями и истинными объектами, минимизируя общую стоимость. Стоимость складывается из штрафа за неверный класс и штрафа за несовпадение ограничивающих рамок (обычно комбинация L1-потерь и Generalized IoU loss).

Преимущества и недостатки

Преимущества

• Упрощённый пайплайн. DETR не требует сложных модулей предварительной обработки, таких как генерация регионов, анкерные боксы или NMS. Вся детекция выполняется одной сквозной (end-to-end) моделью.
• Глобальный контекст. Механизм самовнимания позволяет модели учитывать взаимосвязи между всеми объектами на изображении, что полезно для сцен с большим количеством перекрывающихся или мелких объектов.
• Отсутствие ручной настройки. Не нужно подбирать параметры анкерных боксов или пороги NMS, что упрощает адаптацию модели к новым наборам данных.

Недостатки

• Медленная сходимость. DETR требует значительно больше времени для обучения (например, 300 эпох на наборе данных COCO) по сравнению с традиционными детекторами (например, Faster R-CNN, обучаемыми за 12-36 эпох).
• Сложность с мелкими объектами. Модель хуже справляется с детекцией мелких объектов, так как механизм внимания в кодировщике может «размывать» детали на высоком разрешении.
• Высокие требования к памяти. Механизм самовнимания имеет квадратичную сложность относительно размера входной последовательности, что ограничивает разрешение входных изображений.

Модификации и развитие

После публикации оригинальной работы было предложено несколько улучшенных версий:

• Deformable DETR (2021). Вводит механизм деформируемого внимания (deformable attention), который фокусируется только на небольшом наборе ключевых точек вокруг каждого запроса, а не на всей карте признаков. Это значительно ускоряет обучение и улучшает работу с мелкими объектами.
• DINO (DETR with Improved Denoising Anchor Boxes) (2022). Улучшает DETR за счёт использования шумовых запросов (denoising training) и более эффективных анкерных боксов, достигая передовых результатов на эталоне COCO.
• RT-DETR (Real-Time DETR) (2023). Модификация, оптимизированная для работы в реальном времени, которая конкурирует по скорости с YOLO, сохраняя при этом точность трансформерных архитектур.

Применение

DETR и его модификации используются в различных задачах компьютерного зрения:

• Общая детекция объектов (например, на наборах данных COCO, Pascal VOC).
• Сегментация экземпляров (Instance Segmentation) — расширение DETR, которое предсказывает маски объектов (DETR с маской, Mask DETR).
• Детекция ключевых точек (Keypoint Detection).
• Автономное вождение — для обнаружения транспортных средств, пешеходов и дорожных знаков.
• Медицинская визуализация — для выделения патологий на снимках.

Критика

Основная критика в адрес DETR связана с его вычислительной неэффективностью и медленной сходимостью по сравнению с устоявшимися архитектурами, такими как YOLO или Faster R-CNN. Некоторые исследователи отмечают, что для многих практических задач, особенно с ограниченными вычислительными ресурсами, традиционные детекторы остаются более предпочтительными. Однако появление Deformable DETR и RT-DETR частично нивелировало эти недостатки, сделав трансформерные детекторы конкурентоспособными в реальных приложениях.

Источники

• Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., & Zagoruyko, S. (2020). End-to-End Object Detection with Transformers. European Conference on Computer Vision (ECCV).
• Zhu, X., Su, W., Lu, L., Li, B., Wang, X., & Dai, J. (2021). Deformable DETR: Deformable Transformers for End-to-End Object Detection. International Conference on Learning Representations (ICLR).
• Zhang, H., Li, F., Liu, S., Zhang, L., Su, H., Zhu, J., ... & Shao, L. (2022). DINO: DETR with Improved Denoising Anchor Boxes for End-to-End Object Detection. arXiv preprint arXiv:2203.03605.
• Zhao, Y., Lv, W., Xu, S., Wei, J., Wang, G., Dang, Q., ... & Chen, J. (2024). DETRs Beat YOLOs on Real-time Object Detection. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).