Mask R-CNN

Mask R-CNN — это архитектура свёрточной нейронной сети для сегментации изображений, разработанная исследователями из Facebook (продукт Meta, признанной экстремистской и запрещённой в РФ) AI Research (организация Meta Platforms Inc. признана экстремистской и запрещена в РФ). Она одновременно решает задачи обнаружения объектов (классификация и локализация) и семантической сегментации, выделяя контур каждого объекта на уровне пикселей. Mask R-CNN является расширением архитектуры Faster R-CNN, добавляя третью ветвь вывода — маску сегментации, параллельно с ветвями классификации и регрессии ограничивающей рамки.

История

Mask R-CNN была представлена в 2017 году в статье «Mask R-CNN» (авторы — Кайминг Хэ, Джорджия Гкоксиари, Пётр Доллар, Росс Гиршик). Работа была выполнена в Facebook AI Research (организация Meta Platforms Inc. признана экстремистской и запрещена в РФ). Модель быстро стала стандартом для задач инстанс-сегментации, превзойдя по точности предыдущие подходы, такие как FCIS (Fully Convolutional Instance-aware Semantic Segmentation) и комбинации Faster R-CNN с FCN (Fully Convolutional Network). В 2018 году Mask R-CNN получила награду за лучшую работу на конференции ICCV.

Архитектура

Mask R-CNN состоит из трёх основных компонентов: базовой свёрточной сети (backbone), региональной сети предложений (Region Proposal Network, RPN) и головной сети (head), выполняющей три задачи.

Backbone (основная сеть)

В качестве backbone используется стандартная свёрточная сеть (например, ResNet-50, ResNet-101), дополненная пирамидой признаков (Feature Pyramid Network, FPN). FPN позволяет эффективно обрабатывать объекты разных масштабов, создавая многоуровневое представление изображения.

Region Proposal Network (RPN)

RPN — это небольшая свёрточная сеть, которая скользит по карте признаков и генерирует прямоугольные области (region proposals), потенциально содержащие объекты. Для каждого положения на карте признаков RPN предсказывает:

• вероятность наличия объекта (объект/фон);
• смещения для набора заранее заданных прямоугольников (anchor boxes) разных размеров и пропорций.

Головная сеть (Head)

Головная сеть принимает предложенные RPN области и для каждой из них выполняет три задачи:

• Классификация — определение класса объекта (например, «человек», «автомобиль»);
• Регрессия ограничивающей рамки — уточнение координат прямоугольника, охватывающего объект;
• Сегментация маски — предсказание бинарной маски (пиксель принадлежит объекту или нет) для каждой области.

Ключевое нововведение Mask R-CNN — RoIAlign (Region of Interest Align). В отличие от RoIPool, используемого в Faster R-CNN, RoIAlign не использует округление координат при извлечении признаков из карты признаков. Вместо этого применяется билинейная интерполяция, что позволяет сохранить точное пространственное соответствие между исходным изображением и картой признаков. Это критически важно для сегментации на уровне пикселей, так как даже небольшие ошибки в выравнивании приводят к неточным маскам.

Обучение

Обучение Mask R-CNN является многозадачным. Функция потерь (loss) представляет собой сумму трёх компонентов:

\[ L = L_{cls} + L_{box} + L_{mask} \]

• \(L_{cls}\) — логарифмическая потеря для классификации (cross-entropy loss);
• \(L_{box}\) — потеря для регрессии ограничивающей рамки (smooth L1 loss);
• \(L_{mask}\) — средняя бинарная кросс-энтропийная потеря для маски. Для каждого класса предсказывается отдельная маска, и используется только маска, соответствующая истинному классу объекта (per-pixel sigmoid + binary cross-entropy). Это позволяет сети обучаться разделять классы без конкуренции между ними.

Обучение проводится на больших наборах данных, таких как COCO (Common Objects in Context), который содержит более 200 000 изображений с разметкой для 80 классов объектов.

Применение

Mask R-CNN применяется в широком спектре задач, требующих точного выделения контуров объектов:

• Автономное вождение — сегментация пешеходов, транспортных средств, дорожных знаков и препятствий.
• Медицинская визуализация — выделение опухолей, органов и аномалий на снимках МРТ, КТ, рентгенограммах.
• Робототехника — распознавание и захват объектов на основе их формы.
• Видеонаблюдение — обнаружение и отслеживание людей, транспортных средств, подозрительных предметов.
• Обработка спутниковых снимков — сегментация зданий, дорог, сельскохозяйственных угодий.
• Промышленный контроль качества — обнаружение дефектов на деталях по их форме и расположению.

Варианты и модификации

Существует несколько модификаций и улучшений Mask R-CNN:

• Mask Scoring R-CNN — добавляет ветвь оценки качества предсказанной маски, что повышает точность сегментации.
• Cascade Mask R-CNN — использует каскад из нескольких детекторов с возрастающим порогом Intersection over Union (IoU) для улучшения качества обнаружения.
• PointRend — модуль, который дорисовывает детали маски в высоком разрешении, используя итеративную подвыборку точек.
• YOLACT (You Only Look At CoefficienTs) — более быстрая модель для инстанс-сегментации в реальном времени, основанная на идеях Mask R-CNN, но без использования RPN.

Ограничения

Несмотря на высокую точность, Mask R-CNN имеет ряд недостатков:

• Высокая вычислительная сложность — модель требует значительных ресурсов GPU и времени для обучения и инференса, что затрудняет её использование в реальном времени на мобильных устройствах.
• Чувствительность к качеству разметки — для обучения требуется большое количество точно размеченных масок, что дорого и трудоёмко.
• Проблемы с мелкими объектами — сегментация объектов, занимающих менее 10–20 пикселей, часто неточна из-за потери информации при свёртках.
• Зависимость от RPN — ошибки на этапе генерации предложений (пропуск объектов или ложные срабатывания) напрямую влияют на качество итоговой сегментации.

Значение

Mask R-CNN стала важной вехой в развитии компьютерного зрения, объединив задачи обнаружения и сегментации в единую эффективную архитектуру. Она продемонстрировала, что многозадачное обучение с использованием RoIAlign позволяет достичь высокой точности на уровне пикселей. Модель широко используется в академических исследованиях и промышленных приложениях, а её идеи легли в основу многих последующих архитектур, включая трансформерные модели для сегментации (например, MaskFormer, Mask2Former).

Источники

• He K., Gkioxari G., Dollár P., Girshick R. Mask R-CNN // Proceedings of the IEEE International Conference on Computer Vision (ICCV). — 2017.
• Lin T.-Y. et al. Feature Pyramid Networks for Object Detection // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2017.
• Ren S., He K., Girshick R., Sun J. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks // Advances in Neural Information Processing Systems (NeurIPS). — 2015.
• Lin T.-Y. et al. Microsoft COCO: Common Objects in Context // European Conference on Computer Vision (ECCV). — 2014.
• Huang Z., Huang L., Gong Y., Huang C., Wang X. Mask Scoring R-CNN // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2019.