Feature Pyramid Network

Feature Pyramid Network (FPN, с англ. — «сеть пирамид признаков») — это архитектурный компонент свёрточных нейронных сетей, предназначенный для построения многоуровневого представления изображения путём объединения семантически сильных признаков с высоких уровней абстракции и пространственно детализированных признаков с низких уровней. FPN позволяет детектировать объекты разного масштаба в рамках единой сети без существенного увеличения вычислительных затрат. Предложена в 2017 году исследователями из Facebook (продукт Meta, признанной экстремистской и запрещённой в РФ) AI Research (организация Meta признана экстремистской и запрещена в РФ) в работе «Feature Pyramid Networks for Object Detection».

История

До появления FPN детекторы объектов (например, Faster R-CNN, SSD) использовали для распознавания один или несколько последних слоёв свёрточной сети. Это приводило к снижению точности на объектах малого размера, поскольку высокоуровневые признаки теряли пространственную детализацию. Альтернативные подходы, такие как построение пирамид изображений (Image Pyramid), требовали многократного повторного вычисления признаков для каждого масштаба, что было вычислительно дорого.

FPN впервые объединила два принципа: снизу вверх (bottom-up) — стандартное прохождение через свёрточную сеть, и сверху вниз (top-down) — обратное распространение семантически богатых признаков на более высокие разрешения с боковыми соединениями (lateral connections). Этот подход позволил строить единую пирамиду признаков, используя единственный проход сети, что значительно ускорило и удешевило детекцию.

Архитектура

FPN состоит из трёх основных компонентов:

Путь снизу вверх (Bottom-up pathway)

Это стандартная свёрточная сеть (backbone), например ResNet или VGG. Каждый этап (stage) сети, соответствующий определённому разрешению, формирует карту признаков. Обычно используются выходы последних блоков каждого этапа. В FPN для построения пирамиды берутся признаки с этапов, где разрешение уменьшается вдвое (например, с выходов conv2, conv3, conv4, conv5 в ResNet). Эти уровни обозначаются как {C2, C3, C4, C5} с шагом (stride) {4, 8, 16, 32} пикселя относительно исходного изображения.

Путь сверху вниз (Top-down pathway)

Начиная с самого семантически сильного уровня (C5), строится последовательность карт признаков с постепенно увеличивающимся разрешением. Каждый уровень получается путём апсемплинга (upsampling) предыдущего в 2 раза (обычно с помощью билинейной интерполяции). Это позволяет передавать семантическую информацию на более детальные уровни.

Боковые соединения (Lateral connections)

Для восстановления пространственной информации, потерянной при апсемплинге, каждый уровень пути сверху вниз объединяется с соответствующей картой признаков пути снизу вверх. Объединение выполняется поэлементным сложением после приведения каналов к единой размерности (обычно 256) с помощью свёрточного слоя 1×1.

После объединения на каждом уровне применяется свёрточный слой 3×3 для устранения артефактов апсемплинга. Полученные карты признаков обозначаются как {P2, P3, P4, P5}, соответствующие шагам {4, 8, 16, 32}.

Применение

Детекция объектов

FPN является основой многих современных детекторов, таких как Mask R-CNN, RetinaNet, Faster R-CNN с FPN. В этих системах каждый уровень пирамиды используется для детекции объектов определённого масштаба: мелкие объекты — на высоких разрешениях (P2, P3), крупные — на низких (P4, P5). Это позволяет детектору эффективно обрабатывать объекты от нескольких пикселей до почти всего изображения.

Сегментация изображений

В архитектурах для семантической сегментации (например, U-Net, DeepLab) FPN используется для восстановления пространственной детализации после серии понижений разрешения. Боковые соединения аналогично передают информацию о границах объектов.

Распознавание действий и анализ видео

FPN применяется в задачах, где важна многомасштабная информация, например, для обнаружения мелких движущихся объектов на видео или распознавания жестов.

Варианты и модификации

• NAS-FPN — пирамида признаков, найденная с помощью нейронного архитектурного поиска (Neural Architecture Search). Отличается нерегулярной структурой соединений.
• BiFPN (EfficientDet) — двунаправленная пирамида с повторяющимися блоками слияния, где каждый уровень получает информацию как от вышестоящего, так и от нижестоящего уровня.
• PANet — расширение FPN, добавляющее дополнительный путь снизу вверх для улучшения передачи признаков от мелких объектов.
• FPN+ — вариант с дополнительными свёрточными слоями после боковых соединений для улучшения семантической согласованности.

Критика и ограничения

• Избыточность для крупных объектов: для объектов, занимающих большую часть изображения, использование всех уровней пирамиды может быть избыточным и увеличивать вычислительную нагрузку.
• Чувствительность к качеству backbone: FPN не компенсирует недостатки базовой свёрточной сети; при слабом backbone пирамида может содержать шум.
• Сложность обучения: для корректной работы требуется тщательная настройка гиперпараметров (количество уровней, размер каналов, метод объединения).

Интересные факты

• FPN была вдохновлена пирамидами изображений, используемыми в классической компьютерном зрении (например, SIFT), но адаптирована для глубокого обучения.
• В оригинальной работе авторы показали, что FPN улучшает точность детекции объектов малого размера на 10–15% по сравнению с использованием только последнего уровня.
• FPN используется не только в детекции, но и в задачах генерации изображений (например, в CycleGAN) для сохранения деталей при изменении стиля.

Источники

• Lin, T. Y., Dollár, P., Girshick, R., He, K., Hariharan, B., & Belongie, S. (2017). Feature Pyramid Networks for Object Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
• He, K., Gkioxari, G., Dollár, P., & Girshick, R. (2017). Mask R-CNN. Proceedings of the IEEE International Conference on Computer Vision (ICCV).
• Tan, M., Pang, R., & Le, Q. V. (2020). EfficientDet: Scalable and Efficient Object Detection. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
• Ghiasi, G., Lin, T. Y., & Le, Q. V. (2019). NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).