Метод вычитания фона

Метод вычитания фона — это совокупность алгоритмов и техник компьютерного зрения и обработки изображений, предназначенных для выделения движущихся или статичных объектов переднего плана из видеопоследовательности или статичного изображения путём сравнения текущего кадра с моделью фона. Основная задача метода — отделить объекты, представляющие интерес (например, люди, автомобили, животные), от статичного или медленно меняющегося фона (дорога, стена, небо). Метод широко применяется в системах видеонаблюдения, автономном вождении, робототехнике, анализе спортивных событий и медицинской визуализации.

Принцип работы

Метод вычитания фона основан на предположении, что фон в видеопотоке остаётся относительно стабильным, а объекты переднего плана вносят в него изменения. Алгоритм последовательно выполняет несколько этапов:

1. Построение модели фона. На начальном этапе создаётся эталонное представление фона — математическая модель, описывающая распределение пикселей (или их групп) в отсутствие объектов переднего плана. Модель может быть статической (один кадр-эталон) или динамической (обновляемой с течением времени).

1. Вычитание фона. Для каждого нового кадра вычисляется разность между текущим изображением и моделью фона. Разность может быть пиксельной (по интенсивности, цвету или другим признакам) или статистической (например, по вероятности принадлежности пикселя к фону).

1. Пороговая обработка. Полученная разностная карта преобразуется в бинарную маску: пиксели, разность которых превышает заданный порог, классифицируются как передний план (значение 1), остальные — как фон (значение 0).

1. Постобработка. Бинарная маска часто содержит шум (ложные срабатывания от бликов, теней, дрожания камеры) и разрывы в областях объектов. Для улучшения качества применяются морфологические операции (эрозия, дилатация), фильтрация по размеру связных компонент, а также методы сглаживания границ.

1. Обновление модели фона. В динамических системах модель фона периодически корректируется, чтобы адаптироваться к изменениям освещения, погоды, времени суток или появлению новых статичных объектов (например, припаркованного автомобиля). Обновление может происходить с использованием экспоненциального сглаживания или более сложных статистических методов.

Классификация методов

Методы вычитания фона делятся на несколько категорий в зависимости от способа построения и обновления модели фона.

Статические методы

Используют один кадр или усреднённое изображение в качестве эталона фона. Простейший пример — вычитание фона по разности кадров (frame differencing), где фоном считается предыдущий кадр. Такие методы чувствительны к шуму, изменениям освещения и не способны адаптироваться к долговременным изменениям. Применяются в простых системах с контролируемыми условиями.

Статистические методы

Основаны на вероятностном моделировании распределения значений пикселей. Наиболее известный представитель — метод гауссовой смеси (Gaussian Mixture Model, GMM), предложенный Крисом Стоуфером и Уэйном Гримсоном в 1999 году. В этом методе для каждого пикселя строится смесь нескольких гауссовых распределений, описывающих возможные значения фона (например, при разном освещении). Каждый новый пиксель сравнивается с компонентами смеси; если он попадает в доверительный интервал хотя бы одного компонента, то считается фоном. Модель обновляется с помощью алгоритма ожидания-максимизации (EM). GMM эффективен при медленных изменениях освещения, но требует настройки числа компонентов и порогов.

Другой статистический подход — метод Виолы-Джонса (адаптированный для вычитания фона) и метод на основе непараметрической оценки плотности (например, с использованием ядерных функций). В последнем для каждого пикселя хранится выборка последних значений, и вероятность принадлежности к фону оценивается по плотности распределения этих значений.

Методы на основе машинного обучения

Современные подходы используют нейронные сети, в частности свёрточные (CNN) и рекуррентные (RNN) архитектуры. Популярны U-Net и DeepLab для сегментации изображений, а также генеративно-состязательные сети (GAN) для синтеза и вычитания фона. Методы глубокого обучения способны обрабатывать сложные сцены с динамическими тенями, отражениями и частичными перекрытиями, но требуют больших размеченных наборов данных и вычислительных ресурсов.

Примеры алгоритмов:

• ViBe (Visual Background Extractor) — быстрый метод, основанный на случайной выборке значений пикселей из предыдущих кадров.
• PBAS (Pixel-Based Adaptive Segmenter) — адаптивный метод с автоматической настройкой порогов.
• SuBSENSE (Self-Balanced Sensitivity Segmenter) — метод, комбинирующий цветовые и текстурные признаки.
• BGS-Net — нейросетевой подход, использующий свёрточные слои для сегментации.

Гибридные методы

Сочетают статистические модели и машинное обучение. Например, метод GMM + CNN использует гауссову смесь для предварительной сегментации, а нейросеть — для уточнения границ объектов. Другой пример — LSTM-модели, которые учитывают временные зависимости в видеопотоке.

Применение

Видеонаблюдение и безопасность

Метод вычитания фона лежит в основе систем обнаружения вторжений, подсчёта людей, анализа трафика и распознавания лиц. В системах видеонаблюдения (например, в городах, на вокзалах, в аэропортах) алгоритмы выделяют движущиеся объекты, игнорируя статичные элементы, что позволяет автоматически фиксировать подозрительную активность.

Автономное вождение и транспорт

В системах помощи водителю (ADAS) и беспилотных автомобилях метод используется для обнаружения пешеходов, других транспортных средств, препятствий и дорожной разметки. Например, алгоритм вычитания фона помогает выделить движущийся автомобиль на фоне дороги и зданий.

Робототехника

Мобильные роботы применяют метод для навигации, избегания препятствий и взаимодействия с объектами. В промышленных роботах вычитание фона используется для контроля качества продукции — выделения дефектов на конвейере.

Медицинская визуализация

В обработке медицинских изображений (например, в ангиографии или флуоресцентной микроскопии) метод позволяет выделить сосуды или клетки на фоне тканей. В видеозаписях эндоскопии вычитание фона помогает отслеживать движение инструментов.

Спортивная аналитика

В трансляциях спортивных событий метод применяется для отслеживания мяча, игроков и судей, а также для автоматического создания графических наложений (например, линий офсайда в футболе).

Виртуальная и дополненная реальность

В приложениях дополненной реальности (AR) вычитание фона используется для замены реального фона на виртуальный (технология «хромакей» в реальном времени). В VR-системах — для выделения рук или контроллеров пользователя.

Проблемы и ограничения

Несмотря на широкое распространение, метод вычитания фона имеет ряд недостатков:

• Чувствительность к изменениям освещения. Резкие перепады яркости (например, включение света, тень от облака) могут привести к ложным срабатываниям.
• Тени и отражения. Тени от объектов часто классифицируются как передний план, что требует дополнительных алгоритмов подавления теней.
• Динамический фон. Движущиеся элементы фона (колеблющиеся деревья, вода, флаги) усложняют сегментацию.
• Медленные или статичные объекты. Если объект переднего плана останавливается (например, припаркованный автомобиль), он может быть «встроен» в модель фона и перестать обнаруживаться.
• Качество видеопотока. Шум, низкое разрешение, сжатие с потерями (например, в формате MPEG) ухудшают точность вычитания.
• Вычислительная сложность. Современные методы глубокого обучения требуют мощных GPU, что ограничивает их применение на встраиваемых устройствах.

Сравнение с альтернативными методами

Метод вычитания фона часто сравнивают с другими подходами к сегментации движущихся объектов:

• Оптический поток. Анализирует движение пикселей между кадрами, но требует больше вычислительных ресурсов и менее устойчив к шуму.
• Разность кадров. Простейший метод, но не способен выделять медленно движущиеся объекты и даёт много ложных срабатываний.
• Сегментация на основе нейронных сетей. Обеспечивает более точное выделение объектов, но требует обучения на большом количестве размеченных данных и не всегда работает в реальном времени.

История развития

Первые работы по вычитанию фона относятся к 1970-м годам, когда в системах видеонаблюдения использовались простые методы разности кадров. В 1990-х годах с развитием компьютерного зрения появились статистические модели, в том числе метод гауссовой смеси (GMM), который стал стандартом де-факто на протяжении двух десятилетий. В 2000-х годах были разработаны более быстрые и адаптивные алгоритмы (ViBe, PBAS, SuBSENSE). С 2010-х годов доминирующее положение заняли методы глубокого обучения, особенно после появления архитектуры U-Net (2015) и использования свёрточных нейронных сетей для сегментации видео. В 2020-х годах активно исследуются методы на основе трансформеров и самовнимания, которые позволяют учитывать глобальный контекст сцены.

Интересные факты

• В 2021 году был опубликован бенчмарк CDnet (Change Detection.net), содержащий более 50 видеопоследовательностей с различными условиями (освещение, погода, динамический фон), который используется для сравнения алгоритмов вычитания фона.
• Метод вычитания фона применяется в системах «умного дома» для автоматического включения света при появлении человека.
• В кинематографе техника вычитания фона (хромакей) используется для замены зелёного или синего фона на любой другой, что позволяет создавать спецэффекты без дорогостоящих декораций.
• В России метод вычитания фона используется в системах видеонаблюдения на транспорте (например, в метрополитене Москвы и Санкт-Петербурга) для обнаружения падений на пути и несанкционированного доступа.

Источники

• Stauffer C., Grimson W.E.L. Adaptive background mixture models for real-time tracking // Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. — 1999.
• Barnich O., Van Droogenbroeck M. ViBe: A universal background subtraction algorithm for video sequences // IEEE Transactions on Image Processing. — 2011.
• Hofmann M., Tiefenbacher P., Rigoll G. Background segmentation with feedback: The Pixel-Based Adaptive Segmenter // IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. — 2012.
• Wang Y., Luo Z., Jodoin P.-M. Interactive deep learning for background subtraction // IEEE Transactions on Image Processing. — 2018.
• Goyette N., Jodoin P.-M., Porikli F., Konrad J., Ishwar P. Changedetection.net: A new change detection benchmark dataset // IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. — 2012.