Downsampling

Downsampling (также децимация, прореживание) — в цифровой обработке сигналов и изображений процесс уменьшения частоты дискретизации сигнала или разрешения изображения. При downsampling’е из исходного дискретного набора данных (отсчётов) удаляется часть отсчётов, в результате чего частота дискретизации (количество отсчётов в единицу времени или пространства) снижается. Downsampling является частным случаем операции передискретизации (resampling) и применяется для сжатия данных, уменьшения вычислительной нагрузки, приведения сигналов к единой частоте дискретизации, а также в задачах машинного обучения и компьютерной графики.

Математическое описание

Downsampling формально описывается как операция, при которой из исходной последовательности отсчётов \( x[n] \) формируется новая последовательность \( y[m] \) путём взятия каждого \( M \)-го отсчёта, где \( M \) — целое положительное число, называемое коэффициентом прореживания (или фактором downsampling’а):

\[ y[m] = x[mM] \]

Таким образом, если исходная частота дискретизации составляла \( F_s \), то после downsampling’а с коэффициентом \( M \) новая частота дискретизации становится \( F_s / M \). Операция downsampling’а без предварительной фильтрации называется прореживанием (decimation).

Проблема наложения спектров (алиасинг)

При downsampling’е возникает фундаментальная проблема — наложение спектров (алиасинг). Согласно теореме Котельникова (Найквиста — Шеннона), для корректного восстановления непрерывного сигнала по его дискретным отсчётам частота дискретизации должна быть не менее чем вдвое выше максимальной частоты в спектре сигнала (частота Найквиста). При уменьшении частоты дискретизации в \( M \) раз частота Найквиста также снижается в \( M \) раз. Если в исходном сигнале присутствуют частотные компоненты выше новой частоты Найквиста, они «отразятся» в низкочастотную область, создавая ложные (паразитные) частоты — алиасы.

Для предотвращения алиасинга перед downsampling’ом применяется фильтр нижних частот (ФНЧ) с частотой среза, равной новой частоте Найквиста (то есть \( F_s / (2M) \)). Этот фильтр подавляет все частотные компоненты выше указанного порога, после чего выполняется прореживание. Процесс, включающий фильтрацию и последующее прореживание, в технической литературе часто называют децимацией (от лат. decimatio — «уничтожение каждой десятой»), хотя в строгом смысле децимация — это downsampling с предварительной фильтрацией.

Применение

Обработка аудиосигналов

В аудиотехнике downsampling используется для преобразования звуковых файлов с одной частотой дискретизации в другую (например, с 96 кГц в 44,1 кГц). Также downsampling применяется в цифровых аудиоэффектах (например, в биткрашерах) для создания специфического «низкокачественного» звучания, характерного для ранних цифровых синтезаторов и сэмплеров.

Обработка изображений

В компьютерной графике и цифровой фотографии downsampling (понижение разрешения) используется для создания уменьшенных копий изображений (превью, эскизов), для экономии памяти и ускорения обработки. При downsampling’е изображения удаляется часть пикселей, что может приводить к потере мелких деталей и появлению муара (moiré pattern). Для уменьшения артефактов применяются различные алгоритмы интерполяции и фильтрации (например, билинейная, бикубическая, Lanczos).

Машинное обучение и нейронные сети

В свёрточных нейронных сетях (CNN) downsampling (часто реализуемый через операции stride (шаг) в свёрточных слоях или слои пулинга (pooling), такие как max pooling или average pooling) используется для уменьшения пространственных размеров карт признаков. Это позволяет снизить вычислительную сложность, увеличить инвариантность к сдвигам и масштабированию, а также выделить наиболее значимые признаки. В задачах классификации изображений downsampling является стандартной операцией в архитектурах типа VGG, ResNet, Inception.

Цифровая связь и телекоммуникации

В системах цифровой связи downsampling применяется после демодуляции и фильтрации для приведения частоты дискретизации к символьной скорости. В программно-определяемых радиосистемах (SDR) downsampling используется для уменьшения объёма данных, передаваемых на обработку, при сохранении информации о полезном сигнале.

Научные вычисления и обработка данных

В анализе временных рядов и геофизике downsampling (прореживание) применяется для уменьшения объёма данных, например, при переходе от высокочастотных измерений к низкочастотным (суточные, месячные средние). В статистике downsampling может использоваться для балансировки классов в задачах классификации (удаление части объектов из мажоритарного класса).

Виды downsampling’а

Однородный downsampling

Наиболее распространённый вид, при котором отсчёты удаляются через равные промежутки (с постоянным коэффициентом \( M \)). Применяется в большинстве практических задач.

Неоднородный (адаптивный) downsampling

Отсчёты удаляются неравномерно, в зависимости от локальных характеристик сигнала. Например, в изображениях области с низкой детализацией могут прореживаться сильнее, чем области с высокой текстурой. Этот подход используется в некоторых алгоритмах сжатия с потерями (например, в JPEG 2000).

Пирамидальный downsampling (пирамида Гаусса)

Многоуровневый downsampling, при котором изображение последовательно уменьшается в 2 раза по каждому измерению, формируя пирамиду изображений разного разрешения. Используется в компьютерном зрении для масштабно-инвариантного анализа (SIFT, SURF).

Сравнение с upsampling’ом

Downsampling является обратной операцией по отношению к upsampling’у (интерполяции, увеличению частоты дискретизации). Если downsampling уменьшает количество отсчётов, то upsampling — увеличивает. В отличие от upsampling’а, который требует интерполяции (восстановления пропущенных значений), downsampling является операцией потери информации: часть данных безвозвратно удаляется. Поэтому downsampling часто применяется на этапе предварительной обработки для уменьшения объёма данных, а upsampling — на этапе постобработки для восстановления исходного разрешения (например, в декодерах изображений).

Интересные факты

• Термин «децимация» (decimation) происходит от римской военной практики наказания, при которой казнили каждого десятого солдата. В цифровой обработке сигналов этот термин был заимствован в 1970-х годах, когда появились первые алгоритмы прореживания с коэффициентом 10.
• В некоторых аудиоинтерфейсах downsampling может выполняться аппаратно с помощью специализированных микросхем (ASRC — Asynchronous Sample Rate Converter), что позволяет минимизировать задержки и джиттер.
• В задачах компьютерного зрения downsampling часто критикуют за потерю пространственной информации, что привело к разработке архитектур нейронных сетей с «пропускными соединениями» (skip connections), как в U-Net, где информация из высокоразрешенных слоёв передаётся в декодер.

Источники

• Oppenheim, A. V., Schafer, R. W. «Discrete-Time Signal Processing». — 3rd ed. — Pearson, 2010.
• Proakis, J. G., Manolakis, D. K. «Digital Signal Processing: Principles, Algorithms, and Applications». — 4th ed. — Pearson, 2007.
• Gonzalez, R. C., Woods, R. E. «Digital Image Processing». — 4th ed. — Pearson, 2018.
• Goodfellow, I., Bengio, Y., Courville, A. «Deep Learning». — MIT Press, 2016.
• Crochiere, R. E., Rabiner, L. R. «Multirate Digital Signal Processing». — Prentice-Hall, 1983.