пиксельный биннинг

Пиксельный биннинг (от англ. pixel binning — «объединение пикселей») — это технология обработки изображения, применяемая в цифровых фотоматрицах (КМОП-сенсорах), при которой сигналы с группы соседних фотодиодов (пикселей) суммируются и обрабатываются как один виртуальный пиксель большего размера. Цель пиксельного биннинга — увеличить светочувствительность и снизить уровень цифрового шума в условиях недостаточной освещённости, жертвуя при этом итоговым разрешением снимка.

Принцип работы

В основе технологии лежит физический закон: чем больше площадь отдельного фотодиода, тем больше фотонов он способен уловить за единицу времени. Уменьшение физического размера пикселя (например, до 0,8–1,0 микрона в современных смартфонах) ради повышения разрешения приводит к снижению отношения сигнал/шум. Пиксельный биннинг решает эту проблему программно-аппаратным способом.

Сигналы с группы пикселей (обычно 2×2 или 4×4) объединяются либо на уровне аппаратной логики сенсора, либо на этапе постобработки процессором сигнала (ISP). В результате получается один пиксель с эффективной площадью, равной сумме площадей исходных. Например, при объединении четырёх пикселей (2×2) светочувствительность увеличивается примерно в 4 раза, но итоговое разрешение уменьшается в 4 раза (с 48 Мп до 12 Мп).

История

Концепция объединения пикселей впервые была реализована в профессиональных и научных камерах в 1990-х годах для астрономической съёмки, где критически важна чувствительность к слабому свету. В потребительской электронике технология получила распространение в начале 2010-х годов, когда производители смартфонов начали устанавливать матрицы с разрешением 41 Мп (Nokia Lumia 1020, 2013 год). Однако из-за ограничений вычислительной мощности и алгоритмов того времени биннинг применялся ограниченно.

Массовое внедрение произошло в 2018–2019 годах с появлением 48-мегапиксельных сенсоров Sony IMX586 и Samsung ISOCELL Bright GM1. Эти матрицы по умолчанию работали в режиме 12 Мп с биннингом 4:1, предлагая пользователю опцию съёмки в полном разрешении. С тех пор пиксельный биннинг стал стандартом для камер среднебюджетных и флагманских смартфонов.

Классификация и виды

По способу реализации

• Аппаратный (на уровне сенсора). Объединение зарядов происходит непосредственно на матрице до аналого-цифрового преобразования. Это даёт максимальный выигрыш в чувствительности и минимальные задержки, но требует специальной архитектуры сенсора (например, технология Tetracell от Samsung или Quad Bayer от Sony).
• Программный (на уровне ISP). Сигналы считываются с каждого пикселя отдельно, а затем объединяются цифровым способом. Менее эффективен в плане шумов, но позволяет гибко выбирать конфигурацию биннинга (например, 2×2, 3×3, 4×4) и сохранять исходные данные для последующей обработки.

По коэффициенту объединения

• 2×2 (4:1). Наиболее распространённый вариант. Изображение с 48, 64 или 108 Мп преобразуется в 12, 16 или 27 Мп соответственно.
• 3×3 (9:1). Используется реже, в основном в камерах с очень высоким разрешением (например, 108 Мп → 12 Мп) или для съёмки в экстремально тёмных условиях.
• 4×4 (16:1). Применяется в единичных моделях сенсоров (например, 200 Мп → 12,5 Мп) для максимальной светочувствительности.

По схеме цветного фильтра

• Стандартный фильтр Байера (RGGB). При биннинге 2×2 четыре пикселя (1 красный, 2 зелёных, 1 синий) объединяются в один, сохраняя цветовую структуру. Это простейший и самый старый метод.
• Неквадратные схемы (Quad Bayer, Nona Bayer). В таких сенсорах под каждым цветным фильтром находится блок из 4 (Quad) или 9 (Nona) пикселей. При биннинге они объединяются внутри своего цветового канала, что позволяет получать более точную цветопередачу и использовать дополнительные режимы (например, HDR с разной экспозицией на субпикселях).

Достоинства и недостатки

Преимущества

• Повышенная светочувствительность. Основное назначение технологии. Позволяет получать качественные снимки в сумерках и помещениях без вспышки.
• Снижение шума. Усреднение сигнала с нескольких пикселей уменьшает случайные флуктуации (шум).
• Увеличенный динамический диапазон. В некоторых реализациях (например, Smart-ISO) разные пиксели в группе могут считываться с разным усилением, а затем объединяться для сохранения деталей в тенях и светах.
• Экономия места. Возможность устанавливать в компактные корпуса смартфонов матрицы с очень высоким номинальным разрешением, которые в повседневной съёмке работают как более крупнопиксельные.

Недостатки

• Потеря разрешения. Итоговый снимок имеет в 4–16 раз меньше пикселей, чем матрица. Детализация мелких объектов снижается.
• Артефакты цветопередачи. При биннинге в схемах Quad Bayer могут возникать цветовые ореолы и муар на тонких текстурах (например, на ткани или решётках).
• Снижение эффективности при дневном свете. В условиях хорошей освещённости биннинг избыточен, и полное разрешение матрицы обеспечивает лучшую детализацию. Многие камеры автоматически переключаются между режимами.
• Зависимость от алгоритмов. Качество конечного изображения сильно зависит от программной обработки (демозаика, шумоподавление), что может приводить к «мыльным» или неестественным результатам на некоторых устройствах.

Применение

Основная область применения пиксельного биннинга — камеры мобильных устройств (смартфоны, планшеты). Технология также используется в:

• Экшн-камерах и видеорегистраторах — для улучшения съёмки в условиях плохого освещения.
• Системах видеонаблюдения — для повышения чувствительности ночных камер.
• Научной и медицинской микроскопии — для регистрации слабых световых сигналов (флуоресценция, биолюминесценция).
• Астрономической фотографии — для захвата изображений тусклых звёзд и галактик.

В профессиональных беззеркальных и зеркальных камерах пиксельный биннинг применяется редко, так как они используют физически более крупные матрицы (APS-C, Full Frame), где проблема шума решается за счёт размера пикселя, а не алгоритмов.

Критика и альтернативы

Основной упрёк в адрес пиксельного биннинга со стороны фотографов-энтузиастов заключается в том, что он является «маркетинговым трюком», позволяющим производителям указывать в характеристиках высокое число мегапикселей, которое редко реализуется на практике. Качество 12-мегапиксельного снимка с биннингом часто уступает качеству снимка, сделанного на матрицу с нативным разрешением 12 Мп и крупными пикселями, из-за дополнительных шумов от считывания и артефактов обработки.

Альтернативой пиксельному биннингу является технология многокадрового шумоподавления (multi-frame noise reduction), при которой делается несколько снимков с полным разрешением, которые затем совмещаются программно. Этот метод не снижает разрешение, но требует больше времени на съёмку и обработку, а также эффективен только для статичных сцен.

Современные сенсоры (например, Sony IMX989 1-дюймовый) сочетают относительно крупные нативные пиксели (1,6 мкм) с возможностью биннинга для работы в сверхнизких освещённостях, что позволяет частично нивелировать недостатки технологии.

Источники

• Sony Semiconductor Solutions. Технические описания сенсоров серии IMX (IMX586, IMX689, IMX989).
• Samsung Electronics. White papers по технологиям ISOCELL (Tetracell, Nonacell, Smart-ISO).
• Chen, T., et al. «Pixel Binning for High Dynamic Range Imaging in CMOS Image Sensors». IEEE Transactions on Electron Devices, 2019.
• Обзоры и аналитические материалы ресурсов DXOMARK, GSMArena, DPReview.