Технология Bayer

Технология Bayer (также известная как метод Байера, массив Байера, цветофильтр Байера) — это распространённый способ получения цветного изображения в цифровых камерах и сканерах, при котором используется один светочувствительный сенсор (матрица) и расположенный перед ним цветовой фильтр с чередующимися красными, зелёными и синими (RGB) ячейками. Названа в честь изобретателя, Брайса Байера (Bryce Bayer), сотрудника компании Kodak, который в 1976 году предложил и запатентовал эту структуру.

История

Предпосылки создания

До появления цифровых фотоаппаратов цветные изображения получали с помощью трёх отдельных чёрно-белых сенсоров и светоделительной призмы (трёхматричные системы, например, в профессиональных видеокамерах). Такие системы были дорогими, громоздкими и требовали сложной юстировки. Для массового рынка требовался более простой и дешёвый метод. В 1976 году инженер компании Eastman Kodak Брайс Байер запатентовал (US Patent № 3,971,065) метод, позволяющий использовать один сенсор с мозаичным цветофильтром.

Изобретение Брайса Байера

Основная идея Байера заключалась в том, чтобы расположить цветовые фильтры на пикселях сенсора не равномерно, а по определённому шаблону. Человеческий глаз более чувствителен к зелёному цвету — основе восприятия яркости. Поэтому в схеме Байера количество зелёных фильтров вдвое превышает количество красных и синих. Типичный шаблон (сейчас самый распространённый) состоит из повторяющихся блоков 2×2 пикселя: один красный, один синий и два зелёных (GRGB). Поскольку на каждый блок приходится 50% зелёных ячеек и 25% красных и синих, алгоритм даёт лучшую детализацию в зелёном канале, к которому глаз наиболее чувствителен.

В оригинальном патенте Байера также описывалась возможность использования другой раскладки (например, с циан, маджентой и жёлтым — CMY), но базовый RGB-вариант стал стандартом де-факто.

Развитие и современность

После истечения срока действия патента в 1990-х годах технология Bayer стала общедоступной. Она используется в подавляющем большинстве цифровых зеркальных и беззеркальных камер, камер смартфонов, веб-камер и сканеров. Сегодня существуют альтернативы — сенсоры Foveon (используют многослойный принцип, как цветная плёнка), сенсоры с микросканированием (например, от Panasonic) или сенсоры с использованием других шаблонов (X-Trans от Fujifilm), но технология Bayer остаётся самой распространённой из-за своей простоты, дешевизны и высокой эффективности.

Устройство и принцип работы

Структура цветофильтра Байера

Массив Байера представляет собой стеклянную или пластиковую пластину с тонкими слоями красителей, расположенную непосредственно перед пикселями матрицы. Каждый пиксель сенсора (фотодиод) измеряет только интенсивность света, но не его цвет. Фильтр позволяет пройти к пикселю только свету определённой длины волны: красного, зелёного или синего диапазона. В результате образуется «сырое» (raw) изображение, где каждый пиксель содержит данные только об одном цвете.

Принцип получения полноцветного изображения

Так как на выходе с сенсора мы имеем мозаику монохромных точек, для получения полноцветной картинки необходимо восстановить недостающие цветовые данные для каждого пикселя. Этот процесс называется демозаикация (или интерполяция Байера). Алгоритм анализирует соседние пиксели и на основе их цветов вычисляет значения, которых не хватает. Современные алгоритмы демозаикации (например, адаптивная интерполяция, алгоритмы на основе вейвлетов) весьма сложны и позволяют минимизировать артефакты, такие как цветные ореолы или муар.

Математическая модель

Для пикселя, находящегося под красным фильтром, его окончательный цвет (на выходе) будет состоять из:

• Красный (R) — берётся непосредственно с пикселя.
• Зелёный (G) — интерполируется по двум ближайшим зелёным соседям по горизонтали и вертикали.
• Синий (B) — интерполируется по четырём синим соседям по диагонали.

Характеристики и особенности

Преимущества

• Низкая стоимость производства: один сенсор и один массив фильтров значительно дешевле трёх отдельных сенсоров.
• Простота конструкции: не требует сложной оптической системы для разделения света на три канала.
• Высокая светочувствительность: каждый пиксель использует весь свой фотон, пропуская только 1/3 падающего света (в среднем 1/3 от белого света). Однако зелёных пикселей вдвое больше, что частично компенсирует потери.
• Широкая совместимость: подавляющее большинство камер и ПО для обработки изображений (Adobe Lightroom, RawTherapee, Capture One) поддерживают демозаикацию по Байеру.

Недостатки и ограничения

• Потеря разрешения: из-за интерполяции фактическое цветное разрешение сенсора примерно на 25-30% меньше, чем его номинальное количество пикселей. Например, 20-мегапиксельный сенсор Bayer даёт реальную цветную детализацию, сопоставимую с 14-мегапиксельным «истинным» трёхслойным сенсором (при идеальных условиях).
• Артефакты интерполяции: на тонких деталях (например, на ткани, решётках, листве) могут возникать муар, цветные шумы и «радужные» ореолы.
• Потеря информации о цвете: в каждом пикселе теряется информация о двух из трёх цветов. Это также приводит к снижению точности цветопередачи по сравнению с трёхматричными системами.
• Неэффективность при слабом освещении: так как часть света поглощается цветными красителями, сенсор Bayer обычно менее чувствителен, чем чёрно-белый монохромный сенсор. Для компенсации часто увеличивают усиление сигнала (ISO), что ведёт к росту шума.

Режим работы: «сырой» формат (RAW)

Перед демозаикацией большинство камер профессионального и полупрофессионального уровня могут сохранять данные в формате RAW. В этом случае информация с каждого пикселя (в виде 12–14-битного значения яркости) записывается без обработки. Файл RAW содержит двухмерный массив чисел, соответствующий мозаике Байера. Это даёт фотографу максимальную гибкость: демозаикация и цветокоррекция выполняются на компьютере с помощью мощных алгоритмов, что позволяет избежать потерь качества, вызванных встроенной обработкой камеры (например, сжатием JPEG).

Альтернативы и развитие

Технология X-Trans (Fujifilm)

Fujifilm разработала альтернативный шаблон цветофильтра (X-Trans), в котором используется блок 6×6 пикселей с более редкой и нерегулярной схемой расположения красных, зелёных и синих ячеек. Это позволяет уменьшить муар и улучшить детализацию на текстурах без использования оптического фильтра низких частот (AA-фильтра), который снижает резкость. X-Trans остаётся проприетарной технологией и применяется только в камерах Fujifilm.

Сенсоры Foveon

В отличие от массива Байера, сенсоры Foveon (разработка Foveon, Inc.) используют многослойный принцип, похожий на цветную плёнку. Кремниевый кристалл имеет три слоя фотодиодов, расположенных на разной глубине, что позволяет каждому пикселю регистрировать все три цвета (красный, зелёный, синий) без мозаичного фильтра. Это даёт более высокую цветовую точность и детализацию на мелких деталях, но сенсоры Foveon менее чувствительны к свету и плохо работают при слабом освещении.

Сенсоры Quad Bayer и Tetracell

Для повышения светочувствительности в камерах смартфонов часто используется шаблон Quad Bayer (также известный как Tetracell, Nona Bayer). В нём блоки 2×2 ячейки объединяются в один «пиксель» — все четыре идентичных (например, 4 зелёных) срабатывают как один большой пиксель. Это эффективно снижает разрешение (например, 48 МП → 12 МП), но значительно увеличивает чувствительность. Для получения снимков с высоким разрешением такие сенсоры могут работать в режиме отдельного считывания каждого пикселя («сырой» модус).

Применение

Технология Bayer является основой для абсолютного большинства современных цифровых изображений:

• Фотоаппараты: от компактных «мыльниц» и зеркальных камер до среднеформатных систем.
• Видеокамеры: как любительские, так и профессиональные (включая кинокамеры).
• Смартфоны: практически все камеры мобильных телефонов используют модификации фильтра Байера (например, Quad Bayer).
• Веб-камеры и камеры ноутбуков.
• Сканеры: планшетные и плёночные.
• Медицинская техника: эндоскопы, микроскопы.
• Промышленное зрение: системы машинного зрения.

Интересные факты

• Несмотря на название «массив Байера», сам Брайс Байер никогда не утверждал, что его патент — единственный или лучший. Он работал в Kodak над созданием практичного сенсора для цветной цифровой фотографии.
• Подавляющее большинство цифровых зеркальных камер мира (Canon, Nikon, Sony, Pentax) используют именно массивы Байера. Исключения (например, камеры с сенсорами Foveon) занимают нишевую долю.
• В лазерных принтерах и проекторах для упрощения конструкции также часто применяются светофильтры с той же квадромозаикой, что и на сенсорах — она позволяет получить полноцветное изображение с одного источника света.

Источники

• US Patent № 3,971,065 «Color imaging array», Bryce E. Bayer, 1976.
• «Image Sensors and Signal Processing for Digital Still Camera», Junichi Nakamura (ed.), CRC Press.
• «Digital Image Processing» (3rd edition), Rafael C. Gonzalez, Richard E. Woods.
• Сайты производителей: Canon, Nikon, Sony, Fujifilm, OmniVision (описания сенсоров).
• Справочные материалы по формату RAW (Adobe DNG, TIFF/EP).