Цифровое представление изображений
Чёрно-белые изображения
Изображения бывают цветные и одноцветные. Одноцветное изображение содержит градации одного цвета (оттенки серого), в дальнейшем такие изображе ния будем называть чёрно-белыми. Такие изображения представляются в виде матрицы интенсивностей пикселей размера , где - высота, а - ширина изображения:
Представления цветов
Представление в RGB
Для представления цветного изображения используется свойство, что любой цвет может быть представлен как сочетание базисных цветов: красного (red, R), зелёного (green, G) и синего (blue, B). Такое представление цвета называется RGB-представлением, и если присмотреться вблизи к экрану старых телевизоров, то можно увидеть, что каждый пиксель состоит из трёх, светящихся красным, зелёным и синим цветами.
Представление в CIELab
В цветовом представлении CIELab (Lab, Luv) цвет также представляется в виде сочетания трёх компонент:
-
L-luminance (яркость),
-
(a,b) - цвет.
Визуализация (a,b) пространства показана ниже для двух значений яркости L [1]:
Разделение на яркость и цвет позволяет легко варьировать яркость и контраст изображений, не изменяя цвета. Также это представление выбрано таким образом, чтобы величина Евклидового расстояния между двумя цветами и линейно соответствовала воспринимаемой человеческим глазом разнице в цветах (для RGB-представления это не так).
Представление изображения в CIELab-формате позволяет нейросетям работать инвариантно
-
к освещённости (если обрабатывать только компоненты a,b),
-
к цвету (если обрабатывать только компоненту L).
Например, классификация растений должна быть инвариантна к освещённости, если получаем кадры в разное время суток. А классификация марок машин не должна зависеть от цвета, который может быть любым, а должна определяться только контурами автомобиля в пространстве яркости L.
Представление HCL
Цветовое представление HCL кодирует каждый цвет тремя ещё более интерпретируемыми компонентами:
-
цвет (hue),
-
насыщенность цвета (chroma),
-
яркость (lightness).
Пространство HCL визуализируется следующим образом [2]:
Это пространство позволяет обучать модели, работающие инвариантно к цвету, яркости и насыщенности.
Существует также популярное цветовое представление CYMK, которое мы не будем рассматривать, т.к. оно используется в издательском деле.
Представление цветных изображений
Цветное изображение представляется тензором размера , т.е. трём конкатенированным матрицам размера , определяющим карты интенсивностей каждого из трёх каналов, которым представляется цвет (RGB, Lab, HCL).
Например, для RGB-представления каждая матрица задаёт карту интенсивностей красного, зелёного и синего цветов, как показано на рисунке: