6.4. Устройства ввода и хранения изображений

Рассмотренные выше вопросы преобразования информации в СТЗ были посвящены принципам получения изображений в видеодатчике СТЗ - телекамере. Этот этап, называемый восприятием, выполняется, вообще говоря, безо всякого участия вычислительных средств. Остальные же этапы (предварительная обработка, сегментация, описание и т.д.) пред­пола­гают использование вычислительных ресурсов СТЗ. В этой связи, особое значение приобретает правильное построение ус­тройств ввода изображений (фремграбберов, от англ. framegrabber - «захват изображения»), осу­щест­вляющих ввод и фильтрацию видеоинформации, и определяющих форму представления и способ обработки дан­ных в процессоре СТЗ. (Первый промышленный фрейм­граб­бер выпустила фирма Data Translation, США).

Конструктивно устройство ввода обычно выполняется в виде печатной платы, установленной на шине компьютера СТЗ, на входной разъем которой поступает стандартный видеосигнал. Выходная информация зависит от назначения и сло­жности устройства ввода. В ряде случаев это просто интерфейс между телекамерой и компьютером, в других - блок предварительной обработки, выполняющий значительную долю функций СТЗ (рис. 6.31). Структура интерфейса, а также объем требуемой памяти для хранения изображений в значительной мере определяются видом представляемой информации (строка, бинарный массив, полутоновое или цветное изображение), а также типом телевизионного датчика. Хотя в большинстве случаев выходным сигналом датчика является стандартный видеосигнал, характеристики интерфейса зависят от размерности кадра изображения и от того, черно-белое или цветное изображения подлежат обработке. Так, например, передача одного кадра бинарного изображения сравнительно небольшого формата 256256 в стандартном телевизионном режиме требует ввода в память около 3,3 10⁶ элементов изображения в секунду, а обработка цветного изо­бражения того же формата требует пропускной способности канала не менее 10 Мбайт/c. Для современных неспециализированных ком­пьютеров такая задача в реальном времени тру­дно выполнима. Для ее упрощения довольно часто используется буферизация (и «медленный ввод», например, по половине кадра), либо аппаратная выборка графического (контурного) изображения, при которой из полного массива выбирается только самая необходимая информация. Другими словами, ввод видеоинформации, а также и другие эта­пы преобразования (реализуемые программными средствами) могут рассматриваться как последовательное уменьшение размерности информационного массива, т.е. сжатие информации.

Основными задачами фреймграббера являются: кодирование видеосигнала (в том чи­сле его квантование и дискретизация), частотная фильтрация («сглаживание» изображения), буферизация и ввод массива данных.

Кодированием видеосигнала называется про­цедура представления черно-белого или цветного изображения дискретным массивом двоичных данных, однозначно соответствующим исходно­му.

Процедура кодирования включает дискретизацию (рис. 6.32) - час­тотное преобразование непрерывного видеосигнала в пи­ксельный и кван­тование - амплитудное преобразование си­г­на­лов яркости и цветности (рис. 6.33).

Дискретизация - представление непрерывного аналогового сигнала последовательностью его значений (отсчетов). Эти отсчеты берутся в моменты времени, отделенные друг от друга интервалом, называемым периодом дискретизации T_д. Дискретизация является преобразованием по полю; она реализует преобразование развертки видеосигнала U_с(t) в решетчатую функцию U_с [T] (обычно 100 нс < T_д < 1,5 мкс). Функция преобразования при дис­кретизации имеет вид:

U_с (t)  U_с [T]  U_mn,

где m и n - дискретные отсчеты абсциссы x и ординаты y отдельных точек свето­чув­ствительной поверхности телека­меры (они однозначно определяются через периоды строчной и кадровой разверток). Для цветной телекамеры мы имеем дело с тремя преобразованиями, и для каждой компоненты получим:

U_Y  (U_Y) _mn, U_U  (U_U) _mn, U_V  (U_V) _mn.

Здесь индексы Y, U, V - определяют соответствующую компоненту полного видеосигнала.

Чем меньше период T_д и выше частота дискретизации f_д = 1/T_д, тем меньше различия между исходным сигналом и его дискретизированным значением. Сту­пенчатый вид дискретизированного сигнала может быть сглажен фильтром ни­жних частот, с помощью которого обычно и осу­­ществляется восстановление аналогового сигнала из дискретизированного. Однако при восстановлении необходимо выполнения известное ограничения: f_д  2f_max, где f_max - верхняя частота спектра исходного аналогового сигнала (это условие определяется известной теоремой Найквиста-Котель­никова). Если это условие не выполняется, то дискретизация сопровождается необратимыми искажениями. Примером искажений, связанных с недостаточно высокой частотой временной дискретизации (в том числе с частотой кадров разложения), является картина движущегося велосипеда с вращающимися спицами колеса (стробоскопический эффект). Поэтому, при дискретизации телевизионного сигнала с граничной частотой 6 МГц, необходимо, чтобы f_д > 12 … 14 Мгц.

Квантование (преобразование по амплитуде) представляет собой замену величины отсчета сигнала ближайшим значением из набора фиксированных величин - уровней квантования. Следовательно, квантование - это округление величины отсчета. Уровни квантования делят весь диапазон возможного изменения значений сигнала на конечное число интервалов - шагов квантования. Обычно при квантовании производится пре­д­ставление абсолютного значения решетчатой функции U_с [T]  U_mn в двоичном виде. Функция преобразования при ква­нтовании описывается зависимостью:

U_mn (N)  2^N U_mn

где U_mn = U_{c min} - разрешающая способность АЦП, соответствующая минимальному уровню видеосигнала (уровню белого), N - разрядность АЦП.

Таким образом, в результате кодирования полный видеосигнал преобразуется в трехмерную дискретную функцию изображения - (U_YUV)_mn:

(U_YUV)_mn = U(N, m, n, U_Y,U_U,U_V, t).

Здесь (U_YUV)_mn - дискретная амплитуда пикселя, расположенного на пересечении m-ой строки и n-ого столбца.

Искажения сигнала, возникающие в процессе квантования, называют шумом квантования. Обычно, при оценке шума вычисляют разность между исходным сигналом U_с и его квантованным значением U_с(N), а в качестве показателей шума принимают среднеквадратичное значение этой разности. Особенностью шума квантования является его связь непосредственно с сигналом, поэтому его нельзя устранить последующей фильтрацией. Шум квантования убывает с уве­личением числа уровней квантования N. Нормой считается N = 10, что при двоичном кодировании позволяет квантовать видеосигнал на 1024 уровня. (Для монохромного изображения эти уровни называются градациями яркости). Таким образом, в результате проведенных преобразований видеосигнал представляет собой последовательность кодовых слов, каждое из которых передается в пределах одного интервала дискретизации.

Способы квантования и дискретизации ви­део­сиг­нала в СТЗ в значительной степени определяют ее эксплуатационные характеристики - быстродействие и разрешающую спо­соб­ность.

Быстродействие СТЗ, как правило, задается числом обрабатываемых изображений в секунду и зависит от размера и типа изображения и числа градаций яркости. Оно связано со временем ввода и временем обработки данных процессором СТЗ. Как уже отмечалось, работа с массивами изображений требует очень высокой пропускной способности канала передачи данных. Так, только ввод 10 полутоновых кадров размером 512512 элементов при 256 градациях яркости за секунду, требует пропуск­ной способности интер­фейса  2,6 Мбайт/с. Цифровой же поток при чересстрочном вводе такого же цветного изображения с двухбайтовой глубиной цвета составит 512512252  13 Мбайт/c.

Режим реального времени требует обработки одного поля изображения в темпе кадровой развертки, т.е. за 1/50 с, или 20 мс. Обычно, для улучшения качества изображений (с учетом эргономических требований) необходимо обеспечить большие значения частот кадровой развертки - 85 … 120 Гц. С этой целью устройства ввода и вывода изображений оснащаются гра­фическими процессорами. Так, например, при 24 битовом представлении изображения в «естественных цветах» с разрешением 1024768 и вертикальной разверткой 85 Гц скорость передачи данных составляет более 200 Мбайт/с. Такая производительность превышает возможности стандартных локальных компьютерных шин. Частота строчной развертки устройства вывода изображений (например, монитора) должна составлять не менее 76885 = 66 кГц.

Основными путями решения проблемы реального времени при вводе и выводе изображений являются:

• разработка новых типов локальных шин (подобных тем, которые установлены на графических станциях);

• создание специализированного быстродейст­вующего программного обеспечения.

Так, стандарт локальной шины AGP (Acceler­ated Graphics Port) обеспечивает пропускную способность шины канала - 533 Мбайт/с (по сравнению с 132 Мбайт/с для шины PCI), причем именно с такой скоростью смогут обмениваться данными процессор, видеоадаптер и оперативная память.

Разрешающая способность СТЗ оценивается двояко: по полю (пространственное разрешение) и амплитуде. Первая характеризует размер пикселя изображения и определя­ется частотой дискретизации устройства ввода (рис. 6.34). Чем тоньше деталь, тем выше соответствующая ей частота видеосигнала. Разрешение по элементам изображения ограничивается «муар-эф­фек­том», заметным у всех устройств ввода и вывода (особенно у мониторов и сканеров). Он является проявлением интерференции волн и оп­ределяется критерием Най­квиста. «Муар-эф­фек­т» воз­никает, когда размер фрагмента изображения соответствует порогу разрешения.

Для телекамер на основе ПЗС и ФДМ разрешение по полю соответствует количеству элементов матрицы. Чем больше элементов разложения содержит матрица, тем выше разрешение системы в целом. Например, ФДМ свойственно невысокое пространственное разрешение  10⁴ (100100) элемен­тов (для СТЗ Insight 32, Англия или Hitachi Zosen Corp., Япония). Что касается ПЗС-камер, оно достигает (2 … 3) 10⁶ элементов и выше. При описании пространственного разрешения устройств используются разные единицы измерения. Так, в телевидении разрешающая способность измеряется в линиях (твл) на единицу длины, причем учитываются и белые и черные линии - твл/мм, в оптике учитываются только черные линии, а в вычислительной технике разрешение характеризуется количест­вом точек на дюйм (dpi). Следовательно, разрешение в 300 dpi соответствует 300 черным точкам на 1 дюйме, или 150 полосам на дюйме. Для устранения этого разночтения при определении разрешающей способности устройства используют тестовые таблицы и процедуры.

При выборе разрешения по амплитуде (уровней квантования видеосигнала) учитывают особенности зрения. Так, на основании физиологических исследований установлено, что человек не способен различить 2% изменения градаций серого тона. Другими словами, глаз распознает не более 64 уровней серого, что позволяет для качественной оцифровки полутонового изображения использовать 6-ти разрядный АЦП. Однако здесь есть два момента. Во-первых, для любого АЦП характерно наличие шума, уровень которого примерно соответствует его младшему разряду. Во-вторых, чувствительность глаза обладает логарифмической характеристикой, что позволяет ему различать в нижней части диапазона яркостей больше оттенков, чем в верхней. Технические устройства (сканеры и мониторы) имеют линейную характеристику, и поэтому для обеспечения необходимого разрешения малых яркостей требуется при дискретизации не менее 8 бит. В профессиональ­ных системах применяются 10-ти и более разрядные АЦП.

Как уже отмечалось, спектральная чувствительность глаза во всем диапазоне видимого света неодинакова. Она максимальна в области желто-зеленых тонов - примерно такая же, как и для серого цвета. Красные и синие тона различаются гораздо хуже. Обычно поступают просто - для каждой цветовой составляющей выбирают разрешение равное 1 байт, что и образует известную величину  16,8 миллионов цветов (256256256). Такое количество цветов намного превышает возможности человеческих глаз. Большинство людей различает приблизительно 128 цветовых тонов при 30 значениях насыщенности и 50 уровнях яркости. Это соответствует максимум 1283050 = 192000 цветам. Данный режим также получил название True Co­­lor, в отличие от упрощенного цветового режима с разрешением в 5 бит на цветовую составляющую и названного High Co­lor (32768 цветов).