4. Цифровое сжатие видеоинформации. Обобщенная структурная схема цифровой тв системы.

Алгоритмы сжатия, применяемые к видеосигналу, удаляют из него избыточную информацию,»содержащуюся как внутри каждого кадра, так и в последовательности кадров. Методы избавления от такой информации разрабатываются различными группами специалистов и компаниями-производителями оборудования. Наиболее распространёнными методами сжатия являются M-JPEG, MPEG-4 и Н64, разработанные группой Joint Motion Picture Engineers Group. Эти методы используют внутрикадровую и межкадровую компрессию. На смену появившемуся в конце 80-х годов алгоритму сжатия отдельных кадров JPEG был изобретён формат так называемого вейвлет-сжатия JPEG 200 Однако изначальным его предназначением было всё-таки сжатие отдельных кадров, а не передача видеопоследовательностей в реальном времени. Существует два принципиально различающихся типа компрессии видеоданных:

1) с потерями и

2) без потерь.

ПКоэффициент сжатия определяет то, в какой степени конечное изображение отличается от исходного — при этом исходный объём информации уменьшается в 10-400 раз. Цифровое сжатие данных основано на исключении избыточных и повторяющихся элементов, описывающих яркость и цвет каждого пиксела. Степень сходства декомпрессированного изображения с оригиналом определяется не только коэффициентом сжатия, но и качеством самого алгоритма. Основные типы компрессии — межкадровая и внутрикадровая. Межкадровое сжатие основывается на том, что в большинстве сцен разница между двумя последовательными кадрами крайне незначительна. Такие алгоритмы осуществляют сжатие только тех областей кадра, в которых при сравнении с предшествующими кадрами обнаружена смена фона либо движение объектов.

 

 

5. Дкп. Трансформанты

Дискретное косинусное преобразование.

На этом этапе обработки в стандарте JPEG использован чисто математический прием под названием "Дискретное косинусное преобразование" (Discrete Cosine Transform - DCT), предложенный В. Ченом в 1981 году. По сути, этот метод сходен с более известным двумерным дискретным преобразованием Фурье и отличается от него только используемыми базисными функциями. Достоинством DCT по сравнению с другими аналогичными ортогональными преобразованиями (синусным, Фурье, Адамара, Хаара и др.) является быстрая сходимость ряда, что обеспечивает меньшую погрешность ошибки преобразования.

    Основу для применения DCT составляет тот факт, что, полученные на предыдущем этапе обработки матрицы состоят из отсчетов, почти равных между собой по величине, а DCT преобразует информацию о величинах отсчетов в информацию о скорости изменения этих величин. В результате этого исходная матрица отсчетов превращается в такую же по размерам матрицу частотных коэффициентов, которые уже не имеют такой прямой геометрической связи с положением отсчетов сигнала в изображении, а могут рассматриваться как двумерный спектр скоростей изменения изображения в горизонтальном и вертикальном направлениях. Достоинством такой формы записи является то, что для реальных изображений большинство значащих членов в новой матрице оказывается сгруппировано в левом верхнем углу (область малых скоростей изменения величин отсчетов в изображении), а правая нижняя часть матрицы (область больших скоростей) содержит члены с малыми значениями или вообще нулевые.

Дискретное косинусное преобразование осуществляет перевод отдельных блоков изображения, размер которых определен JPEG 8х8 пикселей, из пространственной в область пространственных частот. Для многокомпонентных изображений DСT применяется раздельно к блокам каждого компонента. При применении субдискретизации блоков одних компонентов может оказаться больше, чем других (например, яркостных больше, чем цветоразностных). Пиксели в каждом блоке нумеруются от (0,0) в левом верхнем углу до (N,N) в правом нижнем углу. Двумерное DСT в общем виде ведется по формулам:

_ДКП

Формула дискретного косинусного преобразования.

Здесь i, j - координаты в спектральной области;

ДКП ^(I,j)— коэффициенты DСT;

x, y — координаты элемента изображения в блоке;

pixel(x, y) — значения яркости или цветности.

одкп _ДКП

Формула обратного дискретного косинусного преобразования

Теоретически DСT является однозначной операцией, так что на основании вычисленного массива изображения в частотно-пространственной области с помощью обратного DСT можно восстановить исходное изображение без каких-либо потерь.

Формулы DCT матрицы 8х8 имеют вид:

Обратное DСT производится в декодере, и из имеющихся трансформант снова вычисляется оригинал блока в соответствии с формулой

В связи с ограниченной разрядной сеткой таблиц косинусов и перемножителей (особенно, если ониразличны в кодере и декодере) при JPEG могут возникнуть потери. Для блока 8х8 неокругленные выходные данные DСT приблизительно на 4 бита длиннее входных. Поэтому для входных 8-битных данных для восстановления без потерь нужно не менее 12 бит (для передачи дробных значений). Постоянная составляющая требует 11 бит, так как не имеет знака. В преобразованном блоке коэффициент ДКП(0,0) представляет собой постоянную составляющую. Коэффициенты располагаются таким образом, что в левом верхнем углу находится постоянная составляющая, вправо идет возрастание горизонтальных частот, вниз — вертикальных.

Квантование результатов DСT.

Полученная новая форма записи информации об изображении позволяет в дальнейшем существенно сократить итоговый объем данных. Одной из предпосылок для этого является то, что для правильного восприятия большинства реальных фотографических и телевизионных изображений, характеризующихся мягкими переходами яркости и смены оттенков, глазу оказываются значительно важнее низкочастотные компоненты DCT, нежели высокочастотные. Это свойство глаза используется на следующем этапе обработки, где применяется неравномерное квантование частотных коэффициентов. При этом низкочастотные компоненты квантуются с большей детальностью, а высокочастотные - с меньшей. Применение более грубого квантования высокочастотных компонент DCT матрицы позволяет описать изображение меньшим общим количеством бит. Кроме этого, частотные коэффициенты, значения которых не превышают некоторую заданную пороговую величину, вообще принимаются равными нулю. Подобная потеря высокочастотных компонент матрицы DCT (при задании очень большой величины порога) может приводить к появлению искажений в восстановленном изображении, наиболее сильно проявляющихся в так называемом "дрожании" линий на границах резких переходов яркости и цвета.

    Другой вид искажений, связанный с процессом квантования, обусловлен тем, что округление частотных коэффициентов в разных матрицах производятся независимо, поэтому в восстановленном изображении значения яркости и цветового тона на границах таких "квадратиков" могут немного не совпадать и проявляться в мозаичности получаемого изображения.

Итак, квантование является тем звеном обработки сигнала, на котором вносятся потери. Оно определяет точность хранения результатов DСT и коэффициент сжатия. JPEG использует простое линейное квантование. При этом каждое из значений DСT делится на коэффициент квантования, индивидуальный для каждой пространственной частоты, который берется из заранее определенной таблицы коэффициентов квантования размером 8х8 (она должна быть одинаковой для кодера и декодера). Эта таблица может быть взята по умолчанию или формируется кодером для конкретной статистики изображения и передается декодеру вместе со сжатыми данными. В случае многокомпонентного сигнала таблицы могут различаться для разных компонент, например, для яркости и цветоразностной компоненты. В стандарте JPEG приведены таблицы квантования сигнала яркости и цветности, которые рекомендуются к использованию по умолчанию, но использование которых не является строго предписанным. Они были получены опытным путем на основе психофизиологических тестов.

В таблице приведен пример квантования для яркости (слева) и цветности (справа). Из таблиц следует, что с ростом пространственной частоты (и

горизонтальной, и вертикальной) коэффициенты косинусного преобразования квантуются все более грубо. Такое квантование отражает то важнейшее свойство зрительной системы, что с ростом пространственной частоты падает ее контрастная характеристика чувствительности, и, следовательно, отсутствует необходимость передавать составляющие этих частот с большой точностью. Таблица учитывает также анизотропию (разнонаправленность) этой характеристики — в диагональном направлении значения факторов квантования еще более весомы.

16	11	10	16	24	40	51	61		17	18	24	47	99	99	99	99
12	12	14	19	26	58	60	55		18	21	26	66	99	99	99

В общем случае блоки по активности можно подразделить на несколько классов. Такое разбиение может учитывать также и модель фрагмента изображения, например, “горизонтальный перепад”, “неструктурированный объект”, “равномерное поле” и т. д. Для каждого из классов определяется своя оптимальная таблица квантования. Но все это требует дополнительных вычислительных затрат.

Учет активности блока может быть произведен и более простыми способами. В частности, можно ввести дополнительный фактор квантования, зависящий от активности и перемножаемый с коэффициентами матрицы квантования. Оценка активности блока, к примеру, может быть произведена путем оценки максимальной амплитуды переменой составляющей блока. При декодировании исходные величины приближенно восстанавливаются путем умножения на фактор квантования. Для наглядного представления преобразований, происходящих в процессе кодирования/декодирования JPEG, в таблице представлены различные фазы преобразования блока изображения вплоть до его восстановления.

139	144	149	153	155	155	155	155		1260	-1	-12	-6	2	-2	-2	-2
144	151	153	156	159	156	156	156		-22	-17	-6	-3	-3	0	1	-1
150	155	160	163	156	156	156	156		-11	-10	-1	2	1	-1	-1	-1
159	161	165	160	160	159	159	159		-7	-2	0	2	1	0	0	0
159	160	161	162	162	155	155	155		0	-1	1	1	-1	-1	1	2
161	161	161	160	157	157	157	157		2	0	1	-1	-1	2	2	0
162	162	161	163	162	157	157	157		-1	-1	0	-1	0	2	1	-1
162	162	161	161	163	158	158	158		-3	1	-3	-1	2	1	-1	-1

Выборки оригинала Коэффициенты DСT (округлены )

1264	0	-10		0	0	0	0		142	144	147	150	152	153	154	154
-14	-12	0	0	0	0	0	0		149	150	153	155	156	157	156	156
-14	0	0	0	0	0	0	0		157	158	159	164	161	160	159	158
0	0	0	0	0	0	0	0		162	162	163	163	162	160	158	157
0	0	0	0		0	0	0		162	162	162	162	161	158	156	155
0	0	0	0	0	0	0	0		160	161	161	161	160	158	156	154
0	0	0	0	0	0	0	0		160	160	161	162	161	160	158	157
0	0	0	0	0	0	0	0		160	161	163	164	164	163	161	160

Таблица квантования Коэффициенты после квантования

Коэффициенты после обратного Восстановленные величины отсчетов

квантования

Приведенные данные показывают, что восстановленное изображение отличается от оригинала. Степень отличия и выводы, которые следуют из этого отличия, слушателям предлагается сделать самостоятельно.

Сокращение избыточности.

Дальнейшие операции алгоритма JPEG не связаны с потерями информации и включают: последовательное считывание в зигзагообразном порядке квантованных значений матрицы DCT, а также два этапа энтропийного сжатия, использующих метод кодирования длин серий и код Хаффмена. Необходимо отметить, что именно на этом этапе и обеспечивается основное сжатие информации, но оно оказывается возможным только благодаря достигнутой на предыдущих этапах "сортировке" исходных данных

После квантования коэффициентов DСT производится сокращение избыточности их последовательности с помощью модифицированного кода Хаффмана, дающего возможность кодирования со средней длиной кодового слова, меньшей одного бита на каждый коэффициент и называемого также кодом переменной длины (VLC) или арифметического кодирования. Для этого формируется линейная последовательность квантованных коэффициентов DСT блока путем их считывания в зигзагообразном порядке.

  Суть зигзагообразного считывания заключается в том, что матрица частотных коэффициентов преобразуется в последовательный код. При этом считывание членов матрицы начинается с левого верхнего угла и далее последовательно идет по диагоналям до правого нижнего угла. В результате этого все значащие члены матрицы группируются в начале полученной кодовой группы, а в ее конце, как правило, образуется непрерывная последовательность нулей. Здесь возникает первая возможность для сжатия кода: все нули в конце могут быть просто отброшены, а при декодировании - дописаны, исходя из того, что общее число членов в кодовой группе должно быть равно 64. Все другие непрерывные последовательности одинаковых величин сжимаются стандартным методом кодирования длин серий, когда сама последовательность величин заменяется всего двумя параметрами: значением величины и числом членов в последовательности. Полученная в результате зигзагообразного считывания последовательность кодируется следующим образом. Кодированию подвергаются пары чисел (RUN, LENGTH), образующиеся вследствие разбиения общего потока на участки. При этом RUN — число участков, начинающихся с нулевых квантованных значений DCT, а LENGTH — число шагов внутри участка до получения первого ненулевого значения. К этим последовательностям применяется кодовая таблица. На рисунке показана последовательность, полученная зигзагообразным считыванием таблицы “Коэффициентов после квантования” и кодирование с помощью кодовой таблицы Хаффмана.

01000 0001101 111 111 111 0111 111 10

На рисунке:

- 156 — постоянная составляющая предыдущего блока;

- код 10 — метка конца блока.

В рассмотренном примере блок будет закодирован потоком 01000 0001101 111 111 111 0111 111 10. Этот поток занимает 30 бит или 3,75 байта. Таким образом на уровне блока удалось достигнуть коэффициента сжатия около 17, поскольку исходный блок содержал 64 байта.

JPEG - 2000.

 В 1998 году из состава группы JPEG выделилась группа JBIG (Joint Bi-level Image Group), разрабатывающая стандарты представления графической информации для специфических применений. Разработанные этой группой алгоритмы G3 и G4 для факсимильной передачи псевдополутоновых и цветных изображений стали частью стандартных протоколов факсимильной связи, утвержденных ITU. А тем временем группа JPEG разработала новую версию стандарта JPEG-2000, нацеленную на решение проблем, связанных с компромиссом между коэффициентом сжатия информации и качеством изображения.

    Технология сжатия JPEG стала применяться и для передачи подвижных изображений. Так, например, формат Motion JPEG (или просто MJPEG) описывает цифровой видеосигнал, представляющий собой последовательность изображений, сжатых по стандарту JPEG. Также алгоритм сжатия JPEG нашел свое отражение и в современных стандартах видеоконференцсвязи: H.261, H.263, Н.320, Н.323, Н.324. Но главное - JPEG-сжатие является основой алгоритма для обработки сигналов изображения в стандартах MPEG.

Некоторые практические советы по использованию JPEG.

Формат JPEG имеет два существенных недостатка:

·         Многократное сохранение файла в этом формате ведет к прогрессирующему ухудшению качества изображения. По этой причине никогда не архивируйте изображения в формате JPEG, если только речь не идет о носителях информации, доступной только для чтения, вроде компакт-дисков. Кроме того, искажения будут проявляться и в случае, если фото формата JPEG будет скомбинировано с изображением другого формата, а затем записано со сжатием.

·         Изображения, сохраненные в формате JPEG, не могут иметь прозрачных областей.

Определить ситуации, в которых целесообразно пользоваться форматом JPEG, легко. Применяйте данный формат во всех случаях, когда размер изображения по каждой из координат превышает 200 пикселей, а само изображение представляет собой полноценную цветную фотографию или образец художественной графики, включающий тонкие переливы цветов, наподобие тех, какие можно создать при помощи аэрографа или инструмента Gradient (Градиент).

 Каждый из цветовых каналов R, G, B сжимается отдельно. Поэтому в формате JPEG могут храниться также полутоновые черно-белые изображения (такое изображение сжимается как один из цветовых каналов).

6.  Формат сжатия данных JPEG. Зигзагообразная и альтернативная развертка.