Энтропийное кодирование сообщений

ФЕДЕРАЛЬНОЕ АГЕНСТВО СВЯЗИ

Московский технический университет связи и информатики

_____________________________________________________

В.Н. Безруков

Энтропийное кодирование сообщений

Учебное пособие

Москва 2009 г.

УДК 621.37/.39 Безруков В.Н. «Энтропийное кодирование сообщений»

Учебное пособие/МТУСИ.-М., 2009-с.

В учебном пособии определены основные понятия и соотношения статистического (энтропийного) кодирования сообщений, показаны особенности оценки эффективности кодирования, рассмотрены основные из методов, используемых в современных системах передачи информационных сообщений, предназначено для студентов-магистров специальности 210400.

Издание утверждено методическим советом университета в качестве учебного пособия.

Протокол № от . .2009 г.

© Московский технический университет связи и

информатики, 2009

Рецензенты:

д.т.н., профессор, заведующий кафедрой «Телекоммуникационные системы» МИЭТ Баринов В.В.,

к.т.н., заместитель директора филиала «РТРС» «МРЦ» по телевизионному и радиовещанию Комаров П.Ю.

2

1. Информация и энтропия

1.1.Общие сведения

Символы сообщений в цифровой системе связи – группы бит (двоичных цифр), кодирующие каждое из числа возможных сообщений, например, последовательностями восьмиричных (трѐхразрядных) цифр.

Цифровая система связи, использующая набор символов размера М называется М-арной. Алфавит-совокупность возможных символов сообщений ( в двоичном представлении ). Поток символов (bit - stream)-поток групп двоичных символовнизкочастотный сигнал, так как его спектр распределѐн в области относительно низких частот.

Коэффициент сжатия (K), реализованный при кодировании, определяется отношением:

Наиболее простым из известных вариантов, реализующих увеличение эффективности одномерного кодирования последовательностей исходных сообщений со сжатием числа бит, передаваемых ( в среднем ) на одно сообщение, является, так называемое, кодирование по длинам серий. Корректное применение данного метода, например, возможно в случаях наличия в источнике чередующихся серий одного и того же и сообщения, которые могут прерываться другими сообщениями определѐнного и конечного, по числу элементов, алфавита. В таком случае передают последовательности пар “серия ” - “сообщение,” в которых серия отражает протяжѐнность одного и того же, часто повторяющего сообщения, а новое сообщение определяется своим индивидуальным символом. Полученные пары подвергают последующему кодированию с учѐтом вероятности их появления.

1.2. Информация и совместная информация сообщений

Информация в символе сообщения о каком-то событии, которое осуществляется в текущем времени с вероятностью p, определяется как

Аксиомы.

1.Информация, содержащаяся в одиночном событии, происходящем с

вероятностью pi из числа событий определѐнного алфавита событий

2.Совместная информация, например, двух независимых событий ( xi , x j

с вероятностями pi , pj и с совместной вероятностью pij ( pi , pj ) pi pj ) определяется суммой информаций

3

I ( pi, j ) I ( pi ) I ( p j ) .

3.Информация является непрерывной функцией от вероятности события.

Из соотношения и аксиом следует, что несущественные изменения вероятности события приводят к несущественным изменениям еѐ информации.

В случаях, когда последовательно передаются символы алфавита, использование архивирования символов на приѐмной стороне позволяет оценивать и уточнять вероятность их последующего поступления. Текущее увеличение протяжѐнности архивированной информации позволяет выявлять специфику изменения вероятностного распределение отдельных сообщений в зависимости от протяжѐнности процесса передачи.

С другой стороны известное вероятностное распределение отдельных сообщений позволяет сразу же вычислять средний объѐм информации на сообщение для данного их алфавита. Предположим, что существует идеализированный алфавит сообщений s,d,f,g,h,j.k,l с соответствующими вероятностями появления указанных сообщений pi (0,5 ; 0,125; 0,125; 0,0625;

0.0625; 0.0625; 0.03125; 0.03125 ), которые отражаются числами p0 (0,5) , где

1 и является целым числом. Реализация архивированного набора сообщений в таком случае может, к примеру, иметь вид : g, d, s, f , s, s ,s, d, s, f , h, s, j s, s, k, s, g, d, f , s, s, j, s, l, d, s, s, s, f, h, s . С приходом каждого следующего сообщения объѐм принятой (архивированной) информации возрастает в зависимости от соответствующей вероятности. При этом усреднѐнный объем полученной информации на одно сообщение может быть определѐн как частное от деления общего объѐма на число полученных в данный момент сообщений. Весовой вклад в общий объѐм информации отдельных из независимых сообщений алфавита определяется произведением числа поступивших сообщений такого

представленной выше реализации, которая состоит из общего числа событий

При возрастании протяженности рассмотренной реализации всѐ в большей степени может уточняться, в последнем из соотношений, относительная частота

определяют “вес” каждой их составляющих в соотношении для среднего объѐма

4

информации. В случаях, когда протяжѐнность реализации значительно (многократно) превышает число возможных сообщений алфавита и содержит не менее, например, шестнадцати повторений каждого из отдельных сообщений,

1.3.Энтропия сообщений

Таким образом, энтропия (Shannon S.E. Mathematical Theory of Communication. BSTJ, vol. 27, 1948, pp.379-423, 623-657.) определяется как средний объѐм информации на одно сообщение. Чем больше неопределѐнности в сообщении, тем больше оно содержит информации. При числе возможных сообщений n энтропия выражается следующим образом:

Вобщем случае наличия равновероятных сообщений энтропия максимальна

иопределяется логарифмом числа событий. Если, например, число

5

Следовательно, среднее число бит на сообщение для данного примера составляет величину, приблизительно, 1,5 бита. Присвоим сообщению s1 кодовое слово 1; сообщению s2 -01; сообщению s3 -001; сообщению s4 -0001; сообщению s5 - 00001; сообщению s6 -000001; сообщению s6 -0000001; сообщению s7 -0000000.

Перечисленные слова составляют префиксный код. Соответственно последовательность событий может быть передана без специального разделения кодовых слов.

Рассмотрим сообщение в виде последовательности тридцати кодовых слов:

s2s1s1s1s1s3s1s7s1s1s4s1s1s1s5s1s1s3s1s1s1s1s1s2s6s1s1s2s1s1 .

Этому сообщению соответствует сигнал цифровой последовательности:

01111100110000000110001111000011100111111010000001110111, которая состоит из пятидесяти шести бит. Следовательно, при кодировании данного сообщения используется, в среднем, 1.8 бит на один элемент. Это не слишком существенно отличается от вычисленной ранее величины H 1, 4363 . С

6

увеличением протяжѐнности сообщений полученный средний результат может и понижаться.

В идеале на сообщение s1 следует выделить кодовое слово протяжѐнностью

Для рассмотренного примера из семи сообщений величина относительной избыточности сравнительно велика.

Достаточно высокую степень приближения к энтропии обеспечивает кодирование алфавита сообщений с использованием кодовых слов, изменение числа бит в которых согласовано с вероятностью появления в источнике соответствующего сообщения. Чем большая вероятность появления данного сообщения, тем более коротким должно быть кодовое слово, отражающее его появление в данной реализации. Методы реализации такого кодирования широко представлены в технической литературе . Самым известным примером

кодирования с кодовыми словами переменной длины является азбука Морзе. Здесь буква «E» имеет наибольшую вероятность в английских текстах (0,1669) и кодируется элементом минимальной протяжѐнности « · », буква «I» имеет значение вероятности 0,0782 и кодируется « ·· », буква «T» имеет значение вероятности 0,0678 и кодируется одним «­», а буква «X», например, имеет значение вероятности лишь 0,0002 и кодируется уже четырьмя элементами

«­··­ ».

2.Кодирование Хаффмана

2.1.Правила кодирования

Д. Хаффман предложил в 1952 г. эффективную процедуру кодирования с использованием символов с переменным числом бит. Процедура включает следующие операции:

1. Распределения (упорядочивания) сообщений в порядке убывания их вероятностей,

7

2.Определенная последовательность этапов объединения сообщений с минимальными для каждого этапа значениями вероятностей ( с получением соответствующих узлов на дереве кодирования) до полного еѐ завершения ( с получением последнего узла).

3.Кодирование, которое реализуют с узла последнего этапа, завершающего объединение.

При этом верхней (по величине вероятности ) упорядоченной компоненте последнего этапа объединения может быть присвоена двоичная цифра «1» , а нижней «0». Аналогичным образом присвоения могут осуществляться в узлах, полученных на предшествующих этапах. С учетом префиксного ( имеется возможность разделения комбинаций по первым двоичным цифрам ) типа кода соответственно процесс кодирования сообщений реализуют в обратном (по отношению к этапам создания узлов объединений) порядке.

Вслучаях, когда возникает вариант с более, чем двумя узлами, имеющими одинаковую вероятность, целесообразно объединять ветви тех из них, которые до этого имели меньшее число объединений. При этом выравниваются длины используемых кодовых слов.

Вслучаях же, когда при объединениях возникает вариант с более, чем двумя узлами, имеющими наименьшую вероятность, целесообразно иногда также осуществлять объединение ветви дерева кодирования, имеющей наименьшую вероятность, с ветвью, имеющую наибольшую вероятность.

Для использованного ранее распределения вероятностей pi (0,5; 0,125; 0,125;

Для варианта равновероятных восьми сообщений H0 log2 8 3 . При этом величина относительная избыточность имеет величину:

2.2. Относительная оценка вариантов кодирования и построение дерева по Хаффману

На рис.2 графически представлен вариант кодирования, где операция поэтапного объединение выполнено с нарушением требования последовательного получения узлов за счѐт объединения ветвей дерева кодирования с наименьшими значениями вероятности сообщений.

8

Рис.2. Первый вариант кодирования

В таблице 1 приведены полученные после построения соответствующего дерева кодирования результаты. Оценим , с использованием результатов, представленных в таблице 1, среднее число бит на один символ-

Кодирование, как можно видеть, избыточность в данном случае уменьшает. Может быть построено несколько вариантов кодирования для данного алфавита. Однако наиболее лучшим вариантом будет код с наименьшей дисперсией. Дисперсию кодирования d оценивают по отношению к ns .

9

где ni - число бит на конкретный символ алфавита.

Можно заметить, что данный вариант кодирования имеет высокую дисперсию. На рис.3 графически представлен второй вариант кодирования по Хаффману, где распределение вероятностей сообщений при формировании узлов выполнено (снизу вверх и слева направо) в соответствии с правилами, т.е. с соединением ветвей с наименьшими вероятностями.

В таблице 2 представлены полученные после построения соответствующего дерева кодирования результаты. Оценим , с использованием результатов, представленных в таблице, среднее число бит на одно сообщение для второго варианта кодирования-

10