Березкин Основы теории информации и кодирования 2010

из данного множества. Каждое сообщение содержит в среднем n символов, а каждый символ не может нести более чем log2 D ин-

формации. Тогда энтропию множества сообщений U можно оценить следующим образом:

M

H (U ) p(uk ) log2 p(uk ) n log2 D .

k 1

Следовательно, n H (U ) , т.е. среднее число символов на со- log2 D

общение не может быть меньше энтропии множества сообщений, деленной на пропускную способность алфавита, используемого для кодирования.

7.1. МЕТОД КОДИРОВАНИЯ ШЕННОНА–ФАНО

Данный метод кодирования кодовых слов со средней длиной,

достаточно близкой к нижней границе H (U ) , базируется на выlog2 D

полнении двух требований:

1.В каждой позиции кодового слова символы алфавита должны использоваться с равными вероятностями, что дает возможность максимизировать среднее количество информации на символ.

2.Вероятности появления символов в каждой позиции не должны зависеть от расположения всех предыдущих символов.

Если удастся построить код в точном соответствии с этими требованиями, то средняя длина кодовых слов будет в точности равна нижней границе.

Для реализации кодов с вышеописанными свойствами необходимо иметь соответствующие процедуры построения кодов. Рассмотрим ряд примеров. Имеется множество равновероятных сооб-

щений U {uk }, k 1,8 и алфавит D 2 . Предлагается следующая процедура кодирования:

–первоначальное множество сообщений разбивается на две равновероятные группы;

–первым символом кодовых слов для сообщений первой группы выбираем "0", а первым символом кодов для сообщений второй группы выбираем "1";

162

– далее процесс половинного деления с соответствующей кодировкой продолжается до логического конца, т.е. до тех пор, пока это возможно.

В результате получается двоичный код для всех сообщений. В табл. 7.1 показан описанный процесс.

Для построенного кода среднее число символов алфавита в коде

алфавита равна log2 2 1 бит. В результате применения этой про-

цедуры кодирования удалось достичь нижней границы

n H (U ) 3. log2 D

В дальнейшем под эффективностью кодирования будем по-

нимать отношение нижней границы к средней длине кодового слова

163

Совершенно очевидно, что эффективность кодирования лежит в

фективность Эк 1.

Рассмотрим случай, когда сообщения неравновероятны, но вероятности их появления пропорциональны отрицательным степеням двойки. При применении процедуры Шеннона–Фано целесообразно первоначальное множество расположить в порядке убывания вероятностей и именно в такой последовательности пытаться проводить разбиения на две примерно равновероятные группы. Как показывает практика построения кодов, это обеспечивает наибольшую эффективность кодирования, так как в каждой группе будут фигурировать сообщения с равновеликими вероятностями. Методика кодирования аналогична предыдущему примеру. Процесс кодирования сведен в табл. 7.2.

Из таблицы видно, что число символов в каждом слове кода равно собственной информации сообщения. Средняя длина кодо-

Для построенного кода среднее число двоичных символов равно энтропии ансамбля сообщений, т.е. код также оптимален в смысле

минимума средней длины ( Эк 1).

Метод кодирования Шеннона–Фано легко обобщить на случай произвольного алфавита из D символов путем последовательного и равновероятного разбиения множества сообщений на D групп, подгрупп и т.д. Ясно также, что метод будет успешно работать,

если p(uk ) D ( – целое число), т.е. вероятности являются

отрицательными степенями числа символов алфавита, что обеспечивает равновероятность появления символов.

Если p(uk ) D , то группы не будут точно равновероятны. В

этом случае метод Шеннона–Фано не обязательно привет к коду с наименьшей возможной средней длиной. Более того, описанный метод построения кода Шеннона–Фано не всегда приводит к одно-

164

значному построению кода. Ведь при разбиении на подгруппы можно сделать большей по вероятности как верхнюю, так и нижнюю подгруппу.

Наглядное представление множества кодовых слов можно получить с использованием кодового дерева, метод образования которого для ранее приведенного примера ясен из рис. 7.2.

При построении кодового дерева устанавливается соответствие между сообщениями и концевыми узлами (вершинами). Требование, чтобы только концевые узлы дерева соответствовали сообщениям, эквивалентно выполнению свойства префикса.

Для того чтобы определить свойство префикса, допустим, что

Любая последовательность, составленная из начальной части ak , т.е. ak1 ,...,aki для некоторого i nk , называется i -м префиксом

ak .

ОПРЕДЕЛЕНИЕ 7.1. Код, обладающий свойством префикса,

определяется как код, в котором никакое кодовое слово не является i -м префиксом никакого другого кодового слова.

165

M

ДОСТАТОЧНОСТЬ. Дано, что D nk 1. Необходимо пока-

k 1

зать, что можно построить кодовое дерево с заданными концевыми узлами, т.е. множество кодовых слов с заданными длинами

n1 , n2 ,..., nM . Пусть числа расположены в порядке возрастания, так что для любого k : nk nk 1 . Предположим, что нам удалось построить часть кодового дерева, содержащего все заданные концевые узлы порядков n1 , n2 ,..., n j , меньших m , и что дерево должно

Умножаем последнее выражение на Dm и получаем неравенство

включены в дерево. Поскольку в доказательстве m выбрано произвольно, дерево с требуемыми концевыми узлами всегда может быть построено.

ТЕОРЕМА 7.2. Пусть D – число символов в кодовом алфавите, а {nk }, k 1, M – заданное множество целых положительных чисел.

M

Равенство D nk 1 является необходимым и достаточным ус-

k 1

ловием того, чтобы заданное множество концевым узлов дерева было полным.

ДОКАЗАТЕЛЬСТВО

НЕОБХОДИМОСТЬ. Построено кодовое дерево с узлами порядка n1 , n2 ,..., nM . Если множество концевых узлов полно, то они долж-

168

k 1

M

узлов, удовлетворяющее условию D nk 1, удовлетворяет и

k 1

M

неравенству D nk 1, т.е. существует, по крайней мере, одно

k 1

дерево с заданными концевыми узлами порядков n1 , n2 ,..., nM .

Предположим, что это дерево имеет, кроме заданных, еще узлы. Если бы это было так, то мы могли бы, не нарушая неравенства

этим узлам. Очевидно, что это невозможно, так как дерево, удов-

M

летворяющее условию D nk 1, не может иметь дополнительных

k 1

узлов.

ТЕОРЕМА 7.3 (основная теорема кодирования). При заданном множестве сообщений {uk }, k 1, M с энтропией H(U) и алфави-

том, состоящим из D символов, существует такой способ кодирования сообщений множества посредством последовательностей символов, принадлежащих заданному алфавиту, что среднее число

щений источника, а n1 ,..., nM – длины кодовых слов. Представим

169

Последнее неравенство следует из неравенства Крафта, что и дока-

полученным условием оптимального кодирования по Шеннону– Фано.

Докажем неравенство n H (U ) 1. Если бы длины кодовых log2 D

слов не обязательно были целыми числами, то можно было бы просто подобрать nk* , чтобы удовлетворить условию

p(uk ) D nk* , k 1, M . Однако удовлетворить это условие можно только приближенно, выбирая целые числа nk так, чтобы вы-

(рис. 7.4). Суммирование по k превращает левое неравенство в неравенство Крафта, и, следовательно, существует префиксный код с этими длинами. Логарифмируя правое неравенство, получаем

170