1754

101

численными отрицательными степенями числа m, то точное достижение указанной нижней границы невозможно, но при кодировании достаточно длинными блоками к ней можно cколь угодно приблизиться.

Существует несколько способов, позволяющих получать коды с малой избыточностью, причем все они обладают следующими свойствами.

1)Более вероятным буквам источника соответствуют более короткие кодовые слова (принцип статистического кодирования).

2)Никакое кодовое слово не является началом другого, более длинного.

3)Все буквы алфавита, используемого для передачи по каналу, приблизительно равновероятны.

4)Символы в последовательности на выходе кодера практически независимы.

Наилучшим среди этих кодов является код, предложенный Д.А. Хафманом.

Код Хафмана. Кодирование алфавита, состоящего из s букв, по методу Хафмана осуществляется следующим образом.

1)Буквы алфавита источника располагаем в порядке убывания их вероятностей.

2)Выбираем целое число m0, такое, что

2 m0 m и (s m0 )(m 1) a ,

где а – целое положительное число.

При кодировании в двоичном канале m0 = m = 2. Производим первое сжатие алфавита, т.е. группируем вмес-

те m0 букв алфавита источника, имеющих наименьшие вероятности, и обозначаем новой буквой. Вычисляем общую вероятность такого сгруппированного подмножества букв.

3)Буквы нового алфавита, полученного в результате первого сжатия, снова располагаем в порядке убывания вероятностей.

4)Производим второе сжатие этого алфавита, т.е. снова группируем вместе m букв, имеющих наименьшие вероятности,

иобозначаем новой буквой. Вычисляем общую вероятность сгруппированного подмножества букв.

102

5)Буквы нового алфавита, полученного на 4-м шаге, располагаем в порядке убывания вероятностей.

6)Осуществляем последовательные сжатия алфавита путем повторения операций 4 и 5, пока в новом алфавите не останется единственная буква.

7)Проводим линии, которые соединяют буквы, образующие последовательные вспомогательные алфавиты. Получается дерево, в котором отдельные сообщения являются концевыми узлами. Соответствующие им кодовые слова получаем, если приписать различные буквы m-ичного алфавита ветвям, исходящим из каждого промежуточного узла.

Код Хафмана имеет среднюю длину кодового слова, не большую чем любой другой код.

Код Шеннона-Фано. Кодирование осуществляется следующим образом.

1)Буквы алфавита источника располагаем в порядке убывания вероятностей.

2)Делим алфавит источника на m групп так, чтобы общие вероятности букв в каждой из групп были примерно равны. В качестве первого символа кодового слова выбираем 0,1, ..., m-1 в зависимости от того, в которой из групп оказалась кодируемая буква.

3)Каждую из групп снова разбиваем на m примерно равновероятных подгрупп и в качестве второго символа кодового слова выбираем 0,1, …, m-1 в зависимости от того, в которой из подгрупп оказалась кодируемая буква.

4)Такое разбиение на все более мелкие группы проводится до тех пор, пока в каждой из групп не окажется по одной букве.

Блоковое кодирование. Выше были рассмотрены способы побуквенного кодирования, когда каждой букве на выходе источника приписывалось свое кодовое слово. Такой способ кодирования позволяет достигнуть минимальной средней длины ко-

дового слова, равной Н ( Х )log m , только в том случае, когда

вероятности букв являются отрицательными целочисленными степенями числа m. Если вероятности не удовлетворяют этому требованию, избыточность при побуквенном кодировании может оказаться недопустимо большой. В таком случае применяют

103

блоковое кодирование.

При кодировании блоками по k букв прежде всего строят вспомогательный алфавит, состоящий из N=sk букв, так что каждой букве этого алфавита соответствует своя комбинация (блок) из k букв алфавита источника. Вероятность буквы zij…q вспомогательного алфавита, соответствующей комбинации xixj…xq, в простейшем случае вычисляется по формуле

Далее буквы вспомогательного алфавита располагаются в порядке убывания вероятностей, и осуществляется кодирование методом Шеннона-Фэно или Хафмана.

Таким образом, кодирующее устройство при блоковом кодировании разбивает последовательность букв на выходе источника на блоки длиной в k букв каждый и генерирует последовательность кодовых слов, соответствующих каждому из блоков.

Главный недостаток обоих кодов заключаются в том, что для их применения нужно знать вероятности появления букв

(или их комбинаций при кодировании блоками).

Код Лемпела–Зива свободен от этого недостатка. Здесь кодовая таблица, изначально почти пустая, заполняется одновременно в пунктах передачи и приема в процессе кодирования (декодирования), причем в эту таблицу вносятся лишь такие все более длинные отрезки передаваемого сообщения, которые еще не встречались ранее. Каждому отрезку в таблице присваивается n-разрядный номер. При внесении очередной записи (строки) в таблицу передается блок, содержащий:

1)номер отрезка, уже имеющегося в таблице;

2)символ, следующий в передаваемом сообщении за этим отрезком.

РЕШЕНИЕ ТИПОВЫХ ПРИМЕРОВ Пример 4.2.1. Закодировать сообщения источника, при-

веденные в табл 4.2.1, двоичным кодом Хафмана. Оценить эффективность полученного кода.

104

горитмом построения кода Хафмана делаем последовательно следующие шаги:

1)располагаем сообщения источника в порядке убывания вероятностей;

2)образуем вспомогательный алфавит, объединяя наиболее

маловероятные буквы u1 и u4 (m0=2), тогда вероятность новой буквы равна p1=р(u1)+р(u4)=0,1+0,05=0,15. Оставляем эту букву на месте, так как p1=р(u6);

3)объединяем первую вспомогательную букву и букву u6, тогда вероятность второй вспомогательной буквы равна р2=р1+р(u6)=0,15+0,15=0,3; перемещаем ее вверх в соответствии

сэтой вероятностью;

4)объединение продолжаем до тех пор, пока в ансамбле не останется единственное сообщение с вероятностью единица.

Построение кода Хафмана приведено на рис. 4.3.

Сообщения источника являются теперь концевыми узлами кодового дерева. Приписав концевым узлам значения символов

105

1 и 0, записываем кодовые обозначения, пользуясь следующим правилом: чтобы получить кодовое слово, соответствующее сообщению u4, проследим переход u4 в группировку с наибольшей вероятностью, кодовые символы записываем справа налево (от младшего разряда к старшему), получим 1100.

Для сообщения u1 – 1101 и т.д. (см. рис. 4.3). Оценим эффективность полученного кода. Энтропия источника сообщений:

избыточность R=0,0109, т.е. код близок к оптимальному. Пример 4.2.2. Сообщение источника X составляется из

статистически независимых букв, извлекаемых из алфавита А, В, С с вероятностями 0,7; 0,2; 0,1. Произвести двоичное кодирование по методу Шеннона-Фано отдельных букв и двухбуквенных блоков. Сравнить коды по их эффективности.

Решение. Производим побуквенное кодирование методом Шеннона-Фано.

1)Располагаем буквы алфавита источника в порядке убывания вероятностей.

2)Делим алфавит источника на две (m=2) примерно равновероятные группы. Всем сообщениям верхней группы (буква А) приписываем в качестве первого кодового символа 1, всем сообщениям нижней группы приписываем символ 0.

3)Производим второе разбиение на две группы (буквы В и

106

С) и снова букве в верхней группе (В) приписываем символ 1, а в нижней (С) в качестве второго символа кодового слова приписываем 0. Так как в каждой группе оказалось по одной букве, кодирование заканчиваем. Результат приведен в табл. 4.2.2.

Покажем, что кодирование блоками по 2 буквы (k=2) увеличивает эффективность кода. Строим вспомогательный алфавит из N=32 блоков. Вероятности блоков находим по формуле (4.2.4), считая буквы исходного алфавита независимыми. Располагаем блоки в порядке убывания вероятностей и осуществляем кодирование методом Шеннона-Фано. Все полученные двухбуквенные блоки, вероятности их и соответствующие кодовые обозначения сведены в табл. 4.2.3.

При блоковом кодировании средняя длина кодового слова на одну букву

L2 L2 0, 5(1 0, 49 3 2 0,14 4 2 0, 07 4 0, 04

5 0,02 6 0,02 6 0,01) 1,165 бит/букву.

При этом коэффициент эффективности

2 Н ( Х ) L2 1,15681,165 0, 9955.

Избыточность при двухбуквенном кодировании R2=0,0045. Получили γ2 > γ1, R2 <<R1, что и требовалось показать.

108

―пробел‖ и его номер 000 внесены в таблицу заранее). Убедитесь, что по передаваемой последовательности в пункте приема можно в том же порядке заполнять кодовую таблицу и декодировать сигнал.

ЗАДАЧИ

4.2.1. Убедиться в том, что при кодировании двоичным кодом Шеннона-Фано сообщений источника, заданного табл. 4.2.4, может быть достигнута длина кодового слова, удовлетво-

Закодировать сообщения источника двоичным кодом так, чтобы средняя длина кодового слова была минимальна. Оценить эффективность полученного кода.

4.2.3. Ансамбль сообщений задан табл. 4.2.6.

Таблица 4.2.6

Сообщения источника статистически независимы. Передача производится по двоичному каналу. Длительности символов кодированного сигнала одинаковы η0=η1=η. Определить скорость передачи информации при использовании равномерного кода и кода Шеннона-Фано. Сравнить коды по их эффективности.

4.2.4. Закодировать статистически независимые сообщения источника (табл. 4.2.7) двоичным кодом Хафмана. Найти вероятности появления нулей и единиц в полученной последо-

109

вательности.

4.2.5.Закодировать двоичным кодом Шеннона-Фано алфавит источника, состоящий из четырех букв (А, В, С, Д) с вероятностями 0,28; 0,14; 0,48 и 0,1 соответственно. Оценить эффективность полученного кода.

4.2.6.Сколько вопросов в среднем надо задать, чтобы отгадать задуманное собеседником целое положительное число, не превосходящее 10, если спрашиваемый на все вопросы отвечает лишь «да» или «нет»?

4.2.7.Известно, что жители некоторого города А всегда говорят правду, а жители соседнего города Б всегда обманывают. Наблюдатель Н знает, что он находится в одном из этих двух городов, но не знает, в каком именно. Путем опроса встречного ему требуется определить: а) в каком городе он находится, б) в каком городе живет его собеседник (в каждом пункте можно с одинаковой вероятностью встретить жителей обоих городов), в) то и другое вместе.

Каково наименьшее число вопросов, которые должен задать Н, если на все вопросы Н встречный отвечает лишь «да» или

«нет»?

4.2.8.Сообщение на выходе источника без памяти состоит из букв, принимающих значение А и В с вероятностями 0,7 и 0,3. Произвести кодирование по методу Шеннона-Фано отдельных букв, двух- и трехбуквенных блоков. Сравнить коды по их эффективности.

4.2.9.Имеются три города (А, Б и В), причем жители А всех случаях говорят правду, жители Б – только неправду, а жители

Вчерез раз отвечают на вопросы верно и неверно. Наблюдатель Н хочет выяснить, в каком городе он находится и в каком городе живет встреченный им человек. Сколько вопросов ему потребуется задать этому встречному, если на все вопросы он отвечает лишь «да» или «нет»?

4.2.10.Некто задумал два различных целых положительных числа, не превосходящих четырех. Сколько в среднем надо за-

110

дать ему вопросов для того, чтобы определить сумму этих чисел, если на каждый вопрос спрашиваемый отвечает лишь «да» или «нет»?

4.2.11. Построить оптимальное множество кодовых слов для ансамбля X, заданного табл. 4.2.8.

Таблица 4.2.8

Показать, что если сообщения статистически независимы, то в получающейся последовательности кодовых слов символы 0 и 1 независимы и появляются с равными вероятностями.

4.2.12. Сообщения гипотетического алфавита, заданного табл. 4.2.9, для передачи по двоичному каналу преобразуются кодером в последовательности кодовых символов 0 и 1 со сред-

Является ли полученный код оптимальным в статистическом смысле?

4.2.13. Радиотехническое устройство состоит из 5 блоков (А, Б, В, Г, Д). Блок А в среднем выходит из строя 1 раз в 100 дней, блок Б – 1 раз в 25 дней, В – 1 раз в 5 дней, Г– один раз в 4 дня и блок Д – 1 раз в 2 дня. Контрольный прибор позволяет за одно измерение проверить работоспособность в целом любой комбинации блоков.