Решение.

Комбинация 00 встречается 21 раза, т.е., ее вероятность p(00) = 21/55 = 0,382. Остальные комбинации: p(01) = 12/55 = 0,218; p(10) = 14/55 = 0,255; p(11) = 8/55 = 0,145.

Энтропия кода К1:

H_сл = – (0,382 log₂ (0,382) + 0,218  log₂ (0,218) + 0,255  log₂ (0,255) + 0,145  log₂ (0,145)) =

= 1,917 дв.ед./слово, или

H = H_сл / n = 1,917 / 2 = 0,958 дв.ед./букву.

Т.к. m = 2, максимальное значение H_max = 1 дв.ед./букву, то избыточность кода К1:

R = 1 – H / H_max = 1 – 0,958 / 1 = 0,042.

Избыточность возникла из-за наличия статистической связи между символами. Для уменьшения избыточности будем кодировать не символы, а целые слова-дибиты.

Задание 6. Закодируйте сообщения кода К1 кодом К2. Для увеличения энтропии и устранения корреляционных связей кодируем не символы, а целые слова. Рассчитайте основание m, длину кодовой комбинации n, энтропию и избыточность кода К2. Укажите причины избыточности кода К2.

Решение.

Код К2:

00 – кодируем символом 0; 01 – кодируем символом 1;

10 – кодируем символом 2; 11 – кодируем символом 3.

Получим:

0 2 2 0 3 1 3 1 0 0 1 3 0 0 2 0 0 1 0 3 1 1 3 2 2 3 3 2 3 1 0 0 0 0 0 1 2 2 1 0 2 0 0 1 1 0 2 2 0 2 1 2 2 0 0.

Основание кода К2 равно m = 4, длина комбинации n = 1.

Так как p(0) = p(00); p(1) = p(01); p(2) = p(10); p(3) = p(11); то энтропия кода К2 на символ равна:

H_сл = – (0,382 log₂ (0,382) + 0,218  log₂ (0,218) + 0,255  log₂ (0,255) + 0,145  log₂ (0,145)) =

= 1,917 дв.ед./символ

Т.к. m = 4, то избыточность кода К2:

R = 1 – H / log₂(m) = 1 – 1,917 / 2 = 0,042.

Причины избыточности кода К2 – неравновероятность символов 0, 1, 2, 3.

Задание 7. Для уменьшения неравновероятности символов кода К2 закодируйте символы кода К2 двоичным кодом К3 с префиксными свойствами и определите основание, энтропию, избыточность и среднюю длину комбинации кода К3.

Решение.

Построим код с префиксными свойствами по алгоритму Хаффмена:

1. Располагаем сообщения в порядке убывания вероятностей.

2. Объединяем два наименее вероятных сообщения в одно, складываем вероятности появления объединяемых сообщений.

3. Повторяем пп. 1 – 2, пока не получим суммарную вероятность, равную 1.

Кодовое дерево показано на рис. 3

Рис. 3. Кодовое дерево алгоритма Хаффмена.

Алгоритм кодирования слов двоичным кодом следующий:

Идем от вершины кодового слова к сообщению.

Если в узле мы идем вверх, то в кодовую комбинацию записывается единица, если вниз – ноль. В результате получим:

0 – кодируем комбинацией 0; 2 – кодируем комбинацией 10;

1 – кодируем комбинацией 111; 3 – кодируем комбинацией 110.

В результате кодирования получен неравномерный код. Наиболее вероятный символ 0 кодируется кодом минимальной длины, а наименее вероятные 1 и 3 – имеют коды максимальной длины. Поэтому средняя длина комбинации кода Хаффмена равна

n_ср = 0,382  1 + 0,255  2 + 0,218  3 + 0,145  3 = 1,982 бит/сообщение.

После кодирования передаваемое сообщение принимает вид:

0 10 10 0 110 111 110 111 0 0 111 110 0 0 10 0 0 111 0 110 111 111 110 10 10 110 110 10 110 111 0 0 0 0 0 111 10 10 111 0 10 0 0 111 111 0 10 10 0 10 111 10 10 0 0.

Оно содержит всего N_Х = 109 дв. символа, меньше, чем исходное сообщение (110 символов).

Рассчитаем вероятность появления единиц и нулей в коде Хаффмена.

Количество единиц равно:

N(1) = 1n(«10») + 3n(«111») + 2n(«110») = 114 + 312 + 28 = 66,

Количество нулей равно:

N(0) = 1n(«10») + 1n(«0») + 1n(«110») = 114 + 121 + 18 = 43.

Вероятности появления единиц и нулей:

p(1) = N(1) / N_Х = 66 / 109 = 0,606,

p(0) = N(0) / N_Х = 43 / 109 = 0,394.

Энтропия кода К3:

H = – (0,606log₂ (0,606) + 0,394log₂ (0,394)) = 0,968 дв.ед./символ.

Избыточность кода К3:

R = 1 – H = 1 – 0,968 = 0,032.

Задание 8. Для дальнейшего увеличения энтропии закодируйте дибиты кода К3 кодом К4 с основанием m = 4. Укажите для кода К4 основание, энтропию, избыточность и длину комбинации.