Примеры решения задач
Простейший дискретный источник (n=5) описывается схемой:
х5 |
х4 |
х2 |
х3 |
х1 |
0,341 |
0,289 |
0,187 |
0,171 |
0,012 |
Закодировать сообщения источника кодом Хаффмана. Найти среднюю и минимальную длину кодового слова.
Решение. Для этого, среди данных n сообщений выбираем два с минимальными вероятностями и объединяем их в одно с суммарной вероятностью. Далее рассматриваем n-1 сообщение. Среди них также выделяем два сообщения с наименьшей вероятностью и находим их сумму. Так продолжаем до тех пор, пока не получим вероятность равную 1 (см. рис. 93).
Рис. 93 Рис. 94
Получили кодовое дерево. В точках ветвления расставим символы 1 и 0 (рис. 94).
Читаем закодированные сообщения, начиная с 1.
0,341 |
0,289 |
0,187 |
0,171 |
0,012 |
1 |
1 |
0 |
0 |
0 |
1 |
0 |
1 |
0 |
0 |
|
|
|
1 |
0 |
7). Рассчитаем среднюю длину кодового слова по формуле
.
Вероятности сообщений |
0,341 |
0,289 |
0,187 |
0,171 |
0,012 |
Длина кодовых слов li |
2 |
2 |
2 |
3 |
3 |
P(xi)*li |
0,682 |
0,578 |
0,374 |
0,513 |
0,036 |
lср.=0,682+0,578+0,374+0,513+0,036=2,183.
8). Укрупним сообщения источника, переходя к блокам из двух сообщений. Закодируем укрупненные сообщения источника кодом Хаффмана (см. рис. 95) и рассчитаем среднюю длину кодового слова по формуле:
.
0,11628 |
0,09855 |
0,09855 |
0,08352 |
0,06377 |
0,06377 |
0,05831 |
0,05831 |
0,05404 |
0,05404 |
0,04942 |
0,04942 |
0,03497 |
0,03198 |
0,03198 |
0,02924 |
0,00409 |
0,00409 |
0,00347 |
0,00347 |
0,00224 |
0,00224 |
0,00205 |
0,00205 |
0,00014 |
1 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
1 |
1 |
1 |
0 |
0 |
0 |
0 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
1 |
1 |
1 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
1 |
0 |
1 |
1 |
1 |
1 |
0 |
0 |
1 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
|
1 |
0 |
1 |
0 |
1 |
0 |
1 |
0 |
0 |
1 |
1 |
0 |
0 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
|
|
|
|
|
|
|
|
|
|
|
1 |
0 |
1 |
0 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
1 |
1 |
1 |
0 |
0 |
0 |
0 |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
1 |
0 |
0 |
1 |
1 |
0 |
0 |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
0 |
1 |
0 |
1 |
0 |
1 |
0 |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
0 |
Рис. 95
Рi
|
0,11628 |
0,09855 |
0,09855 |
0,08352 |
0,06377 |
0,06377 |
0,05831 |
0,05831 |
0,05404 |
0,05404 |
0,04942 |
0,04942 |
0,03497 |
0,03198 |
0,03198 |
0,02924 |
0,00409 |
0,00409 |
0,00347 |
0,00347 |
0,00224 |
0,00224 |
0,00205 |
0,00205 |
0,00014 |
li |
3 |
3 |
4 |
4 |
4 |
4 |
4 |
4 |
4 |
4 |
4 |
5 |
5 |
5 |
5 |
5 |
8 |
8 |
8 |
8 |
8 |
8 |
8 |
9 |
9 |
Рi*li
|
0,348843 |
0,295647 |
0,394196 |
0,334084 |
0,255068 |
0,255068 |
0,233244 |
0,233244 |
0,216172 |
0,216172 |
0,197676 |
0,247095 |
0,174845 |
0,159885 |
0,159885 |
0,146205 |
0,032736 |
0,032736 |
0,027744 |
0,027744 |
0,017952 |
0,017952 |
0,016416 |
0,018468 |
0,001296 |
lср.=4,060373/22,030
Опять подтвердился тот факт, что при укрупнении источника средняя длина ближе к минимальной.
Кроме того, можно сделать вывод, что коды Шеннона-Фано по оптимальности уступают кодам Хаффмана, т.к. средняя длина слова, закодированного по Хаффману несколько меньше, чем по Шеннону-Фано: 2,030 и 2,046 соответственно для укрупненных источников. Для не укрупненных источников эти значения получились одинаковы -2,183.