19(36). Оптимальное кодирование Хаффмана. Решение задачи о построении кодов с минимальной избыточностью для двоичного кодирования.

Def: коды, определяемые схемой , наз кодами с минимальной избыточностью или оптимальными кодами Хаффмана.

Очевидно, что коды с минимальной избыточностью дают в среднем минимальное увеличение длины слов при соответственном кодировании. Поэтому интересна задача о построении кодов с минимальной избыточностью Решим эту задачу для двоичного кодирования, когда алфавит В содержит 2 символа. В силу следствия из теоремы Макмиллана существует алфавитное кодирование со свойством префикса, дающее коды с минимальной избыточностью. При построении кодов с минимальной избыточностью можно ограничиться рассмотрением префиксных кодов. Префиксный код удобно задавать с помощью занумерованного ориентированного дерева с корнем. В котором из каждой вершины выходит не более, чем 2 дуги. В каждую вершину, кроме корня, входит по 1 дуге. Каждой дуге дерева приписывается 0 или 1. Дугам, выходящим из одной вершины, приписываются разные символы (0, 1). Такие деревья будем называть кодовыми. Каждой вершине V сопоставляют слово из символов, приписан дугам, составляющим путь Р(V). Если вершинам V₁ и V₂ приписаны двоичные слова и и является префиксом слова , то путь из корня дерева в V₂ проходит через вершину V₁. Значит слова приписан концевыми вершинам кодового дерева образуют префиксный код. И наоборот, всякому префиксному коду соответствует множество концевых вершин некоторого кодового дерева.

Свойства оптимальных префиксных кодов.

Будем считать, что символы a₁,a₂,…,a_r алфавита сообщений А занумерованы в порядке убывания вероятности их появления. Таким образом

1. В оптимальном коде длины l_i элементарных кодов не убывают.

2. Существует оптимальный код, в котором двум наименее вероятн символам a_r-1 и a_r соответствуют элементарные коды одинаковой длины, различающихся лишь в последнем разряде.

Предположим, что источник сообщений S выдает сообщения в алфавите А = {a₁,a₂,…,a_r} и для вероятностей р₁,р₂,…,р_r появление символов a₁,a₂,…,a_r в сообщениях справедливо соотношение .

Рассмотрим источник S¹, полученный из S отождествлением символов a_r-1 и a_r . Он выдает символы a₁,a₂,…,a_r-2 с прежними вероятностями р₁,р₂,…,р_r-2 , а новый символ а’ (склеенный) с вероятностью р’= р_r-1 + р_r , такой источник будем называть редуцированным. Предположим, что для редуцированного источника имеется некоторый код { ,…, , } по нему построим код для источника S следующим образом: для символов a₁,a₂,…,a_r-2 сохраним прежние коды ,…, . А в качестве и возьмем соответственно слова 0 и 1. Очевидно, что если код для редуцированного источника S¹ – префиксный, то построен код и для исходного источника, тоже префиксный.

(36)Теорема о редукции.

Если префиксный код { ,…, , } для редуцированного источника S¹ является оптимальным, то и префиксный код { ,…, , 0, 1} для исходного источника S, построенный указанным способом, также является оптимальным.

Алгоритм построения оптимальных кодов.

Сначала производится свертывание искомого кода в соответствии с правилами перехода от источника S к редуцированному источнику S¹. В процессе свертывания один за другим, получаются все более простые (короткие) коды. И в конце концов код из однобуквенных элементарных кодов. Это означает преобразование набора вероятностей до тех пор, пока не получится набор вероятностей (из 2 чисел), для которого оптимальный код находится тривиально. Затем найденный код развертывается в соответствии с теоремой о редукции. В последовательность оптимальных кодов, которой заканчивается искомый код. Этот алгоритм реализуется с помощью процедуры Хаффмана.

Пусть вероятности в распределении р= р₁,р₂,…,р_r расположены в порядке убывания, т.е . Исключим из р вероятности р_r-1 и р_r , а их сумму р= р_r-1 + р_r вставим в оставшийся набор так, чтобы в получившемся новом наборе вероятности не возрастали. Повторяем эту процедуру пока не получим набор из 2 вероятностей. Для этого набора оптимальным является код, в котором букве алфавита А ставится в соответствие 0 или 1. Из полученного на некотором шаге оптимального кода S¹ , в соответствии с теоремой о редукции, можно перейти к расширенному оптимальному коду S с мощностью на единицу больше мощности кода S¹ и т.д. Получим искомый оптимальный код.