Неравенство крафта

Теорема 1. Если целые числа l₁, _... , l_i , _..., l_N удовлетворяют неравенству ,(7)

то существует код, обладающий свойством префикса с алфа­витом объема ту, длины кодовых слов в котором равны этим числам. Обратно, длины кодовых слов любого кода, обладаю­щего свойством префикса, удовлетворяют указанному неравенству .

Теорема не утверждает, что любой код с длинами кодо­вых слов, удовлетворяющими (7), является префиксным. Так, например, множество двоичных кодовых слов 0,00,11 удов­летворяет (7), но не обладает свойством префикса. Теорема утверждает только существование префиксного кода, но не указывает его конкретный вид. Кодовые слова 0,10,11 удов­летворяют неравенству (7) и обладают свойством префикса.

Доказательство. Пусть числа l₁, _... , l_i , _..., l_N удовлет­воряют неравенству (7).

Покажем, как можно построить префиксный код с этими длинами кодовых слов, и тем самым докажем существование префиксного кода. Не нарушая общности доказательства, все числа можно перенумеровать в порядке возрастания их зна­чений. Тогда будем иметь . Построение будем вести на полном дереве порядка .

Построение сводится к последовательному выбору узлов порядков l₁, l₂ , ..., l_N, но так, чтобы очередной выбираемый узел не был порожден каким-либо ранее выбранным узлом. Первый узел (кодовое слово) выбирается произвольно из

числа узлов порядка l₁. Этот узел порождает -ю часть

узлов более высокого порядка, которые уже не могут быть использованы. После выбора следующего узла порядка l₂

уже часть узлов не может быть использована и т.д. После выбора (N -1)-го узла может быть использована часть узлов порядка l_N.

Поскольку для чисел l₁ , ..., l_N справедливо неравенство Крафта, которое можно записать в виде ,то величина строго меньше единицы. Следовательно, существует часть узлов порядка l_N , из которых можно вы­брать последний N-é узел.

Отметим еще одно свойство кодовых слов. Если код однозначно декодируется, то его кодовые слова удовлетво­ряют неравенству Крафта. Доказательство можно найти, например, в работе [4].

Таким образом, префиксные коды составляют часть одно­значно декодируемых кодов, а последние составляют часть кодов, удовлетворяющих неравенству Крафта.

Предельные возможности оптимального кодирования

Определим границы для l_i и l, пользуясь эвристическими соображениями, основанными на количестве информации. Очевидно, код будет самым экономным, если каждый символ кодового слова будет переносить максимально возможное ко­личество информации.

Поскольку собственное количество информации, содержа­щееся в сообщении , равно -logp_i, информационной емкости соответствующего кодового слова будет достаточно, чтобы перенести указанное количество информации, только в том случае, если его минимальная длина l_i будет нахо­диться в пределах ,

где log m_y— максимальное количество информации, которое может перенести отдельный символ кодового слова.

Усредняя неравенство по всему множеству Х сообщений, получим неравенство, определяющее границы для минималь­ной средней длины кодового слова :

.

В данном случае довольно большой интервал изменения возможных значений . Однако при кодировании блоков (слов из п букв x_i ) средняя длина приближается к значению

при неограниченном увеличении длины блока n, что следует из неравенства

,

где — среднее количество символов кодового слова, при­ходящееся на один блок, а — на одну букву в блоке.

Полученные неравенства справедливы для всех однознач­но декодируемых кодов.