1. Неравенство Крафта.

Теорема. Если алфавитное кодирование с длиной кодов l₁, … , l_n дешифруемо, то выполняется неравенство:

Доказательство. Пусть А = (а₁, … , а_n) и B = (b₁, … , b_q). Каждой букве a_i алфавита A ставится в соответствие B_i= φ(a_i) – слово в алфавите B длины l_i. Положим

Пусть . Возведем Z в некоторую степень m, тогда

.

Здесь введено обозначение S(n, t) – число слов длины t и вида B_i1B_i2…B_in. Из дешифруемости следует, что все такие слова различны, но число различных слов длины t в алфавите из q букв не превосходит q^t , поэтому

S(n, t) q^t.

Тогда , где m – натуральное, а l ≥ 0, целое. Это неравенство должно выполняться для любого m, но это возможно только тогда, когда Z не превосходит единицы, т.е.

.

Утверждение доказано.

2. Префиксные коды.

Опр. Слово α является подсловом слова β, если существуют слова γ и δ (возможно пустые) такие, что β=γαδ.

В общем случае из неравенства Крафта не следует дешифруемость.

Опр. Кодирование называется префиксным, если ни одно из кодовых слов не является началом другого.

Теорема. Префиксный код дешифруем.

Доказательство: Пусть есть α и β – два слова:

Покажем, что из равенства φ(α) = φ(β) следует равенство α = β.

Пусть

Поочередно слева направо сравниваем подслова слов α и β, используя знание функции ϕ, которая определяет наше побуквенное кодирование (эта функция позволяет находить B_i= φ(a_i) среди подслов слов α и β. Сначала сравниваем и , затем переходим к и и т.д.

Если длины слов и одинаковы, то сами слова должны быть одинаковыми из того, что Если длины слов разные, то одно из двух слов: или – начало другого, что противоречит определению префиксности.

Значит, α = β.

Теорема доказана.

Из теоремы сразу следует алгоритм декодирования префиксного кода.

Алгоритм декодирования. Берем первый символ слова φ(α) и ищем однобуквенное слово среди кодовых слов. Если находим такое слово, например, B_i= φ(a_i), то декодируем слово B_i= φ(a_i) в букву a_i и продолжаем работать, начиная со следующего символа слова φ(α). Если не находим, то добавляем следующий символ и ищем среди кодовых слов уже двухбуквенное слово. И т.д.

В случае алфавитного кодирования можно ограничиться префиксными кодами, так как, в каком-то смысле, любой дешифруемый алфавитный (побуквенный) код можно «свести к префиксному». А существование префиксного кода полностью определяется неравенством Крафта.

Теорема (о существовании префиксного кода). Префиксный код с длинами кодов l₁ … l_n существует тогда и только тогда, когда выполняется неравенство Крафта

.

Доказательство. Т.к. префиксный код дешифруем, то выполняется неравенство Крафта. С другой стороны, пусть выполняется неравенство Крафта. Покажем, что в этом случае существует префиксный код. Мы просто опишем алгоритм построения такого кода, т.е. построим отображение B_i= φ(a_i).

Пусть . Пусть среди чисел l₁ … l_n имеется S₁ единиц, S₂ двоек, S₃ троек и т.д. до S_l слов длины l. При этом некоторые из S_i могут быть нулями. Упорядочим B_i= φ(a_i) по возрастанию длины.

B ₁ = |l₁| = 1

B₂ = |l₂| = 1 S₁ слов длины 1

…

B_S1= |l_S1| =1

B _S1+1 = |l _S1+1| = 2 S₂ слов длины 2

…

Т огда левую часть неравенства Крафта можно представить в виде:

S₁ S₂ S₃

Теперь пошагово строим наш префиксный код.

Первый шаг: Любые S₁ букв в B можно использовать для кодирования слов длины. Это следует из того, что при выполнении неравенства Крафта справедливо соотношение: S₁/q ≤ 1, из которого следует, что S₁ ≤ q. Таким образом мы получили первую группу однобуквенных слов.

Второй шаг: Аналогично из неравенства Крафта получаем S₁/q + S₂/q ≤ 1 . Отсюда S₁q + S₂ ≤ q² , S₂ ≤ q² – s₁q. Поэтому можно взять S₂ слов длины 2 в алфавите B так, что они не начинаются со слов первой группы. Таким образом мы получили вторую группу двухбуквенных слов.

Третий шаг: На этом шаге строим группу трехбуквенных слов так, чтобы они не начинались с ранее построенных слов. Такие трехбуквенные слова в нужном количестве существуют, так как вновь из неравенства Крафта следует, что S₁/q + S₂/q + S₃ / q ≤ 1. А это означает, что S₃ ≤ q³ – qS₂ – q²S₁.

Таким образом проходим все l шагов и в результате получаем дешифруемый префиксный код.

Теорема доказана.