Дискретная_математика_1 семестр_1 курс / Дискретка_лекции / lections_theme_05

Рассмотрим еще один вид кодов – префиксные коды.

Определение 5.5. Префиксом будем называть всякое начало слова. Код называется префиксным, если ни одно из его слов не является началом другого слова этого кода.

Пример. Непрефиксный код: V = {01, 001, 110, 0100}

Первое слово является началом последнего слова, значит – такой код не префиксный.

Графическое представление кода

Если B={0, 1}, то код можно задать деревом. Слова кода при этом будут соответствовать вершинам дерева в зависимости от маршрута движения по ребрам дерева, начиная от корня: левому ребру приписан 0, правому – 1.

Пример. Является ли код V1={00, 001, 100, 11}префиксным? Если нет, постройте префиксный код с тем же набором длин кодовых слов.

Решение: Изобразим данный код графически (см. рисунок).

Вершины 00 и 001 смежные. Значит, этот код непрефиксный, но его можно преобразовать в префиксный с тем же набором длин кодовых слов, если перенести один из вышеназванных элементарных кодов в другую вершину того же яруса:

V’1 ={00, 010, 100, 11} – префиксный код.

Свойство префиксных кодов. Всякий префиксный код свободен.

Доказательство (методом от противного). Пусть код V={v1, …, vk} – префиксный. Допустим, что он несвободный. В этому случае равенство vi1 … vin = vj1 … vjm выполняется при (i1, …, in)≠(j1, …, jm), причем таких равенств может быть много. Выберем такое из них, для которого длина слова U= vi1 … vin = vj1 … vjm наименьшая. Докажем методом от противного, что i1≠j1. Предположим, что i1 = j1. Тогда, отбросив vi1, получим: vi2 … vin = vj2 … vjm – противоречие с тем, что U = min . Следовательно, i1≠j1. Рассмотрим полученное гра-

фически:

Отсюда получаем, что либо vj1 – префикс vi1 (см. рисунок), либо наоборот, vi1 – префикс vj1. Но код префиксный по условию, следовательно, такого быть не может. Таким образом, наше предположение о том, что код V несвободный, неверно. Значит, код V свободный.

Свойство свободных кодов. Свободный код может быть непрефиксным.

Пример. Код V = {1, 10} – не является префиксным по определению, но в то же время он не допускает неоднозначного декодирования, т.е. он свободный.

Все коды

Свободные Не свободные

Префиксные Не префиксные

50

Пусть в алфавите канала q букв: |B|=q. Рассмотрим код V={v1, …, vk}, vi B*. Множество {v1 , v2 ,..., vk }будем называть спектром кода. Для краткости обозначим vi = li . Используем эти обозначения для формулировки теоремы:

Прямая теорема о спектре свободного кода. Спектр любого свободного кода удовле-

Пример: V={1, 10, 01} – свободный. k=3, l1=1, l2=l3=2; B={0, 1} q=2. Тогда получим:

1 + 1 2 =1. Следовательно, неравенство Макмиллана выполняется. 21 22

Введем дополнительные обозначения:

1)Vn = {α | α=α1α2…αn, где αi V i=1÷n} – множество всех слов, представимых в виде произведения α1α2…αn. Например, если V={1, 10}, то V2={11, 110, 101, 1010}.

Здесь Vi – число слов из i букв. i-ю букву в слове можно выбрать q способами. Следовательно, |Vi| ≤ qi и, значит, ω(V)≤L.

Доказательство прямой теоремы о спектре свободного кода. Для произвольного

Следовательно, мы получили: (ω(V))n≤nL, т.е. ω(V )≤ n nL . Переходя к пределу при n→∞, получим: ω(V)≤1, то есть неравенство Макмиллана выполняется.

51

Замечание. Если код несвободный, то он может удовлетворять неравенству Макмиллана.

Например, V={0, 10, 00}.

Обратная теорема о спектре свободного кода.

Если набор натуральных чисел ~l = (l1 , K, lk ) удовлетворяет неравенству Макмиллана

Доказательство (методом математической индукции): Пусть l1 ≤ l2 ≤ … ≤ lp (1≤р≤k). Индукция по р.

1шаг. р=1 l1 = |v1| Код V1={v1} – префиксный.

2шаг. Пусть l1 = |v1|, …, lp-1 = |vp-1|. Допустим, что код Vp-1 = {v1, …, vp-1} – префиксный. Докажем, что существует такое слово vp с длиной |vp| = lp, что код Vp = {v1, …, vp} будет

префиксным для любых p от 1 до k. Для этого рассмотрим все слова длины lp. Их количество равно Blp = qlp . Чтобы код был префиксным, исключим все слова, которые нельзя

добавить в код Vp-1 (иначе он станет непрефиксным!), то есть надо исключить слова с префиксами v1, …, vp-1. Оставшиеся слова – это те, которые можно добавить в код Vp-1. Посчитаем, сколько слов выбросим.

Если к слову длины lp-l1 добавить префикс v1, то код Vр будет непрефиксным. Поэтому выбросим все слова длины lp-l1. Их

количество qlp −l1 . По аналогичной причине необходимо выбросить все слова длины lp-l2. Их количество ql p −l2 . И т.д. Наконец, выбросим все слова

т.е. существует хотя бы 1 слово vp, которое после добавления к коду Vp-1 оставляет его префиксным, что и требовалось доказать.

l1 l2 l3 l4

можно подобрать префиксный код v1=a, v2 = ba, v3 = bbaa, v4 = bbab. Неравенству Макмил-

лана он, очевидно, удовлетворяет, так как 211 + 212 + 214 + 214 = 78 <1.

5.2. Оптимальное кодирование

Определение 5.6. Оптимальным кодом для заданного набора частот P=(p1, …, pk) будем

k

называть код V={v1, …, vk} с наименьшей стоимостью кодирования ∑pi vi .

i=1

52

Задача I. Для набора частот P=(p1, …, pk) найти свободный код V={v1, …, vk} такой, чтобы

k

стоимость кодирования ∑pi vi была наименьшей.

i=1

Задача II. Для набора частот P=(p1, …, pk) найти префиксный код V={v1, …, vk} такой, что-

k

бы стоимость кодирования ∑pi vi была наименьшей.

i=1

Доказательство эквивалентности задач I и II (методом от противного):

Эти задачи не эквивалентны, если найдется свободный код V0, не являющийся

Получили противоречие с неравенством (*). Итак, доказали, что оптимальный код следует искать среди префиксных.

Свойства оптимальных префиксных кодов

Лемма 1. Пусть V={v1, …, vk} – оптимальный префиксный код, которому соответствует набор частот р1 ≥ р2 ≥ … ≥ рk. Тогда |v1| ≤ |v2| ≤ … ≤ |vk|.

Доказательство (от противного). Предположим, что i<j, но |vi|>|vj|.

Вычислим стоимости кодирования этими схемами:

(m≠i, m≠j).

Составим разность:

|v1|≤|v2|≤…≤|vk|.

53

Лемма 2. Пусть в оптимальном префиксном коде V={v1, …, vk} наибольшую длину имеет слово α. Тогда в этом коде существует слово β, отличающееся от α лишь последней буквой.

При переходе от Σ к Σ’ уменьшилась длина последнего слова. Значит, С(Σ')<C(Σ), но по условию V – оптимальный префиксный код, т.е. С(Σ)=min. Следовательно, код V’ в схеме

префиксный

64748

Σ’ непрефиксный: V '={v1, K, vk −1, γ}. Получается, что началом γ является или v1, или v2,

442443

не префиксный

или … или vk-1. Но этого быть не может, иначе одно из vi ( i =1 ÷(k −1) ) является префиксом α, и тогда код V непрефиксный. Следовательно, vi=γδ, где i =1 ÷(k −1) . Причем δ≠0,

так как γ0 V, поэтому δ=1 и vi=γ1, т.е. vi отличается от vk лишь последней буквой, что и требовалось доказать.

рования.

Тогда если схема Σ’ – оптимальная для набора частот Р’, то схема Σ – оптимальная для Р.

Доказательство:

1) Рассмотрим стоимости кодирования схемами Σ и Σ’:

= pk −1 + pk > 0 . Следовательно, эта разность зависит лишь от частот (от кода не зависит!).

54

2) От противного. Предположим, что схема Σ не является оптимальной, тогда существует схема Σ1: С(Σ1, P)<С(Σ, P). Строим для Σ1 схему Σ’1. По доказанному в шаге 1

C(∑1, P) −C(∑'1 , P') = pk−1 + pk . Следовательно, С(Σ, P)–С(Σ’, P’)=С(Σ1, P)–С(Σ’1, P’).

Значит, С(Σ, P)–С(Σ1, P)=С(Σ’, P’)–С(Σ’1, P’). Поскольку левая часть последнего равенства положительна (Σ1 оптимальна для P), то и правая часть этого равенства положительна, что означает: С(Σ’1, P’)<С(Σ’, P’). Значит, схема Σ’ не является оптимальной, что противоречит условию. Таким образом, схема Σ оптимальна для набора частот P, что и требовалось доказать.

Алгоритм построения оптимального кода (Метод Хаффмена)

Пример: Построить оптимальный код для заданного набора частот P = {0,4; 0,2; 0,12; 0,1; 0,1; 0,05; 0, 03} и алфавита источника А = {a1, …, a7}.

Решение: Построим оптимальный код методом Хаффмена, который основан на свойствах оптимальных кодов и теореме редукции.

Прямой ход. Припишем 1 и 0 тем двум буквам алфавита источника, которые используются в сообщении реже других (1 будет соответствовать самой маленькой частоте), и сложим их частоты.

Обратный ход.

a1=1

b3=01 → a3=011, a4=010

b5=0 →

b4=00 → a2=000

b2=001 → a5=0010

b1=0011 → a6=00110, a7=00111

Получили код: {1, 000, 011, 010, 0010, 00110, 00111}. Как и ожидалось по теории, он префиксный.

55