Дискретная математика

Читал: Павлов Игорь Сергеевич

Набрал: Смирнов Вадим Евгеньевич

ННГУ, 2000 г.

Глава V. Теория кодирования.

(Лекция 14)

1.  = ’

2. Сжатие информации

Оптимальное кодирование

Кодирование производится с помощью словофункции

f: A^*  B^*,

где А – алфавит источника, В – алфавит канала.

- схема кодирования

A_i  A^*, V_i  B^*, i = 1, 2, …, k

F(a_i1a_i2…a_in) = V_i1V_i2…V_in

Определение. {V₁, …,V_k} –код, а соответствие между А и В (f) называетсякодированием. Каждый элемент кода называетсяэлементарным кодом.

Будем обозначать все схемы кодирования через 

Примеры:

A= {a, b, c, d}, B = {0, 1}

₁– схема равномерного кодирования,

₂– схема неравномерного кодирования

Для сжатия информации желательно, чтобы длина полученного после кодирования слова была как можно меньше.

Определение. Пусто существует схема кодирования~f(). Отношение длины кодаf() к длине самого слова называется стоимостью кодирования словав схеме, то есть.

В рассмотренном примере стоимость кодирования равняется двум независимо от слова .

С(₁,) = 2 С(₂,) – зависит от

раз.

|| =n₁+ … +n_k=n

|f()| =n₁|V₁| + … +n_k|V_k|, так какa_iV_iи встречаетсяn_iраз.

В этом случае , где- частота.

Определение. Величинапоказывает, какую часть словазанимает букваa_i. Она называется частотой вхождения буквыa_iв слово.

для любого слова

Отсюда:

Определение.

Пример: В русском языке наблюдается устойчивость частот. Например: р_о= 0,09; р_е= 0,047.

Если мы рассматриваем большие сообщения, то пользуемся частичными частотами для данного языка.

При этом

Теперь можно сравнить способы кодирования для данных частот

Пример: Пустьp­₁= (¼; ¼; ¼; ¼).

С(₁,) = 2 для любыхиp_i

С(₂,) = ¼ (1 + 2 + 3 + 3) = 2¼

Вывод. Для схемы ₁стоимость кодирования меньше, чем для схемы₂при наборе частотp₁.

Пусть: (½; ¼; ;)

С(₁,) = 2 для любыхиp_i

С(₂,) = ½ 1 + ¼  2 + (3 + 3) = 1¾

Схему ₃можно раскодировать неоднозначно. Такие схемы мы исключаем из рассмотрения.

(Лекция 15)

Кодирование – это отображение.

Потребуем, чтобы fбыла взаимно-однозначная, то естьf– биекция, то естf(A^*) =B^*иf(a₁) =f(a₂)a₁=a₂.

Допустим, что f– не биекция. Нарушение однозначности означает, что приa_i1…a_ina_j1…a_jmвыполняетсяV_i1…V_inV_j1…V_jm

Определение. Будем говорить, что кодV= {V₁, …,V_k} -свободный, еслиV_i1…V_in=V_j1…V_jmвыполняется тогда и только тогда, когдаn=mиi₁=j₁, …,i_n=j_m.

Выделив класс свободных кодов, ставим задачу нахождения оптимального кодирования.

Задача I. Набор частотP= (p₁, …,p_k). Найти свободный кодV= {V₁, …,V_k} такой, чтобы стоимость кодирования была наименьшей.

Рассмотрим более узкий класс свободных кодов – префиксный код. Префиксом будем называть всякое начало слова.

Определение. Код называетсяпрефиксным, если ни одно из его слов не является началом другого слова этого кода.

Пример. Не префиксный код:V= {01, 001, 110,0100}

Первое слово является началом последнего слова., значит – такой код не префиксный.

Графическое представление префиксного кода

V₁ = {00, 001, 100, 11}

Вершины 00 и 001 смежны. У не префиксных кодов всегда элементарные коды расположены в смежных вершинах V1’ = {00, 010, 100, 11} – префиксный код