LEKTsIYa_5

ЛЕКЦИЯ № 5.

Алгоритм кодирования Лемпела-Зива.

На практике статистика выхода источника неизвестна. Тогда можно оценить вероятности выхода символов, наблюдая длинную информационную последовательность, выдаваемую источником с помощью методов математической статистики. Но это достаточно просто сделать только для определения вероятностей появления отдельных символов. Определить совместные вероятности появления символов в блоке сложно. Поэтому алгоритм Хаффмена для кодирования стационарных источников применять нецелесообразно. В этом случае используется алгоритм Лемпела-Зива. Его достоинством является независимость от статистики источника. Он принадлежит к классу универсальных алгоритмов.

В алгоритме Лемпела-Зива последовательность с выхода источника делится на фразы (блоки) разной длины. Каждая новая фраза состоит из некоторой прошлой фразы, которая короче новой на один символ, и нового символа источника. Например, прошлая фраза 01, новая фраза 010. Фразы перечислены в словаре, каждая под своим номером, записанном в двоичной форме. Код новой фразы состоит из двух частей: (часть1, часть2). Часть 1-номер в словаре прошлой фразы, часть 2- новый символ источника. Пример: фраза 01 стоит в словаре под номером 5 (0101), тогда кодовое слово для фразы 010 выглядит следующим образом: (01010).

Пусть двоичный стационарный источник выдает последовательность символов: 1, 0,1, 0, 1, 1, 0, 1, 0, 0,1, 0 . Далее разобьем эту последовательность на фразы и поместим в словарь.

Первоначальный номер ячейки нулевой (0000) кодирует пустую фразу. Например, фраза 1 кодируется кодом 00001, т.к. до нее была пустая фраза.

Декодер источника создает такую же таблицу для декодирования. Для устранения переполнения таблиц кодер и декодер должны согласованно удалять фразы из словарей, которые больше не используются, и подставлять на их место новые. Приведенная таблица закодировала исходные 44 бита в 16 кодовых словах по 5 бит каждое. Всего получилось 80 бит. В этом случае алгоритм не обеспечил сжатия данных. Его эффективность увеличивается с ростом длины последовательности с выхода источника. При длинных последовательностях процедура Лемпела-Зива эффективно работает.

Алгоритм Лемпела-Зива используется при сжатии компьютерных файлов в операционных системах UNIX, MSDOS.

3. ДИСКРЕТНЫЙ КАНАЛ СВЯЗИ (ДКС).

3.1. Информационные характеристики ДКС.

X Y

ДКС

Как было показано выше, среднее значение взаимной информации определяется по формуле (2.3):

L M L M

I ( X ,Y ) p(ak , bl )I (ak , bl ) p(ak , bl ) log 2 ( p(ak ) p(bl ) ) I (Y , X ) .

Свойства средней взаимной информации.

1. I (X ,Y ) 0 , т.е. средняя взаимная информация – величина неотрицательная.

I (X ,Y ) 0 , если X и Y не зависят друг от друга. Это наблюдается при больших шумах в канале связи.

2. I (X ,Y ) H (X ) , кода сообщения X и Y равны.

3. Среднюю взаимную информацию можно найти через энтропию и условную энтропию следующим образом:

Скорость передачи взаимной информации – количество взаимной информации, переданной по каналу связи в единицу времени

где TH - время передачи.

Пропускная способность канала связи – максимально достижимая скорость передачи взаимной информации по каналу

где максимум ищется по распределению вероятностей { pk } .

Информационная эффективность (коэффициент использования канала связи) определяется как

3.2. Модель дискретного канала без памяти (ДКБП).

Пусть X A {a1 ,..., an }, Y B {b1 ,..., bm } с вероятностями появления p(ak ), p(bj ) .

Граф такого канала связи имеет вид, изображенный на рисунке.

Двоичный симметричный канал (ДСКС) является частным случаем ДКБП. У ДСКС X {0,1},Y {0,1} , где X - набор возможных значений входа, Y - набор возможных значений выхода. Если канальный шум и другие нарушения вызывают статистически независимые ошибки при передаче двоичной последовательности со средней вероятностью pош , то

P{Y 0 / X 1} P{Y 1/ X 0} pош , P{Y 1/ X 1} P{Y 0 / X 0} 1 pош .

Далее, используя формулу полной вероятности ТВ, получим:

P{Y 0} p(0)P{Y 0 / X 0} p(1)P(Y 0 / X 1} 0.5(1 pош ) 0.5 pош 0.5 .

Аналогично определяем, что P{Y 1} 0.5 . Т.е. выход канала равновероятен, тогда H (Y ) H max (Y ) log 2 n log 2 2 1бит/символ.

Затем по формуле (2.3) найдем условную энтропию H max (Y / X ) .

0.5(2 pош log 2 pош 2(1 pош ) log 2 (1 pош )) ( pош log 2 pош (1 pош ) log 2 (1 pош )) .

Подставляя выражения для H max (Y ) и H max (Y / X ) в формулу (3.5), окончательно получим пропускную способность ДСКС:

Выводы. Пропускная способность ДСКС зависит только от вероятности ошибки pош , она увеличивается, если pош уменьшается.

уменьшается, а пропускная способность увеличивается.

Теорема Шеннона для кодирования канала с шумами. Существуют кодеры и декодеры, которые позволяют создавать надежную связь со столь малой, насколько угодно вероятностью ошибки, если скорость передачи информации меньше пропускной способности канала связи: