13.Кодирование по методу Хаффмана

Элемент.символы сообщений выстраиваются в порядке убывания вероятности. Достраиваем вспомогательные столбцы. Вероятности сворачивают (2слева у которых min вероятности) в одно, с суммарной вероятностью и выстраивают по убыванию вероятностей. Объединение заканчивается при достижении вероятности – 1. Завершение операции состоит в составлении дерева формирования кода с рершинами – словами. > вероятность слева – 1, < вер-ть справа – 0.

Запись кода – перемещаемся из главной вершины к концу.

0,42 -> 0.22 -> Z1, код –01

Экономность эфф.кодирования имеет недостаки: возникают проблемы с декодированием, если код большой. Решение – 1)поставить разделитель (пауза) -> снижает экономность; 2) поставить префиксные коды

Префиксные коды

Кодированная комбинация, содержащих большое количество элементов не должна содержать элементов короткого кода

Z1 Z2 Z3 Z4

00 01 101 100

Ни одна короткая комбинация не совпадает с началом более длинной кодированной комбинации. Например, 1000000110110110100

Декодирование однозначно.

100 00 01 101 101 101 00

Z4 Z1 Z2 Z3 Z3 Z3 Z1

Проверяем для кода с другой кодированной комбинацией

Z1 Z2 Z3 Z4

00 01 101 010

не выполняется префиксное правило м.получить много различных кодов. .Из-за того, что слова алфавита поступают с одинаковой скоростью и интервалом, разная длительность код.комбинаций при равномерном поступлении слов в сообщении возникает необходимость накапливать сообщения , которые б.формировать блок определенной продолжительности, что приведе к задержке, следовательно к потери актуальности информации.

Недостатки:

1.Снижение скорости отправки из-за неравномерного распределения и различной длительности посылки.

2.Теряется однозначность кодированной комбинации из-за представления двух кодов в одной посылке. Это требует дополнительные устройства выявления этих ошибок.

3. Технические средства сложнее, чем для блоков кодов длительности кодового блока.

14.Теорема Шеннона о кодировании для канала с помехами

Теорема кодирования для получения кода. При любой производительности источника сообщений, меньшей чем

пропускная способность канала, существует такой метод кодирования, который позволяет обеспечить передачу всей информации, создаваемой источником сообщений со сколь угодно малой вероятностью ошибки.

Производительность источника < пропускной способности.

За счет удлинения кодовой комбинации, за счет снижения скорости передачи сообщений, можно как угодно приблизить вероятность верного приема к 1, а вероятность ошибки - к 0.

II часть теоремы: Если производительность источника сообщенийпревышает пропускную способность канала святи С,

то не существует способа кодирования позволяющего вести передачу информации со сколь угодно малой вероятностью ошибок.

Производительность источника < пропускной способности.

Источник генерирует поток, мы можем передавать информацию, но большая ее часть будет потеряна в канале, т.е. вероятность ошибки никогда не м.б. 0 из-за недостатка пропускной способности сигнал не м. в полной мере передан. Если источник генерирует информационный поток > C канала, канал – причина возникновения ошибок. За счет этой ошибочности мы получаем ошибочность передачи сообщений сколь угодно малой.