•Пример 4.2. Первичный алфавит состоит из трех знаков A, B, C с

вероятностями pA = 0,2; pB = 0,7; pC = 0,1. Для передачи по каналу без помех используются код Шеннона-Фано. Частота тактового генератора 500 Гц. Какова пропускная способность канала и скорость передачи?

•Решение. Поскольку код Шеннона-Фано – двоичный, то m = 2; C =V = 500 бит/с.

•Энтропия источника: H = – 0,2·log20,2 – 0,7·log20,7 – 0,1·log20,1 = 1,16 бит

•Длительность одного бинарного разряда в канале τ0=1/V=0.002 c.

•Закодируем первичный алфавит кодом Шеннона-Фано: A→10, B→0, C→11, длины кодов будут равны: nA = 2; nB = 1; nC = 2

•Средняя длина кода K = 0.2·2 + 0.7·1 + 0.1·2 = 1.3

•Следовательно, получаем:

скорость передачи возросла на 54% и приблизилась к пропускной способности.

•Пример 4.3. Можно ли с помощью кодирования еще больше увеличить скорость передачи?

•Решение. Первичный алфавит из примера 4.2 будем кодировать по парам символов (это так называемое укрупнение кодов). Пары символов, их вероятности, коды Шеннона-Фано и длины кодовых последовательностей приведены в таблице:

Скорость передачи еще больше приблизилась к своему пределу – пропускной способности канала.

•Эффективность кода определяется соотношением средней длины

кода K, энтропии источника H и оптимальной энтропии HO. Коэффициент общей эффективности кода показывает, насколько выбранный код соответствует статистическим характеристикам

источника KОЭ KH

•Коэффициент статистического сжатия показывает соответствие кода идеальному (оптимальному) источнику .

KCC K

HO

Теоремы побуквенного неравномерного двоичного кодирования

Прямая теорема

•Для алфавита X ={x, p(x)} с энтропией H существует побуквенный неравномерный префиксный двоичный код со средней длиной кодовых слов

K ≤ H +1.

Обратная теорема

•Для любого однозначно декодируемого двоичного кода алфавита X={x, p(x)} с энтропией H средняя длина кодовых слов K удовлетворяет неравенству K ≥ H.

•С помощью теорем побуквенного кодирования можно дать оценку возможной средней длины неравномерного кода.

•Первая теорема гарантирует, что при любых самых неблагоприятных статистических характеристиках источника сообщений можно построить неравномерный код длины не больше чем H+1. Вторая теорема говорит о том, что даже при самых «удачных» вероятностях символов первичного алфавита нельзя построить код средней длиной меньше Н. Из этих же теорем вытекает оценка общей эффективности кода:

•КОЭ ≤ 1.

Передача информации по каналу с помехами

•До сих пор мы предполагали, что информация, поступившая от кодера/передатчика в канал связи в точности соответствует информации, принятой приемником/декодером из канала. Наличие помех в канале связи приводит к тому, что часть информации при перемещении по каналу теряется, искажается, зашумляется.

•Информация, принятая приемником, не полностью снимает неопределенность относительно переданной источником, хотя и уменьшает ее. Если на вход канала связи поступил сигнал u, а с выхода канала принят сигнал v, то говорят о взаимной информации I(u,v).

•Термин используется, когда при приеме сообщений действуют помехи. Помехи в канале характеризуются своей условной энтропией.

•Взаимной (полезной) информацией между сообщениями u и v

называется величина I(u,v), определяемая соотношением:

•I(u,v) = H(u) – H(u|v), в котором H(u) является энтропией источника информации, а H(u|v) представляет собой потерю информации, принимаемой от источника, обусловленную воздействием помех на передаваемое сообщение.

•Используя зависимость (3.11), можно записать иначе:

•I(u,v) = H(u) – H(u|v) = H(u) – (H(u,v) – H(v)) = H(u) + H(v) – H(u,v) =

•= H(u) + H(v) – (H(u) + H(v|u)) = H(v) – H(v|u)

•То есть взаимная информация симметрична:

•В формуле (4.8):

•H(u) – априорная энтропия источника сообщения;

•H(u|v) – апостериорная энтропия, которая учитывает утечку информации при передаче из-за разрушения ее помехами. Иначе называется ненадежность канала;

•H(v) – энтропия приемника (выхода) канала;

•H(v|u) – характеризует постороннюю информацию, вносимую помехами. Называется энтропия шума.

•То есть в случае обрыва связи полезная информация отсутствует.

•Второй случай – отсутствие помех. При этом наблюдается жесткая

статистическая связь между входом и выходом: P(vj|ui)={1, 0}. Если

P(vj|ui)=1 то log P(vj|ui)=0. Если P(vj|ui)=0, то P(vj|ui)∙log P(vj|ui)=0 (см. доказательство первого свойства энтропии в разделе 3.3).

•В любом случае H(v|u)=0, а значит I(u,v) = H(v) = H(u). Как видим, в этом случае информация источника доходит до приемника без изменений.

•Скорость передачи информации в канале с помехами определяется аналогично случаю канала без помех, как количество полезной информации, передаваемое по каналу в единицу времени.

•где τ – средняя длительность передачи одного символа первичного алфавита.

•Пропускная способность также определяется по аналогии с каналом без помех, с учетом потерь информации.