3.3.4. Основная теорема Шеннона о кодировании для дискретного канала без помех

Основная теорема о кодировании, сформулированная Шенноном, утверждает, что если источник информации имеет энтропию H(Z) единиц информации на символ сообщения, а канал связи обладает пропускной способностью C единиц информации в единицу времени, то:

1)сообщения, вырабатываемые источником, всегда можно закодировать так, чтобы скорость Vz их передачи была сколь угодно близкой к

Vzm=C/H(Z), (53)

где Vzm измеряется в символах сообщения в единицу времени;

2) не существует метода кодирования, позволяющего сделать эту скорость большей, чем Vzm.

Величина

H’(Z)=Vz*H(Z) (54)

называется потоком информации, создаваемой источником. Согласно сформулированной теореме существует метод кодирования, позволяющий при H’(Z)<=Cпередавать всю информацию, вырабатываемую источником. ПриH’(Z)>Cтакого метода не существует.

Докажем следующее утверждение, из которого вытекает справедливость теоремы : если источник информации имеет энтропию H(Z), то сообщения всегда можно закодировать так, чтобы средняя длина кодаlср(символов сигнала на символ сообщения) была сколь угодно близкой к величинеH(Z)/logam.

Предположим, кодирующее устройство преобразует сообщения в двоичные сигналы. В этом случае нужно доказать, что можно получить

lср=H(Z)/loga2 –  , (55)

где – сколь угодно малая величина.

В частности, если информация измеряется в битах (а=2), то

lcp=H(Z) –  . (56)

Доказательством может служить предложение о процедуре кодирования, приводящей к желаемому результату. Такая процедура, указанная Шенноном, приводит к тем же результатам (за исключением последней цифры), что и оптимальное кодирование Фэно (код Шеннона – Фэно).

3.3.5. Пропускная способность дискретного канала с помехами

Дискретный канал с помехами характеризуется условными вероятностями p(vj|ui) того, что будет принят сигнал vj, если передан ui, то есть матрицей

(при отсутствии помех все p(vj|ui) приj<>iравны нулю и приj=iравны 1).

Среднее количество информации на символ, получаемое при приёме одного элементарного сигнала, равно

I(V,U)=H(V) – H(V|U). (57)

В случае независимости отдельных символов сигнала энтропия на выходе линии

(58)

(предполагается, что число букв алфавита V=(v1,v2,…,vm) равно числу букв алфавита U=(u1,u2,…,um) и равно, следовательно, m).

Средняя условная энтропия

. (59)

Пропускная способность канала вычисляется по формуле:

С=Vx*max{I(V,U)}, (60)

где максимум определяется по всем возможным распределениям вероятностей , характеризующим источник сигналов.

3.3.6. Основная теорема Шеннона о кодировании для дискретного канала с помехами

Основная теорема Шеннона о кодировании для дискретного канала с помехами, приводимая здесь без доказательства, аналогична теореме для канала без помех: если источник информации имеет энтропию H(Z), а канал связи обладает пропускной способностью C, то:

1) сообщения, вырабатываемые источником, всегда можно закодировать так, чтобы скорость их передачи vz была сколь угодно близкой к величине

vzm=C|H(Z), (61)

и чтобы вероятность ошибки в определении каждого переданного символа была меньше любого заданного числа;

2) не существует метода кодирования, позволяющего вести передачу со скоростью выше vzm и со сколь угодно малой вероятностью ошибки.

Другими словами, если поток информации

H’(Z)= vz*H(Z)<=C, (62)

то может быть подобран специальный код, позволяющий передавать всю информацию со сколь угодно малой вероятностью ошибки.

При H’(Z)>C такого кода не существует.

Этот результат оказывается особенно ценным, так как интуиция его не подтверждает. Действительно, очевидно, что при уменьшении скорости передачи информации можно повысить достоверность. Этого можно добиться, например, путём многократного повторения каждой буквы сообщения. Однако для обеспечения нулевой вероятности ошибки интуитивно кажется, что скорость передачи vz должна стремиться к нулю (число повторений должно быть бесконечно большим). Теорема же утверждает, что всегда можно обеспечить скорость передачи, равную vzm (путём выбора подходящего кода). Теорема не даёт ответа на вопрос, как выбирать этот код. Но для приближения к пределу vzm общим методом, как и для канала без помех, необходимо кодирование длинных блоков, а не отдельных символов.