4.2 Канал без шумов

Шум в канале связи искажает физические параметры сигнала, что в свою очередь приводит к искажению символов. Вероятностная характеристика искажений – это условная вероятность . Будем считать, сигнал в канале не искажается, если . Тогда для канала без шумов справедливо выражение

(4.9)

Из выражения (**.9) следует, , т.е. пропускная способность канала связи равна

= (4.10)

Если используется код с основанием D ,то энтропия ансамбля достигает наибольшего значения при . Тогда пропускная способность канала равна

. (4.11)

Теорема Шеннона о кодирование источника независимых сообщений для канала без шумов. (Шеннон, стр. 270)

Пусть источник имеет энтропию , а канал имеет пропускную способность . Тогда можно закодировать сообщения таким образом, что можно передавать их со средней скоростью

, где .

Передавать сообщения со скоростью большей, чем , невозможно.

Доказательство. Будем считать источник сообщений согласованным с каналом по скорости передачи информации, если . Тогда

. (4.12)

Энтропия не превышает . Запишем

= ,. (4.13)

где .

Подстановка (4.13) в (4.12) позволяет получить

, (4.14)

где .

Если принять , то , т.е. не имеет смысла передавать сообщения.

4.3 Канал с шумами

Наличие шума в канале связи приводит к тому, что условная энтропия не равна нулю. Условную энтропию Шеннон назвал ненадёжностью канала, так как она зависит от шума в канале связи. В результате возникает вопрос, существует ли метод кодирования, позволяющий передавать информацию с определённой скоростью . На это вопрос отвечает теорема Шеннона (Шеннон стр.280).

Пусть дискретный канал обладает пропускной способностью , а дискретный источник – энтропией . Если < , то существует такая система кодирования, что сообщения источника могут быть переданы по каналу с произвольно малой частотой ошибок, (или со сколь угодно малой энтропией ). Если > , то можно закодировать источник таким образом, что ненадёжность канала будет меньше, чем , где сколь угодно мало. Не существует способа кодирования, обеспечивающего ненадёжность, меньшую, чем .

Нет доказательства

Пример 4.1. Определим пропускную способность двоичного симметричного канала связи. Модель двоичного симметричного канала показан на рисунке 4.4.

В канал связи поступают символы 1 и 0, отображающие реальные физические сигналы.

1) Канал симметричный. Вероятности искажения символов равны , вероятности неискажённого приема символов равны .

2) Канал стационарный, так как условные вероятности не зависят от времени.

Пропускную способность вычислим по формуле (4.8). Энтропию определим из условия при отсутствии шума. Энтропия принимает максимальное значение, равное 1, при . Условная энтропия равна

Подставляя полученные величины в (4.8), получим

.

Как видно из формулы, пропускная способность зависит скорости поступления символов в канал и от вероятности искажения символов.

Положим, задан ансамбль сообщений X с распределением вероятностей P , (Таблица 4.2) . Сообщения генерируются со скоростью .Способ кодирования определён и каждому сообщению приписан двоичный код. Энтропия ансамбля сообщений X равна ,

Таблица 4.2
X	P	код
	0.6	0
	0.2	10
	0.1	110
	0.07	1110
	0.03	1111

вероятности реализации символов «1» и «0» равны

,

энтропия ансамбля символов Y равна

,

средняя длина кода равна .

Положим, в канале действует такой шум, что вероятность ошибочного перехода равна . Сможет ли канал обеспечить передачу сообщений ?

1. 

2. Будем считать . Тогда = 204.826 .

3. Будем считать . Тогда и пропускная способность канала равна =

= = 108.764

Как видно, пропускная способность канала значительно ниже скорости генерации информации источником и часть информации может быть утеряна. В этом случае можно уменьшить скорость генерации сообщений или уменьшить вероятность ошибок . Положим, каким-то образом удалось уменьшить вероятности ошибок до величины 0.01. Тогда пропускная способность канала увеличится до величины . При таком соотношении скорости поступления информации в канал и пропускной способности канала искажения информации в канале из-за величин и не будет.