4.3 Канал с шумами

Наличие шума в канале связи приводит к тому, что условная энтропия не равна нулю. Условную энтропиюШеннон назвал ненадёжностью канала, так как она зависит от шума в канале связи. В результате возникает вопрос, существует ли метод кодирования, позволяющий передавать информацию с определённой скоростью . На это вопрос отвечает теорема Шеннона (Шеннон стр.280).

Пусть дискретный канал обладает пропускной способностью , а дискретный источник – энтропией . Если <, то существует такая система кодирования, что сообщения источника могут быть переданы по каналу с произвольно малой частотой ошибок, (или со сколь угодно малой энтропией). Если>, то можно закодировать источник таким образом, что ненадёжностьканала будет меньше, чем, гдесколь угодно мало. Не существует способа кодирования, обеспечивающего ненадёжность, меньшую, чем.

Нет доказательства

Пример 4.1. Определим пропускную способность двоичного симметричного канала связи. Модель двоичного симметричного канала показан на рисунке 4.4.

Вканал связи поступают символы 1 и 0, отображающие реальные физические сигналы.

1) Канал симметричный. Вероятности искажения символов равны , вероятности неискажённого приема символов равны.

2) Канал стационарный, так как условные вероятности не зависят от времени.

Пропускную способность вычислим по формуле (4.8). Энтропию определим из условияпри отсутствии шума. Энтропияпринимает максимальное значение, равное 1, при. Условная энтропия равна

Подставляя полученные величины в (4.8), получим

.

Как видно из формулы, пропускная способность зависит скорости поступления символов в канал и от вероятности искажения символов.

Положим, задан ансамбль сообщений Xс распределением вероятностейP, (Таблица 4.2) . Сообщения генерируются со скоростью.Способ кодирования определён и каждому сообщению приписан двоичный код. Энтропия ансамбля сообщенийXравна,

Таблица 4.2
X	P	код
	0.6	0
	0.2	10
	0.1	110
	0.07	1110
	0.03	1111

вероятности реализации символов «1» и «0» равны

,

энтропия ансамбля символов Yравна

,

средняя длина кода равна .

Положим, в канале действует такой шум, что вероятность ошибочного перехода равна . Сможет ли канал обеспечить передачу сообщений ?

1. 

2. Будем считать . Тогда= 204.826 .

3. Будем считать . Тогдаи пропускная способность канала равна =

== 108.764

Как видно, пропускная способность канала значительно ниже скорости генерации информации источником и часть информации может быть утеряна. В этом случае можно уменьшить скорость генерации сообщений или уменьшить вероятность ошибок. Положим, каким-то образом удалось уменьшить вероятности ошибок до величины0.01. Тогда пропускная способность канала увеличится до величины. При таком соотношении скорости поступления информациив канал и пропускной способности канала искажения информации в канале из-за величинине будет.

4.4 Непрерывный канал связи

Как и прежде, сигналы поступают в канал в дискретные моменты времени, но значения сигналов принимают непрерывные значения из некоторого множества. Примером такого канала является передача амплитудно-модулированных, фазомодулированных или частотно-модулированных сигналов. Сами сигналы могут быть как детерминированными, так и являться случайными процессами. Сигнал и шум взаимно независимы и в канале связи складываются алгебраически, т.е сигнал и шум аддитивны

, (4.15)

где - шум в канале с известной плотностью вероятности,

- непрерывный по множеству значений сигнал, поступающий в канал связи. Плотность распределения вероятностизначений сигнала может быть произвольной

Чтобы упростить записи, в дальнейшем будем писать

, (4.16)

помня, что - непрерывные величины, а их реализациями являются. Запишем равенство (4.16) через реализации

(4.17)

Условная плотность распределения при фиксированном значениидолжна удовлетворять соотношению

. (4.18)

Используя (**.17), получим условную плотность распределения

(4.19)

Пропускная способность непрерывного канала связи определяется подобным образом, что и для дискретного канала, но максимизация пропускной способности производится по всем возможным распределениям :

, (4.20)

где - время, затраченное на передачу одного значения,

- скорость передачи сигналов в канале - количество значений, переданных по каналу в единицу времени.

Определим условную энтропию :

(4.21)

Из (4.21) видно, что условная энтропия зависит от плотности распределения вероятности шума.

Пример 4.3. Вычислим энтропию случайной величины , подчиненной нормальному закону с математическим ожиданием, равнымm, и дисперсией, равной.

=

Сделаем замену переменных .

.

Как видно, энтропия не зависит от математического ожиданияm.

Пусть - энтропия случайной величиныс математическим ожиданием, равным нулю, и дисперсией, равной. Энтропия случайной величиныне превышает энтропии нормального закона распределения вероятности

, (4.22)

где знак равенства имеет место тогда и только тогда, когда случайная величина распределена по нормальному закону.

Положим, - произвольная плотность распределения вероятности случайной величины. Случайная величина подвергается преобразованию

.

Определим математическое ожидание случайной величины

=

. (4.23)

Рассмотрим разность . Правая часть этой разности есть. Поэтому

.

Знак равенства будет только тогда, когда справедливо равенство

или

.

Таким образом, энтропия достигает максимального значения при нормальном законе распределения вероятности. При этом накладываются условия:

- дисперсия случайной величины ограничена,

- область определения плотности распределения вероятности – ().

При рассмотрении пропускной способности канала связи никаких ограничений на вид распределения вероятности шума не накладывалось. В частном случае, наиболее употребляемом на практике, предполагается, что шум - нормальный белый. Это означает, что значения шума распределены по нормальному закону и они не коррелированны. При таких предположениях имеет место теорема Шеннона (Фано, стр. 176)

Если в непрерывном постоянном канале с дискретным временем аддитивный шум имеет гауссовское распределение с нулевым средним и дисперсией, равной , а мощность сигнала на входе не может превышать определенной величины, то пропускная способность этого канала на событие определяется формулой

. (4.24)

Знак равенства достигается лишь тогда, когда сигнал на входе канала - гауссовский с нулевым средним и дисперсией, равной .

Как известно, пропускная способность канала имеет вид

.

Определим . Из соотношений (4.15) - (4.18) следует,

. В силу независимости сигнала и шума.

По определению

.

Подставим вместо условной плотности плотность распределения шума и, учитывая, что шум распределён по нормальному закону, получим

. (4.25)

Используя общее определение пропускной способности канала (4..20)

. (4.25)

Если сигнал на входе канала распределен по нормальному закону, то и сумма (4.16) также распределена по нормальному закону, что является необходимым условием максимального значения энтропии . В этом случаепропускная способность достигает максимального значения (знак равенства в (4.24)).