Вопрос 18.1. Пропускная способность каналов связи. Теорема Шеннона для каналов без помех и с ними Характеристики процессов передачи информации

П роизводительность источника H’(U) - суммарная энтропия сообщений переданных за единицу времени .

Если сообщение может быть представлено в виде последовательности элементарных дискретных сообщений u_k источника с энтропией H(U) следующих со скоростью _C=1/N элементов в секунду, то H’(U)= _C *H(U). Все формулы для условной энтропии и кол-ва информации можно применить и здесь, разделив их на Т и обозначая получим соответственные равенства для условных энтропии и количества информации, рассчитанных на одно сообщение a в единицу времени. Величина I’(u,z) называется скоростью передачи информации, I’(u,z)=H’(U)-H’(u|z)=H’(Z)-H’(z|u) (см рис 1.1).

Здесь H'(U) – производительность источника, H’(Z) "производительность" канала, H’(u|z) - потеря информации или ненадежность канала, а H’(z|u) скорость создания ложной информации (помехи). По определению Шеннона ненадежность канала является энтропией входа, когда выход известен, т.е. ее можно считать мерой средней неопределенности принятого сигнала. Величина же H’(z|u) есть энтропия выхода, когда вход известен и служит мерой средней неопределенности передаваемого сигнала.

Соотношение между H’(u|z) и H’(z|u) зависит от свойств канала. Так, например, при передаче звукового сигнала по каналу с узкой полосой пропускания недостаточный для качественного воспроизведения сигнала и с низким уровнем помех. Теряется часть полезной информации, но почти не получается бесполезной, в этом случае H’(u|z)>>H’(z|u). Если же сигнал воспроизводится качественно, но при этом прослушиваются наводки от соседнего радиоканала, то это означает, что почти не теряя полезной информации мы получили много лишней мешающей информации и H’(u|z)<<H’(z|u)

Пропускная способность каналов связи

Если по дискретному каналу передаются символы со скоростью _k симв/сек, а каждый символ содержит среднее количество информации Н(А) бит/симв., тогда скорость передачи на входе канала (производительность источника) равна R_k=_k*H^/(A) бит/сек.

С учетом того, что , то для двоичного канала без ошибок скорость передачи информации равна скорости передачи символов R_k=_k.

При сильных помехах вероятность ошибки, определяемая переходными вероятностями P(1/0) и P(0/1) может достигать значений Р_ош = 0,5 , что равнозначно обрыву канала, т.е. R_k = 0.

Скорость передачи информации по каналу с ошибками равна (*), где Z – ансамбль выходного сигнала.

Максимальную скорость передачи называют пропускной способностью дискретного канала связи С_ДКС=maxR_K, которая для двоичного симметричного канала (P(0)=P(1)=0.5; P(1|0)=P(0|1)=P_ош) определяется выражением C_ДСК=_K[1+P_ошlog₂ P_ош+(1- P_ош)log₂(1- P_ош)]

График зависимости пропускной способности ДСК от Р_ош представлен на рис. 1; правая ветвь кривой соответствует “обратной работе” – замене принимаемых двоичных символов на противоположные.

Рис. 1 Рис. 2