Лекция 3 пропускная способность каналов электросвязи

2.1. Вероятностные модели каналов связи в теории информации

2.2. Информационные характеристики каналов связи

2.3. Пропускная способность каналов связи

2.4. Возможности обмена мощности на полосу частот сигнала, достоверности – на скорость передачи

2.1. Вероятностные модели каналов связи в теории информации

В данном вопросе ограничимся моделью дискретного канала связи (ДКС).

Под дискретным каналом связи принято понимать совокупность средств, предназначенных для передачи дискретных сигналов. Дискретный канал связи состоит из модулятора, непрерывного канала и демодулятора (рис.2.1).

Рис.2.1. Обобщенная структурная схема ДКС

Сообщение источника информации (ИИ) после кодирования преобразуется в символ Х и модуляции превращается в сигнал U, поступающий в линию связи (ЛС). В результате воздействия на U помех сигнал Z на приемной стороне отличается от U.

Приемная часть содержит демодулятор, преобразующий Z в символ Y и декодер, преобразующий символ Y в сообщение , поступающий к получателю информации.

На вход канала подаются дискретные символы X, образующие алфавит источника сообщений х₁, х₂, х₃, …, х_N.

На выходе дискретного канала появляются дискретные символы Y, которые характеризуются совокупностью символов y₁, y₂, y₃, …, y_N (рис.2.2).

Каждое из передаваемых символов х₁, х₂, х₃, …, х_N характеризуется вероятностью появления на выходе источника р(х₁),р(х₂),р(х₃), …, р(х_N).

Канал связи характеризуется априорными условными вероятностями переходов (рис.2.2) . Если = , где - вероятность правильного приема и , при , где - вероятность ошибки, то такой канал называется симметричным.

2.2. Информационные характеристики каналов связи Информация

Источник информации (передатчик) и приемник можно рассматривать как подсистемы одной сложной системы.

Если рассматривать рис.2.1 в качестве модели процесса пере­дачи сообщений по дискретному каналу или каналу передачи дан­ных (КПД), то можно выделить ансамбль символов на выходе источника X и ансамбль символов на входе приемника (получателя) Y.

Каждый из этих ансамблей характеризуется своим распреде­лением вероятностей:

(2.1)

Объединение этих ансамблей характеризуется взаимными вероятностями

. (2.2)

Условную информацию можно определить из выражения

. (2.3)

Взаимную информа­цию между состояниями подсистем можно записать в виде

.

Умножая числитель и знаменатель под логарифмом на p(y_j) и учитывая равенства

,

получим

(2.4)

Отсюда следует, что у_j несет об x_i такое же количество ин­формации, какое x_i несет об у_j (свойство симметрии). Поэтому I (x_i,у_j) называется взаимным количеством информации между i-м символом множества Х и j-м символом множества Y..

Поскольку сложная система случайным образом приходит в то или иное состояние, определяемое парой (x_i, y_j), то I(x_i, y_j) будет случайной величиной, которую можно усреднить по всему множеству состояний.

Энтропия, среднее количество информации в принятом сообщении

При передаче дискретных сообщений по ДКС различают следующие энтропии:

• - безусловная энтропия источника, или среднее количество информации на символ, выдаваемое источником.

• – безусловная энтропия приемника или среднее количество информации на символ, получаемое приемником.

• – условная энтропия Y относительно Х, или мера количества информации в приемнике, когда известно, что передается Х. Эта энтропия харак­теризует количество ложной информации, созда­ваемой помехами:

• – условная энтропия X относительно Y, или мера количества информации об источнике, когда известно, что принимается Y. Харак­теризует количество информации, потерянной за счет помех:

Условную энтропию можно так же представить в виде

где величина

называется частной условной энтропией. Она харак­теризует неопределенность состояния системы А (передатчика) в случае, когда известно состояние у_j у наблюдаемой системы В (приемника). Зафик­сировав состояние у_j системы В, мы тем самым изменяем комплекс условий, при которых может реализоваться событие x_i. Это обнаруживается как изменение вероятности реа­лизации события x_i (имеет место статистическая зависимость). Если до изменения условий указанная вероят­ность была равна безусловной (полной) вероятности p(x_i), то после изменения условий она стала равной условной вероятности р(x_i|y_j). При отсутствии статистической зависи­мости

, поскольку

При наличии статистической зависимости энтропия Н(Х|у_j) может оказаться как меньше, так и больше Н(Х). Напомним, что для энтропии H(X|Y) всегда справедливо неравенство

.

• = – совместная энтропия системы передачи (энтропия объединения) – средняя информация на пару (переданного и принятого) символов:

.

Для независимых систем

Для зависимых систем

В качестве примера вычислим энтропии Н(X), H(X|Y), H(X|y_j) и взаимную информацию I(X,Y), когда системы А и В описываются двумерным распределением р(x_i, у_j), заданным в виде табл. 2.1. Вычисленные значения условной вероятности записаны в табл. 2.2

Таблица 2.1

X y	x1	x2	p(yj)
y1 y2	=0,5 =0,25	=0 =0,25	0,5 0,5
p(xi)	0,75	0,25

Таблица 2.2

X y	x1	x2
y1 y2	=1 =0,5	=0 =0,5

Используя записанные в таблицах значения вероятностей, получим

Отсюда

Скорость передачи информации

Скорость передачи информации по дискретному каналу связи без помех

Среднее количество информации, переносимое одним символом равно энтропии символа на входе канала

.

Скорость передачи информации будет зависеть от количества информации , приходящейся на один символ, или энтропии символа Н(Х) на входе канала и скорости передачи элементарных символов сигнала :

,

где , - длительность элементарного символа.

Скорость передачи информации по дискретному каналу связи с помехами

Среднее количество информации, переносимое одним символом при наличии помех

.

Тогда скорость передачи информации:

. (2.5)

Смысл соотношения (2.5) представляется моделью, приведенной на рис. 2.3.

Рис. 2.3. Модель системы передачи информации в условиях помех

Источник входных символов выдаёт среднее количество информации Н(Х). За счет помех часть этой информации теряется в канале Н(Х|Y) и создается ложная информация Н(Y|Х). Количество информации на выходе (полная, а не относительно источника!) равно сумме количества информации I(Х,Y) переданного по каналу и ложной информации Н(Y|Х) создаваемой помехами. Смысл обозначения на рисунке 2.3 следующий: Н`(Х) – производительность источника передаваемых сообщений; Н`(Y) – производительность канала, т.е. полная информация в принятом сигнале за единицу времени, Н`(Х|Y) – скорость утечки информации при прохождении через канал. Н`(Y|Х) – скорость передачи посторонней информации, не имеющей отношения к Х и создаваемой присутствующими в канале помехами. Практически, это информация о помехах, получаемая на выходе канала.

Рассмотрим пример определения скорости передачи информации по каналу связи. Пусть источник сообщений вырабатывает символы с вероят­ностями р₁=0,2; р₂=0,7; р₃=0,1. Корреляция между этими величинами отсутствует. Передача осуществляется двоичным кодом. Длительность элемента кода t_n=1мс.

Необходимо определить скорость передачи информации.

Скорость передачи информации определим из выражения

.

Для этого определим среднюю энтропию сообщений на один символ. Для этого используем выражение для нашего случая:

Для передачи трех сообщений двоичным кодом необходимо хотя бы два разряда, т.е. кодовая комбинация должна состоять из двух элементов. Значит, длина кодовой комбинации t_kk=2t_n, а скорость передачи сигналов

Скорость передачи информации составит