Кафедра «Радиоэлектронных систем»

Кафедра «Радиоэлектронных систем»

Дисциплина ОТРЭС

1. Классификация каналов передачи информации

Классификация каналов передачи информации (КПИ) может проводится в широком и в узком смысле.

Классификация КПИ в широком смысле осуществляется по виду сообщений на входе {x} и выходе {y} канала.

Если сообщения {x} и {y} дискретные, то КПИ называется

дискретным, если {x} и {y} непрерывные – непрерывным. Если одно из сообщений {x} или {y} дискретное, а другое непрерывное, то КПИ называется соответственно дискретно-непрерывным или непрерывно-

дискретным.

Кафедра «Радиоэлектронных систем»

Дисциплина ОТРЭС

Классификация КПИ в узком смысле осуществляется по виду сообщений и сигналов на входе и выходе соответствующего сечения канала, и она аналогична приведенной классификации.

Таким образом, КПИ могут быть дискретными, непрерывными,

дискретно-непрерывными или непрерывно-дискретными.

Дискретные КПИ могут быть симметричными и несимметричными.

Дискретный КПИ симметричный, если все символы сообщения принимаются одинаково верно с вероятностью правильного приема q, а если неверно, то они с одинаковой вероятностью ошибки переходят в любой из L – 1 остальных символов источника.

В противном случае КПИ несимметричный.

Кафедра «Радиоэлектронных систем»

Дисциплина ОТРЭС

2. Количество информации, переданной по каналу

производительностью источника сообщений.

Вследствие воздействия помех часть передаваемой информации «теряется» в канале, в результате чего количество информации, переданной по каналу, в общем случае меньше количества информации, передаваемой по каналу.

ИС выдает на вход канала передаваемое сообщение {x}. ПС с выхода канала получает принятое сообщение {y}, которое в общем случае отличается от передаваемого сообщения {x}.

Для ПС принятое сообщение {y} является сообщением, переданным ему по КПИ.

Пусть ИС выдал на вход канала символ xk, k ϵ [1, L]. Из-за помех, действующих в yn, n ϵ [1, L], может как совпасть, так и не совпасть с переданным символом xk, k ϵ [1, L]. Поэтому, с точки зрения ПС, переданный

символ xk является случайным и характеризуется вероятностью его передачи при условии, что был принят символ yn, т.е. характеризуется условной вероятностью Р(xk| yn), где k, n ϵ [1, L].

Кафедра «Радиоэлектронных систем»

Дисциплина ОТРЭС

Если помех нет, то

Используя интуитивно-вероятностный подход, определим частное количество информации, потерянной при передаче символа xk при условии приеме символа yn по формуле:

1.ί(xk|yn) ≥ 0, так как 0 ≤ Р(xk|yn) ≤ 1.

2.ί(xk|yn) возрастает с уменьшением Р(xk|yn).

3.ί(xk, xί||yn,yj) = ί(xk|yn) + ί(xί|yj), если xk и xί независимы.

4.ί(xk|yn) = 0 при отсутствии помех в канале, так как в этом случае Р(xk|yn) = 1 при k

= n и Р(xk|yn) = 0 при k ≠ n.

5. ί(xk|yn) = ί(xk) при обрыве линии связи, так как в этом случае xk и yn независимы: Р(xk| yn) = Р(xk).

Кафедра «Радиоэлектронных систем»

Дисциплина ОТРЭС

6. В общем случае логично предположить:

- если сообщение принято правильно, то количество потерянной информации не превышает количество переданной информации:

ί(xk|yn) < ί(xk), если k = n;

- если сообщение принято неверно, то количество потерянной информации не меньше количества переданной информации и, кроме того, может быть принята дополнительная ложная информация, приведшая к ошибке:

ί(xk|yn) ≥ ί(xk), если k ≠ n.

Частное количество информации, переданное по каналу при передаче символа xk и приеме символа yn зависит от частных количеств информации,

передаваемой в канал ί(xk) и теряемой при передаче по каналу ί(xk|yn): ί(xk, yn) = ί(xk) – ί(xk|yn).

Из шестого свойства ί(xk|yn) следует:

ί(xk, yn) ≥ 0 при правильном приеме, т.е. при k = n; ί(xk, yn) ≤ 0 при k ≠ n, т.е. в случае ошибки.

Отрицательное значение ί(xk, yn) означает, что при неправильном приеме символа yn получателю будет выдана ложная информация.

Кафедра «Радиоэлектронных систем»

Дисциплина ОТРЭС

Условная энтропия H(x|y) определяется по формуле:

Смысл условной энтропии можно представить с двух позиций:

-среднее количество информации, теряемое в канале при передаче одного символа сообщения;

-среднее количество информации, которой не хватает получателю принятой информации I(x,y), чтобы иметь полное знание о передаваемом символе сообщения.

Представленная формула условной энтропии H(x|y) не отображает ее связь с характеристиками ИС и КПИ, т.к.:

-Р(yn) – безусловная вероятность приема символа yn;

-Р(xk|yn) – условная вероятность передачи символа xk, если принят символ yn.

Для установления связи условной энтропии H(x|y) с характеристиками ИС и КПИ воспользуемся формулой Байеса:

Р(xk, yn) = Р(xk) Р(yn|xk) = Р(yn) Р(xk|yn).

Кафедра «Радиоэлектронных систем»

Дисциплина ОТРЭС

Используя формулу Байеса, получим:

где Р(xk) – вероятность выдачи ИС символа xk, называемая априорной вероятностью, т.е. заранее известной получателю;

Р(yn|xk) – условная вероятность правильного приема переданного символа при n = k или условная вероятность ошибочного приема переданного символа при n ≠ k, если передан символа xk, называемая

апостериорной вероятностью, т.е. известной получателю после приема сообщения.