3.5. Канальные матрицы

Для полного и всестороннего описания канала связи необходимо задать: канальную матрицу вида и безусловные вероятности видаили канальную матрицу видаи безусловные вероятности вида, или канальную матрицу вида. Вероятности, которые расположены по диагонали матриц, определяют правильный прием, остальные - ложный. Значение цифр, заполняющих колонки канальной матрицы, обычно уменьшаются по мере удаления от главной диагонали и при полном отсутствии помех все, кроме цифр, расположенных на главной диагонали, равны нулю.

Если описывать канал связи со стороны источника сообщений, то прохождение данного вида сигнала в данном канале связи описывается распределением условных вероятностей вида , так для сигналараспределением вида

Сумма вероятностей распределения (13) всегда равно 1. При этом канальная матрица имеет вид:

Y X	y1 y2 … yj … ym
x1 x2 … xi … xm	………………………………………………………………. ……………………………………………………………….

Потери информации, которые приходятся на долю сигнала , описываются при помощичастной условной энтропии вида

.

Суммирование производится по j, так как i-е состояние (в данном случаи первое) остается постоянным.

Чтобы учесть потери при передаче всех сигналов по данному каналу связи, следует просуммировать все частные условные энтропии, т. е. произвести двойное суммирование по i и j. При этом в случае равновероятностных появлений сигналов на выходе источника сообщений

(на m делим, так как энтропия есть неопределенность на один символ).

В случае не равновероятного появления символов источника сообщений следует учесть вероятность появления каждого символа, умножив на нее соответствующую частную условную энтропию. При этом общая условная энтропия

.

Если канал связи исследуется со стороны приемника сообщений, то с получением сигнала предполагаем, что был послан какой-то из сигналов При этом канальная матрица будет иметь вид

Y X	y1 y2 … yj … ym
x1 x2 … xi … xm	………………………………………………………………. ……………………………………………………………….

В этом случае единице должны равняться суммы условных вероятностей не по строкам, а по столбцам канальной матрицы

.

Частная условная энтропия определяется как

а общая условная энтропия

Если заданы канальная матрица вида и безусловные вероятности вида , то безусловные вероятности приемника находим как , т.е. если заданы безусловные вероятности источника и канальная матрица, то может быть вычислена энтропия приемника

и наоборот, если заданы вероятности вида и канальная матрица, описывающая канал связи со стороны приемника сообщений, то а значит может быть определена энтропия источника сообщений

Энтропия объединения может быть подсчитана при помощи матрицы вида

Такая матрица обладает замечательным свойством: Сумма значений матрицы по столбцам дает безусловные вероятности вида а сумма по строкам дает безусловные вероятности вида. Это свойство, в свою очередь, позволяет вычислять энтропию как источника, так и приемника сообщений непосредственно по канальной матрице

,

.

Суммирование производится по i и j, так как для того, чтобы найти безусловные вероятности, необходимо суммировать их по одной координате (имея в виду матричное представление вероятностей), а для нахождения энтропии суммирование производится по другой координате.

Напомним, что условные вероятности могут быть найденными из выражений:

Зная условные и безусловные вероятности, можно найти Н(X), Н(Y), Н(X/Y) и Н(Y/X).