21

Дискретные каналы

1. Собственная информация. Взаимная информация Описание дискретного канала

Дискретным называется такой канал, сигналы на входе и выходе которого являются последовательностями дискретных случайных величин (символов).

Для полного описания канала на интервале времени, соответствующем передаче одного символа, необходимо задать ансамбли символов на входе X и выходе Y и условные вероятности переходов p(y_k/ x_j)

В дальнейшем будем обозначать:

X	x1, x2, …, xj, …., xn	– ансамбль сообщений на входе,
	p(x1), …, p(xj), …, p(xn)
y	y1, y2, …, yk, …., ym	– ансамбль сообщений на выходе.
	p(y1), …, p(yk), …, p(ym)

Собственная информация

Поскольку появление символа сообщения x_j на входе дискретного канала есть событие случайное, то говорят, что имеет место неопределенность исхода. В результате опыта неопределенность уменьшается, и при этом получается некоторое количество информации.

Тогда собственная информация символа x_j (количество информации, доставляемое самим символом x_j или любым другим, однозначно с ним связанным) определяется как

I(x_j)=log(1/ p(x_j)= – log_а p(x_j) (1)

Т.е. информация в каком-либо событии измеряется логарифмом величины, обратной вероятности его появления.

Выбор основания логарифма log_а p(x_j) определяет единицу количества информации. Если а=2, то единица информации называется двоичной (бит), при а=е – натуральной (нат), а при а=10 – десятичной (дит, хартли).

Двоичная единица количества информации, например, есть собственная информация символа, обладающего двумя равновозможными состояниями. Переход от одной системы логарифмов к другой равносилен простому изменению единицы измерения информации. Этот переход осуществляется по формуле

log _b p(x_j)=log _b a  log _a k.

Отсюда

1 нат= log ₂ е бит=1,443 бит,

1 дит= log ₂ 10=3,32 бит.

Условная собственная информация

В общем случае сообщения X и сигналы Y на входе и выходе дискретного канала зависимы. Пусть p(x_j / y_k) – условная вероятность того, что реализовалось состояние x_j ансамбля X при условии, что ансамбль Y принял состояние y_k . Тогда, по аналогии с собственной, информация, содержащаяся в символе сообщения x_j при условии, что сигнал принял значение y_k определяется как

I(x_j / y_k)= – log p(x_j / y_k) (2)

и называется условной собственной информацией.

Взаимная информация

Пусть ансамбли зависимы. В результате опыта (приема сигнала x_j) апостериорная вероятность появления символа x_j изменяется с априорной. Тогда количество информации относительно символа сообщения x_j , доставляемое символом сигнала y_k , можно определить как логарифм отношения апостериорной вероятности к априорной

I(x_j ; y_k)= log [p(x_j / y_k)/ p(x_j) ] (3)

Это есть взаимная информация.