Собственная информация и энтропия

Пусть в канале отсутствуют помехи. Тогда между элемен­тами множеств X и Y имеет место взаимно однозначное соответствие и p(x_i|y_j)=1 при i=j. В этих условиях количе­ство информации, которое у_j (j=i) доставляет об x_i, соглас­но (3) равно

I(x_i)= - log p(x_i)= - log p(y_j).

Эта величина называется собственным количеством информации, которое несет символ x_i, причем всегда I(x_i) >0. Усредняя I(x_i) по всему множеству X, получим количество информации, которое в среднем несут сообщения множества X. Среднее значение совпадает с энтропией

,

где .

Взаимная информация

Источник информации и приемник можно рассматривать как подсистемы одной сложной системы. Взаимную информа­цию между состояниями подсистем, используя (3), можно записать в виде

. (4)

Поскольку сложная система случайным образом приходит в то или иное состояние, определяемое парой чисел (x_i, y_j), то I(x_i, y_j) будет случайной величиной, которую можно усреднить по всему множеству состояний. В результате почленного усреднения (4) получим выражение для средней (полной) взаимной информации:

, (5)

где

С точки зрения информационного описания системы связи безразлично, какую из подсистем рассматривать в качестве передатчика, а какую в качестве приемника.

Поэтому энтропии Н(Х) и H(Y) можно интерпретировать как информацию, которая поступает в канал связи, а услов­ные энтропии H(X/Y), H(Y/X) как информацию, которая рассеивается в канале. В [1] доказано, что I(Х,Y)>0.

При выполнении указанного неравенства из (5) следует, что

Условную энтропию можно представить в виде

где величина

называется ч а с т н о й у с л о в н о й э н т р о п и е й. Она харак­теризует неопределенность состояния системы А в случае, когда известно состояние у у наблюдаемой системы В. Зафик­сировав состояние у_j системы В, мы тем самым изменяем комплекс условий, при которых может реализоваться собы­тие x_i . Это обнаруживается как изменение вероятности реа­лизации события x_i (имеет место статистическая зависимость). Если до изменения условий указанная вероят­ность была равна безусловной (полной) вероятности p(x_i), то после изменения условий она стала равной условной вероятности р(x_i,y_j). При отсутствии статистической зависи­мости Н(X| у_j) = Í(Õ), поскольку

Таблица 1

X y	x1	x2	p(yj)
y1 y2	0,5 0,25	0 0,25	0,5 0,5
p(xi)	0,75	0,25

Таблица 2

X y	x1	x2
y1 y2	1 0,5	0 0,5

При наличии статистической зависимости энтропия Н(Х|у_j) может оказаться как меньше, так и больше Н(Х). Напомним, что для энтропии H(X|Y) всегда справедливо неравенство

.

В качестве примера вычислим энтропии Н(X), H(X|Y), H(X|y_j) и взаимную информацию I(X, Y) , когда системы А и В описываются двумерным распределением р(x_i, у_j), заданным в виде табл. 1. Вычисленные значения условной вероятности записаны в табл. 2

Используя записанные в таблицах значения вероятностей, получим

Отсюда

3. Дискретные источники сообщений и их описание эргодические источники

Источник будем называть эргодическим, если его вероятностные параметры можно оценить по одной достаточ­но длинной реализации, которую он вырабатывает. При не­ограниченном возрастании длины реализации (п) оценка параметра (результат измерения) совпадает с его истинным значением с вероятностью, равной единице. Например, при бросании игральной кости можно оценить вероятность выпа-дания какой-либо цифры через относительную частоту ее появления в достаточно длинной серии испытаний. Указанная серия испытаний представляет собой ту самую реализацию, по которой осуществляется оценка вероятности (параметра). Реализации, по которым можно оценить закон распределе­ния, являются типичными. Поэтому эргодическим источни­ком можно назвать источник, который вырабатывает типич­ные последовательности. Типичная последовательность несет сведения о структуре источника, то есть является типичной для данного источника. Если два источника различаюгся своей структурой (значением оцениваемого параметра), то, наблюдая реализацию, можно определить, какому из них она принадлежит. Источник, эргодический по одному параметру, может оказаться не эргодическим по другому параметру.