2.4. Условная собственная информация. Взаимная информация

Обозначим возможные различные символы на входе некоторого блока системы передачи информации через , i = 1,…, m, а выходные символы через y_j, j = 1,…,n. Под символом можно подразумевать символы источника, информационные последовательности, сигналы на входе линии связи, а под символами y_j - символы закодированных сообщений, кодовые последовательности, сигналы на выходе линии связи.

Рассмотрим простейший случай, когда , i = 1,…, m, взаимно независимые. При этом источник X полностью описывается априорными вероятностями ,i=1,…,m, которые и характеризуют первоначальное незнание (первоначальную неопределенность) о появлении конкретного символа на входе блока.

При наличии помех между символами и y_j нет однозначного соответствия, т.е. символ может перейти в любой символ y_j с некоторой условной вероятностью , которую можно вычислить, если известен механизм такого перехода. Зная вероятности и,i=1,…,m, j=1,…,n, нетрудно найти вероятности появления на входе блока символов , i = 1,…, m, при условии, что на выходе блока наблюдался символ y_j. Эти вероятности, называемые апостериорными, характеризуют оставшееся незнание (оставшуюся неопределенность) о появлении на входе символов , i = 1,…, m, при наблюдении символа y_j на выходе блока.

Таким образом, полученная информация о символе при наблюдении символа y_j приводит к изменению вероятности появления символа от ее априорного значения к ее апостериорному значению.

Тогда, по аналогии с собственной, информация, содержащаяся в символе x_i при условии, что сигнал принял значение y_j, определяется как

I(xi / yj) = - log p(xi / yj),

(2.6.)

и называется условной собственной информацией.

Ее можно интерпретировать как количество информации, доставляемое событием x_i при известном событии y_j, или как количество информации, которое должно доставляться некоторым другим событием для однозначного определения события при известном y_j.

В изучении проблем передачи – приема информации, кроме рассмотренных выше величин, важную роль играет среднее значение взаимной информации между элементами различных ансамблей.

Рассмотрим снова ансамбли X и Y. Пусть ансамбли зависимы. В результате опыта (приема символа y_j) апостериорная вероятность появления символа x_i изменяется по сравнению с априорной.

Тогда количество информации относительно символа сообщения x_j, доставляемое символом y_k, определяется как логарифм отношения апостериорной вероятности к априорной

I(xi; yj) = log (p(xi / yj))/ p(xi),

(2.7.)

и называется взаимной информацией.

Поскольку , то

.

Последнее выражение указывает на симметрию выражения для количества информации относительно сигналов и.

Выражение (2.7.) может быть представлено в виде

.

(2.8.)

Первый член этого выражения может рассматриваться как количество информации в сигнале , а второй – как потери информации, связанные с искажением сигналапри преобразованиив. Если преобразование однозначно, то р(/)=1 приi=j, то

.

При отсутствии каких – либо статистических связей между ир (/)=р(), и тогда.

Ниже приведены основные свойства взаимной информации.

1. Взаимная информация может быть отрицательной, положительной или равной нулю, в зависимости от соотношения между априорной и апостериорной вероятностями

- < I(x_i; y_j) < 

2. Взаимная информация не превышает собственную

I(x_i ; y_j)  I(x_i)

I(x_i ; y_j)  I(y_j).

При данной вероятности p(x_i) взаимная информация I(x_i; y_j) достигает максимума, когда принятый символ y_j однозначно определяет переданный символ x_j и это максимальное значение взаимной информации I(x_i; y_j) = - log p(x_j), равно собственной информации, определяемой только априорной вероятностью символа x_i .

3. Свойство симметрии

I (x_i; y_j) = I (yj; x_i),

т.е. информация, содержащаяся в y_ak относительно a_x , равна информации, содержащаяся в x_j относительно y_ak . В силу этого свойства информацию I(x_j; y_ak) называют взаимной информацией между x_j и y_ak .

4.Свойство аддидивности количества информации

I(x_i , z_k; y_j, q_l) = I(x_i ; y_j) + I( z_k ; q_l) .

Если пара X,Y независима от пары Z,Q , то информация, содержащаяся в паре y_j, q_l относительно пары x_i , z_k, равна сумме информации, содержащейся в y_j относительно x_i , и информации, содержащейся в q_l относительно z_k .

Рассмотрим условное среднее значение взаимной информации для объединенного ансамбля XY. Пусть сигнал принял значение y_k. Тогда информация, содержащаяся в реализации y_k принятого сигнала относительно ансамбля передаваемых сообщений X, есть

средняя взаимная информация между ансамблем X и реализацией y_j:

(2.9.)

Аналогично информация, содержащаяся в ансамбле принятых сигналов Y относительно реализации переданного сообщения x_j, определяется как средняя взаимная информация между ансамблем Y и реализацией x_j:

(2.10.)

Наконец, средняя взаимная информация между ансамблем принимаемых сигналов Y и ансамблем передаваемых сообщением X есть то количество информации, которое содержится в среднем в ансамбле принимаемых символов Y относительно ансамбля передаваемых символов X.

(2.11.)

Взаимную информацию записать в одной из следующих форм:

.

Пример 2.56. По дискретному каналу передаются сообщения x₁ и x₂. Вследствие действия шумов на выходе канала появляются сигналы y₁, y₂ и y₃. Вероятности совместного появления заданы в таблице

xj	yk
	y1	y2	y3
x1	1/4	1/16	1/8
x2	1/8	3/16	1/4

Вычислить среднее количество информации

I(X;y₁), I(x₁;Y), I(X;Y).

Решение. а) Средняя взаимная информация в реализации сигнала на выходе y₁ относительно случайной величины X на входе канала:

Известны вероятности:

p(x₁)=7/16, p(x₂)=9/16, p(y₁)=3/8, p(y₂)=1/4, p(y₃)=3/8.

Определим условные вероятности:

Средняя информация

б) Средняя взаимная информация в выходной величине Y относительно реализации случайной величины на входе x_1:

Условные вероятности:

Средняя информация

в) Средняя взаимная информация в случайной величине Y на выходе канала относительно случайной величины X на входе:

Воспользовавшись результатами вычислений I(x₁;Y), получим для средней взаимной информации

Пример 2.57. Рассматривается ансамбль сообщений, приведенный в таблице

xi	x0	x1	x2	x3	x4	x5	x6
p(xj)	1/2	1/4	1/8	1/32	1/32	1/32	1/32
Код	001	010	100	011	101	110	111

Сообщение x₄ поступает в кодер. Вычислить дополнительную информацию об этом сообщении, доставляемую каждым последующим символом на выходе кодера.

Решение. На вход кодера поступают сообщения x₀,x₁,…, x₆ и кодер порождает соответствующие таблице двоичные символы. Так, сообщению x₄ . соответствует кодовое слово 101. Символы на выходе кодера появляются последовательно, т.е. первый символ 1, второй 0 и третий 1. Первый символ кодового слова содержит некоторую информацию относительно того, какое сообщение поступает на вход кодера. Так, первый символ 1 показывает, что на выходе могут быть сообщения x₂, x₄, x₅ или x₆ . Второй символ 0 сужает выбор – теперь на входе возможно одно из двух сообщений: x₂ или x₄ . И, наконец, последний, третий символ 1 однозначно определяет переданное сообщение.

Как известно, взаимная информация есть некоторая (логарифмическая) функция изменения вероятностей. Тогда взаимная информация, содержащаяся в первом кодовом символе 1 относительно сообщения x₄ ,

I(x₄ ; 1) = log (p(x₄ / 1))/ p(x₄).

Вероятность p(x₄ / 1) может быть найдена по формуле Байеса. Условная вероятность гипотезы

В нашем случае гипотезы x₀,x₁,…, x₆ (H_i) , а случайное событие А, имеющее место при некоторой гипотезе, есть появление кодового символа 1 на выходе кодера. Тогда формула Байеса примет такой вид:

где

т.е. условная вероятность p(1/ x₄)=0 для гипотез, у которых первый кодовый символ 0, и p(1/ x₄)=1 для гипотез, у которых первый кодовый символ 1. В формуле Байеса учитываются, таким образом, те гипотезы, при которых возможно появление 1 на первом месте.

Итак

и взаимная информация, содержащаяся в первом кодовом символе относительно сообщения x₄,

Информация, содержащаяся во втором кодовом символе 0 при условии, что первый кодовый символ был 1, есть

Информация, содержащаяся в третьем кодовом символе 1 при условии, что ему предшествовали 10, есть

Так как сообщения x_j и кодовые слова однозначно связаны, то

I(x₄) = I(x₄;1) + I(x₄;0/1) + I(x₄;1/10).

Действительно, I(x₄) = - log₂ p(x₄) = - log₂ 32 =5 бит и это равно

I(x₄) = I(x₄;1) + I(x₄;0/1) + I(x₄;1/10=2.2 + 0.48 + 2.32 =5 бит.

Пример 2.58. Алфавит источника сообщений состоит из двух элементов: a и b. Рассмотрим случаи передачи информации с помощью этих элементов:

1) Элементы независимы и равновероятны. Количество информации, которое несет каждый символ сообщения: