Основные свойства взаимной информации

1. Взаимная информация может быть отрицательной, положительной и равной нулю в зависимости от соотношения между априорной и апостериорной вероятностями

–  < I(x_j ; y_k)<  (4)

2. Взаимная информация не превышает собственную

I(x_j ; y_k) I(x_j )

I(x_j ; y_k)  I(y_k ) (5)

Взаимная информация достигает максимума, когда принятый символ y_k однозначно определяет переданный символ x_j , т.е. j=k,

I(x_j ; y_k)_max= – log p(x_j)

3. Свойство симметрии

I(x_j ; y_k)= I(y_k; x_j) (6)

4. Свойство аддитивности количества информации

I(x_j, z_i ; y_k, q_l)= I(x_j; y_k)+ I(z_i ; q_l) (7)

Если пара XY независима от пары ZQ , то информация, содержащаяся в паре y_k, q_l относительно пары x_j, z_i , равна сумме информации, содержащейся в y_k относительно x_j и информации , содержащейся в q_l относительно z_i.

Задачи для решения в аудитории.

Задача 1.

Сколько информации содержится в сообщении о том, что сумма очков на двух подброшенных игральных костях равна 7.

Задача 2.

Сколько информации содержится в сообщении о том, что сумма очков на двух подброшенных игральных костях есть четное число.

Задача 3.

Бросаются одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том, что произведение чисел выпавших очков четно.

Задача 4.

	1. По дискретному каналу передаются сообщения x1, x2 и x3. Вследствие действия шумов на выходе канала появляются сигналы y1, y2. Вероятности совместного появления заданы табл.
	хi	yk
		y1	y2
	х1	0,4	0,1
	х2	0,2	0,15
	x3	0,1	0,05
Вычислить взаимную информацию I (x3; y1); I (x1; y2); I (x2; y2).

Задачи для самостоятельного решения.

Задача С1.

В цехе работают 7 мужчин и 3 женщины. По табельным номерам наудачу отобраны 3 человека. Найти количество информации, содержащееся в сообщении "все отобранные люди – мужчины".

Задача С2.

Из шести букв разрезной азбуки составлено слово "машина". Ребенок, не умеющий читать, рассыпал эти буквы и затем собрал в произвольном порядке. Какое количество информации будет содержаться в утверждении, что у него снова получилось слово "машина"?

Задача С3.

Два стрелка, для которых вероятности попадания в мишень равны соответственно 0.6 и 0.7, производят по одному выстрелу. В результате оказалось, что мишень поражена. Какое количество информации содержится в этом сообщении?

Задача С4.

3. По двоичному каналу с помехами передаются равновероятные и статистически независимые сообщения x1 и x2. В результате действия помех они преобразуются в сигналы y1, y2, y3. Условные вероятности переходов р(yk / xj) заданы табл. Вычислить взаимную информацию I (x1; y3).
хi	yk
	y1	y2	Y3
х1	5/8	2/8	1/8
х2	1/8	5/8	2/8
Вычислить взаимные информации I (x3; y1); I (x1; y3); I (x2; y2).

Задачи на дом.

Задача Д1.

При фототелеграфической передаче изображения кадр состоит из 2,5х10⁶ элементов. Для хорошего воспроизведения необходимы 12 градаций (уровней) яркости. Предполагается, что все уровни яркости встречаются с одинаковой вероятностью. Элементы изображения независимы. Какое количество информации надо передать по каналу связи, если передача продолжается пять минут.

Задача Д2.

В некотором городке четверть женщин – блондинки, половина – брюнетки и четверть – шатенки. Блондинки всегда приходят на свидание вовремя, брюнетки – кидают монету и в зависимости от результата приходят на свидание вовремя или опаздывают, а шатенки всегда опаздывают.

Определить взаимную информацию между высказыванием "женщина пришла на свидание вовремя" относительно каждого из следующих предположений:

А) она блондинка;

Б) брюнетка;

В) шатенка.

Задача Д3.

Д2. По двоичному каналу с шумом передаются сообщения x1, x2, x,3 с вероятностями 0.2, 0.3 и 0.5. На выходе канала появляются сигналы y1, y2, y3. Условные вероятности переходов р(yk / xj) заданы табл. Вычислить взаимную информацию I (x1; y3); I (x3; y1).
yk	y1	y2	y3
x1	3/4	1/8	1/8
x2	1/8	3/4	1/8
x3	1/8	1/8	3/4