Розв'язання

Побудуємо розподіл ймовірностей д. в. в. X₁ (або X₂) (табл. 1):

Таблиця 1

X1	1	2	3	4	5	6
pi	1/6	1/6	1/6	1/6	1/6	1/6

Звідси знаходимо ентропію д. в. в X₁, що у даному випадку буде максимальною, оскільки значення рівноймовірні:

HX₁=HX₂=log₂6=1+log₂31+1,5852,585 (біт/сим).

Оскільки X₁ та X₂ незалежні д. в. в., то їх сумісна ймовірність визначається так:

P(X₁=i, X₂=j)=P(X₁=i)P(X₂=j)=1/36; i=1...6, j=1...6.

Побудуємо допоміжною таблицю значень д. в. в. Y =X₁+X₂ (табл.2):

Таблиця 2

X2	X1
	1	2	3	4	5	6
1	2	3	4	5	6	7
2	3	4	5	6	7	8
3	4	5	6	7	8	9
4	5	6	7	8	9	10
5	6	7	8	9	10	11
6	7	8	9	10	11	12

Обчислимо ймовірності P(Y=j) (j=2, 3, …, 12):

P(Y=2)=1/36; P(Y=3)=21/36=1/18; P(Y =4)=31/36=1/12;

P(Y=5)=41/36=1/9; P(Y=6)=51/36=5/36; P(Y=7)=61/36=1/6; P(Y=8)=51/36=5/36;P(Y=9)=41/36=1/9; P(Y=10)=31/36=1/12; P(Y=11)=21/36=1/18; P(Y=12)=1/36;

Скориставшись допоміжною таблицею (табл.2), запишемо безумовний закон розподілу д. в. в. Y (табл. 3):

Таблиця 3

Yj	2	3	4	5	6	7	8	9	10	11	12
qj	1/36	1/18	1/12	1/9	5/36	1/6	5/36	1/9	1/12	1/18	1/36

Звідси знаходимо ентропію д. в. в. Y так:

(біт/сим)

Побудуємо таблицю розподілу ймовірностей системи д. в. в. (X₁, Y) p_ij=P(X₁=i, Y=j) (табл. 4).

Таблиця 4

X1	Y
	2	3	4	5	6	7	8	9	10	11	12
1	1/36	1/36	1/36	1/36	1/36	1/36	0	0	0	0	0
2	0	1/36	1/36	1/36	1/36	1/36	1/36	0	0	0	0
3	0	0	1/36	1/36	1/36	1/36	1/36	1/36	0	0	0
4	0	0	0	1/36	1/36	1/36	1/36	1/36	1/36	0	0
5	0	0	0	0	1/36	1/36	1/36	1/36	1/36	1/36	0
6	0	0	0	0	0	1/36	1/36	1/36	1/36	1/36	1/36
	1/36	1/18	1/12	1/9	5/36	1/6	5/36	1/9	1/12	1/18	1/36

Тоді взаємна ентропія д. в. в. X₁, Y

=log₂36=2log₂6=2(1+log₂3)2+

+21,5855,17 (біт/сим).

Кількість інформації, що містить д. в. в. Y стосовно д. в. в. X₁, обчислимо за формулою . Отже,

(біт/сим).

Кількість інформації I(Y, X₁) здебільшого зручніше знайти, скориставшись властивістю 4 кількості інформації і ентропії:

.

Оскільки Y=X₁+X₂, де X₁ та X₂ – незалежні д. в. в., то

.

(біт/сим).

Відповідь: (біт/сим);

(біт/сим);

(біт/сим).

Приклад 2 Знайти ентропії дискретних випадкових величин (д. в. в.) X, Y, Z та кількість інформації, що містить д. в. в. стосовно X та Y. X, Y – незалежні д. в. в., які задаються такими розподілами (табл. 1, табл. 2):

Таблиця 1 Таблиця 2

X	1	2	3	4		Y	1	2	3	4
p	1/8	1/8	1/4	1/2		q	1/4