23-ИСТ-1-1_Какушкина_Ольга_ПР1_ТИ

МИНОБРНАУКИ РОССИИ

Ф едеральное государственное бюджетное образовательное учреждение высшего образования

НИЖЕГОРОДСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ

УНИВЕРСИТЕТ им. Р.Е.АЛЕКСЕЕВА

Институт радиоэлектроники и информационных технологий

Кафедра «Электроника и сети ЭВМ»

Отчет по Практической работе №1

(наименование темы проекта или работы)

по дисциплине

Теория информаций, данные, знания

(наименование дисциплины)

РУКОВОДИТЕЛЬ:

________________ Табаков Д. Б.

(подпись) (фамилия, и.,о.)

СТУДЕНТ:

________________ Какушкина О. В.

(подпись) (фамилия, и.,о.)

23-ИСТ-1-1

(шифр группы)

Работа защищена «___» ____________

С оценкой ________________________

Нижний Новгород 2025

«Методы вычисления энтропии и взаимной информации»

I(X, Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) = H(X) + H(Y) – H(X, Y)

Способ №1.

Задан двумерный закон P (x_i, y_j).

	X1	X2	X3	P(X)
Y1
Y2
P(Y)

∑ P(x_i, y_j) =

Найдем закон распределения вероятности для X и Y, запишем в таблицу.

H (X, Y) = −

H (X) = −

H (Y) = −

I (X, Y) = H (X) + H (Y) - H (X, Y) = 1,36 + 0,95 – 2 = 0,31

H (X | Y) = H (X) - I (X, Y) = 1,36 – 0,31 = 1,05

H (Y | X) = H (Y) - I (X, Y) = 0,95 – 0,31 = 0,64

Способ №2.

	X1	X2	X3	P(X)
Y1
Y2
P(Y)

H (X | 𝑦_𝑗) = -

H (X | 𝑦₁) =

H (X | 𝑦₂) =

H (X | Y) = -

H (X) = −

H (Y) = −

I (X, Y) = H (X) – H (X/Y) = 1,36 – 1,05 = 0,31

H (X, Y) = H (X) + H (Y) - I (X, Y) = 1,36 + 0,95 – 0,31 = 2

H (Y | X) = H (Y) - I (X, Y) = 0,95 – 0,31 = 0,64

Способ №3.

	X1	X2	X3	P(X)
Y1
Y2
P(Y)

H (Y | ) = -

H (Y | ) =

H (Y | ) =

H (Y | ) =

H (Y | X) = -

H (X) = −

H (Y) = −

I (X, Y) = H (Y) – H (Y | X) = 0,95 – 0,64 = 0,31

H (X, Y) = H (X) + H (Y) - I (X, Y) = 1,36 + 0,95 – 0,31 = 2

H (X | Y) = H (X) - I (X, Y) = 1,36 – 0,31 = 1,05

Способ №4.

H (X) = −

H (Y | ) = -

H (Y | ) = -

H (Y | ) = -

H (Y | X) = -

H (Y) = −

I (X, Y) = H (Y) – H (Y | X) = 0,95 – 0,64 = 0,31

H (X | Y) = H (X) - I (X, Y) = 1,36 – 0,31 = 1,05

H (X, Y) = H (X) + H (Y) - I (X, Y) = 1,36 + 0,95 – 0,31 = 2

Способ №5.

H (X) = −

H (Y) = −

H (X, Y) = −

I (X, Y) = H (X) + H (Y) - H (X, Y) = 1,36 + 0,95 – 2 = 0,31

H (X | Y) = H (X) - I (X, Y) = 1,36 – 0,31 = 1,05

H (Y | X) = H (Y) - I (X, Y) = 0,95 – 0,31 = 0,64

Способ №6.

H (X) = −

H (Y) = −

H (X | 𝑦_𝑗) = -

H (X | Y) =

I (X, Y) = H (X) - H (X | Y) = 1,36 – 1,05 = 0,31

H (Y | X) = H (Y) - I (X, Y) = 0,95 – 0,31 = 0,64

H (X, Y) = H (X) + H (Y) - I (X, Y) = 1,36 + 0,95 – 0,31 = 2

Ответ:

H (X | Y) = 1,05 и H (Y | X) = 0,64.