2.Визначити диференційну ентропію неперервного повідомлення, розподіленого по рівномірному закону:

Диференційну ентропію неперервного повідомлення з заданою щільністю розподілу знайдемо в наступному вигляді:

3.Визначити диференційну ентропію неперервного повідомлення, розподіленого по лінійному закону:

Диференційну ентропію неперервного повідомлення з заданою щільністю розподілу знайдемо в наступному вигляді:

…

Визначити диференційну ентропію неперервного повідомлення, розподіленого по квадратичному закону:

.

Диференційну ентропію неперервного повідомлення з заданою щільністю розподілу знайдемо в наступному вигляді:

Визначити диференційну ентропію неперервного повідомлення, розподіленого по квадратичному закону:

.

Диференційну ентропію неперервного повідомлення з заданою щільністю розподілу знайдемо в наступному вигляді:

4.Визначити диференційну ентропію неперервного повідомлення, розподіленого по експонентному закону:

.

Диференційну ентропію неперервного повідомлення з заданою щільністю розподілу знайдемо в наступному вигляді:

8. Визначити кількість інформації, що міститься в разовому вимірюванні випадкової величини Х, рівномірно розподіленої в межах від 0 до 512, якщо похибка вимірювання розподілена по нормальному закону і середнє квадратичне значення похибки .

Розв'язання. Диференційна ентропія випадкової величини X

Залишкова диференційна ентропія визначається похибкою вимірювання

Кількість інформації, яка одержується в результаті одного виміру, визначається різницею початкової і кінцевої ентропії:

9.Ансамбль подій і об’єднанні. Ймовірності сумісних подій наведені у таблиці. Визначити: 1)ентропію ансамблів і ; 2) ентропію об’єднаного ансамблю , ; 3)умовні ентропії ансамблів.
		0,05	0,2	0,2
		0,2	0.1	0,25

Розв'язок. З очевидних рівностей:

отримаємо

p(x₁) = p(x₁,y₁) + p(x₁,y₂) = 0.05 + 0.2 = 0.25

p(x₂) = p(x₂,y₁) + p(x₂,y₂) = 0.2 + 0.1 = 0.3

p(x₃) = p(x₃,y₁) + p(x₃,y₂) = 0.2 + 0.25 = 0.45

p(y₁) = p(x₁,y₁) + p(x₂,y₁) + p(x₃,y₁) = 0.05 + 0.2 + 0.2 = 0.45

p(y₂) = p(x₁,y₂) + p(x₂,y₂) + p(x₃,y₂) = 0.2 + 0.1 + 0.25 = 0.55

Тоді ентропія повідомлень:

Знаходимо ентропію об'єднаного ансамблю:

Умовні ентропії зручно визначити так:

H(Y/X) = H(X,Y) – H(X) = 1,007

H(X/Y) = H(X,Y) – H(Y) = 1,467

10.Ансамбль подій і об’єднанні. Ймовірності сумісних подій наведені у таблиці. Визначити: 1)ентропію ансамблів і ; 2) ентропію об’єднаного ансамблю , ; 3)умовні ентропії ансамблів.
		0,2	0,05	0,3
		0,1	0.15	0,2

Розв'язок. З очевидних рівностей:

отримаємо

p(x₁) = p(x₁,y₁) + p(x₁,y₂) = 0.2 + 0.1 = 0.3

p(x₂) = p(x₂,y₁) + p(x₂,y₂) = 0.05 + 0.15 = 0.2

p(x₃) = p(x₃,y₁) + p(x₃,y₂) = 0.3 + 0.2 = 0.5

p(y₁) = p(x₁,y₁) + p(x₂,y₁) + p(x₃,y₁) = 0.2 + 0.05 + 0.3 = 0.55

p(y₂) = p(x₁,y₂) + p(x₂,y₂) + p(x₃,y₂) = 0.1 + 0.15 + 0.2 = 0.45

Тоді ентропія повідомлень:

Знаходимо ентропію об'єднаного ансамблю:

Умовні ентропії зручно визначити так:

H(Y/X) = H(X,Y) – H(X) = 0.241

H(X/Y) = H(X,Y) – H(Y) = 0.733

11.Ансамбль подій і об’єднанні. Ймовірності сумісних подій наведені у таблиці. Визначити: 1)ентропію ансамблів і ; 2) ентропію об’єднаного ансамблю , ; 3)умовні ентропії ансамблів.
		0,05	0,2
		0,15	0,3
		0,25	0,05

Розв'язок. З очевидних рівностей:

отримаємо

p(x₁) = p(x₁,y₁) + p(x₁,y₂) + p(x₁,y₃) = 0.05 + 0.15 + 0.25 = 0.45

p(x₂) = p(x₂,y₁) + p(x₂,y₂) + p(x₂,y₃) = 0.2 + 0.3 + 0.05 = 0.55

p(y₁) = p(x₁,y₁) + p(x₂,y₁) = 0.05 + 0.2 = 0.25

p(y₂) = p(x₁,y₂) + p(x₂,y₂) = 0.15 + 0.3 = 0.45

p(y₃) = p(x₁,y₃) + p(x₂,y₃) = 0.25 + 0.05 = 0.3

Тоді ентропія повідомлень:

Знаходимо ентропію об'єднаного ансамблю:

Умовні ентропії зручно визначити так:

H(Y/X) = H(X,Y) – H(X) = 1,335

H(X/Y) = H(X,Y) – H(Y) = 0.789

12.Ансамбль подій і об’єднанні. Ймовірності сумісних подій наведені у таблиці. Визначити: 1)ентропію ансамблів і ; 2) ентропію об’єднаного ансамблю , ; 3)умовні ентропії ансамблів.
		0,05	0,2
		0,1	0,3
		0,3	0,05

Розв'язок. З очевидних рівностей:

отримаємо

p(x₁) = p(x₁,y₁) + p(x₁,y₂) + p(x₁,y₃) = 0.05 + 0.1 + 0.3 = 0.45

p(x₂) = p(x₂,y₁) + p(x₂,y₂) + p(x₂,y₃) = 0.2 + 0.3 + 0.05 = 0.55

p(y₁) = p(x₁,y₁) + p(x₂,y₁) = 0.05 + 0.2 = 0.25

p(y₂) = p(x₁,y₂) + p(x₂,y₂) = 0.1 + 0.3 = 0.4

p(y₃) = p(x₁,y₃) + p(x₂,y₃) = 0.3 + 0.05 = 0.35

Тоді ентропія повідомлень:

Знаходимо ентропію об'єднаного ансамблю:

Умовні ентропії зручно визначити так:

H(Y/X) = H(X,Y) – H(X) = 1.278

H(X/Y) = H(X,Y) – H(Y) = 0.712

13.Ансамбль подій і об’єднанні. Ймовірності сумісних подій наведені у таблиці. Визначити: 1)ентропію ансамблів і ; 2) ентропію об’єднаного ансамблю , ; 3)умовні ентропії ансамблів.
		0,1	0,1	0,3
		0,2	0.1	0,2

Розв'язок. З очевидних рівностей:

отримаємо

p(x₁) = p(x₁,y₁) + p(x₁,y₂) = 0.1 + 0.2 = 0.3

p(x₂) = p(x₂,y₁) + p(x₂,y₂) = 0.1 + 0.1 = 0.2

p(x₃) = p(x₃,y₁) + p(x₃,y₂) = 0.3 + 0.2 = 0.5

p(y₁) = p(x₁,y₁) + p(x₂,y₁) + p(x₃,y₁) = 0.1 + 0.1 + 0.3 = 0.5

p(y₂) = p(x₁,y₂) + p(x₂,y₂) + p(x₃,y₂) = 0.2 + 0.1 + 0.2 = 0.5

Тоді ентропія повідомлень:

Знаходимо ентропію об'єднаного ансамблю:

Умовні ентропії зручно визначити так:

H(Y/X) = H(X,Y) – H(X) = 0.961

H(X/Y) = H(X,Y) – H(Y) = 1.446

14.Ансамбль подій і об’єднанні. Ймовірності сумісних подій наведені у таблиці. Визначити: 1)ентропію ансамблів і ; 2) ентропію об’єднаного ансамблю , ; 3)умовні ентропії ансамблів.
		0,1	0,05	0,2
		0,2	0.15	0,3

Розв'язок. З очевидних рівностей:

отримаємо

p(x₁) = p(x₁,y₁) + p(x₁,y₂) = 0.1 + 0.2 = 0.3

p(x₂) = p(x₂,y₁) + p(x₂,y₂) = 0.05 + 0.15 = 0.2

p(x₃) = p(x₃,y₁) + p(x₃,y₂) = 0.2 + 0.3 = 0.5

p(y₁) = p(x₁,y₁) + p(x₂,y₁) + p(x₃,y₁) = 0.1 + 0.05 + 0.2 = 0.35

p(y₂) = p(x₁,y₂) + p(x₂,y₂) + p(x₃,y₂) = 0.2 + 0.15 + 0.3 = 0.65

Тоді ентропія повідомлень:

Знаходимо ентропію об'єднаного ансамблю:

Умовні ентропії зручно визначити так:

H(Y/X) = H(X,Y) – H(X) = 0.924

H(X/Y) = H(X,Y) – H(Y) = 1.475

15.Ансамбль подій і об’єднанні. Ймовірності сумісних подій наведені у таблиці. Визначити: 1)ентропію ансамблів і ; 2) ентропію об’єднаного ансамблю , ; 3)умовні ентропії ансамблів.
		0,05	0,1	0,3
		0,2	0.1	0,25

Розв'язок. З очевидних рівностей:

отримаємо

p(x₁) = p(x₁,y₁) + p(x₁,y₂) = 0.05 + 0.2 = 0.25

p(x₂) = p(x₂,y₁) + p(x₂,y₂) = 0.1 + 0.1 = 0.2

p(x₃) = p(x₃,y₁) + p(x₃,y₂) = 0.3 + 0.25 = 0.55

p(y₁) = p(x₁,y₁) + p(x₂,y₁) + p(x₃,y₁) = 0.05 + 0.1 + 0.3 = 0.45

p(y₂) = p(x₁,y₂) + p(x₂,y₂) + p(x₃,y₂) = 0.2 + 0.1 + 0.25 = 0.55

Тоді ентропія повідомлень:

Знаходимо ентропію об'єднаного ансамблю:

Умовні ентропії зручно визначити так:

H(Y/X) = H(X,Y) – H(X) =0.927

H(X/Y) = H(X,Y) – H(Y) = 1.373

16. Визначити кількість інформації, що міститься в разовому вимірюванні випадкової величини X, рівномірно розподіленої в межах від 0 до 256, якщо похибка вимірювання розподілена по нормальному закону і середнє квадратичне значення похибки σ = 5 .

Розв'язання. Диференційна ентропія випадкової величини X

біт

Залишкова диференційна ентропія визначається похибкою вимірювання

Кількість інформації, яка одержується в результаті одного виміру, визначається різницею початкової і кінцевої ентропії: