ТИК_П2_БойцоваМП_321Б

Практична робота 2

Завдання 2.5.1

Якщо є чотири рівно ймовірних події, то ймовірність кожної з них дорівнює 1/4.

Таким чином, ентропія буде максимальною:

біт/повідомлення

Завдання 2.5.2

Тоді абсолютна надмірність джерела дорівнює 0.

Обчислимо відносну надмірність:

X = 1 – 1.8464/2 = 1 – 0.9232 = 0.0768 біт\повідомлення

Абсолютна надмірність:

∆Н = 2 – 1.8464 = 0.1536 біт\повідомлення

Завдання 2.5.3

Х3 х3 = 1

1 Х2 х2 = 01

0 1 х1 = 001

!х3 х1 х4 = 000

0 1

!х2 0

!х1=х4

Завдання 2.5.4

Для задачі 1

I(х1) = -log2(0.2) = 2.3219 біт

I(x2) = -log2(0.3) = 1.73697 біт

I(x3) = -log2(0.4) = 1.3219 біт

I(x4) = -log2(0.1) = 3.3219 біт

Для задачі 3

I(x1) = 3 біт

(кодується 3-знаковою комбінацією)

I(x2) = 2 біт

I(x3) = 1 біт

I(x4) = 3 біт

Завдання 2.5.5

Обчислимо середню довжину як математичне сподівання:

0.2*3 + 0.3*2 + 0.4 + 0.1*3 = 0.6 + 0.6 + 0.4 + 0.3 = 1.9 біт/символ

Н(Х)< n<Hmax

Завдання 2.5.6

Обчислимо продуктивність джерела:

R=

R = 1.8464/1.9*10^(-8) =97181000 біт/с = 11863 Кбайт/с = 11.86 Мбайт/с

Завдання 2.5.7

X1

0.2 X2

0.8 0.375

!x1 x3

0.625 0.8

!x2 0.2

!x3=x4

Розрахунки наведено нижче:

P1(x2) = 0.3 : 0.8 = 0.375

P1(x3) = 0.4 : 0.8 = 0.5

P1(x4) = 0.1 : 0.8 = 0.125

Перевірка: 0.375 + 0.5 + 0.125 = 1

P2(x3) = 0.5 : 0.625 = 0.8

P2(x4) = 0.125 : 0.625 = 0.2

Перевірка: 0.8 + 0.2 = 1

Перевірка правильності розкладу (рухаємось за графом):

Р(х4) = 0.8*0.625*0.2 = 0.1

Р(х3) = 0.8*0.625*0.8 = 0.4

Р(х2) = 0.8*0.375 = 0.3

Р(х1) = 0.2

Обчислимо ентропію (рухаємось за графом):

H = біт/повідомлення

Таким чином, ентропія не змінюється , якщо розкласти процедуру вибору подій на декілька етапів. Ми бачимо, що ентропія з першою задачі приблизно дорівнює ентропії, яку було обчислено шляхом розкладання вибору подій.