3. О бчислення безумовної та умовної ентропії джерела.

Ентропія - це математичне сподівання по часткових кількостях інформації повідомлень, що генеруються джерелом. Безумовна ентропія джерела обчислюється по формулі

[біт/пов.] (6)

При цьому не враховується статистичний зв'язок між символами, тому така ентропія називається безумовною.

З виразу (6) бачимо, що ентропія джерела рівна нулю тоді, коли одна з ймовірності рівна одиниці, а решта вірогідності відповідно рівна нулю, тобто коли має місце повній визначеності вибору.

З другого боку, легко показати, що найбільша невизначеність вибору при заданому об'ємі алфавіту К відповідає ситуації, коли апріорна вірогідність всіх вибірок рівна між собою. В цьому випадку ентропія рівна

[біт / пов.] (7)

Між значеннями величин ентропій, обчисленими по формулах (6) і (7), повинна дотримуватися очевидна умова

(8)

Облік статистичних зв'язків між символами, послідовно вибираних джерелом веде до подальшого зменшення ентропії, визначуваної формулою (6), що не враховує цього зв'язку. Ентропія, що враховує статистичну залежність між символами, називається умовною і знаходиться за формулою:

[біт/повід] (9)

де [біт/повід] (10)

- умовна часткова ентропія, обчислювана для кожного символу .

При цьому повинна виконуватись очевидна умова:

(11)

За розрахунками отримаємо:

біт/пов.,

біт/пов.,

біт/пов.,

біт/пов.,

біт/пов.

Знаючи умовну ентропію повідомлення можна обчислити його надмірність, що враховує надлишкову кількість символів у повідомленні, ніж це потрібно для передачі даної інформації:

(12)

а також головну характеристику джерела – його продуктивність:

[біт/с] (13)

де с (14)

- середня тривалість одного символу, видаваного джерелом.

Отже, маємо:

,

с,

біт/с.

4. С татистичне двійкове кодування джерела

Статистичне (або ефективне) кодування використовується для виключення, точніше за істотне зменшення надмірності повідомлень, обумовленої залежністю символів, що виробляються джерелом.

Одним з широко використовуваних на практиці алгоритмів статистичного кодування, наприклад, в програмах-архіваторах комп'ютерних файлів, є код Шеннона-Фано.

Користуючись даною методикою (алгоритмом) проведу побудову укрупненого алфавіту використовуючи комбінації символів по 4. Всі можливі комбінації, що відповідають укрупненому алфавіту та ймовірності їх появи відображені в таблиці 3 :

Таблиця 3. (Ймовірність появи символів вторинного алфавіту)

Символ вторинного алфавіту	Комбінація	Число появлень у тексті	Ймовірність появи
	AAAA	2	0.010
	AAAB	10	0.0507
	AABA	13	0.0659
	AABB	6	0.0304
	ABAA	15	0.0761
	ABAB	22	0.0913
	ABBA	8	0.1116
	ABBB	15	0.0761
	BAAA	10	0.0507
	BAAB	9	0.0456
	BABA	23	0.1167
	BABB	17	0.0862
	BBAA	4	0.0203
	BBAB	18	0.0913
	BBBA	14	0.0710
	BBBB	11	0.0558
		Сума = 197	Сума = 1.0

Відповідні кодові комбінації та їх довжини за методом Шеннона-Фано, для даного укрупненого алфавіту, приведені в таблиці 4.

Таблиця 4. (Кодування по алгоритму Шеннона-Фано)

		1-ий розряд	2-ий розряд	3-ий розряд	4-ий розряд	5-ий розряд	6-ий розряд	- довжина комбінації
B11	0,1167	1	1	1				3
B7	0,1116	1	1	0				3
B6	0,0913	1	0	1				3
B14	0,0913	1	0	0	1			4
B12	0,0862	1	0	0	0			4
B5	0,0761	0	1	1	1			4
B8	0,0761	0	1	1	0			4
B15	0,0710	0	1	0	1			4
B3	0,0659	0	1	0	0			4
B16	0,0558	0	0	1	1			4
B2	0,0507	0	0	1	0			4
B9	0,0507	0	0	0	1	1		5
B10	0,0456	0	0	0	1	0		5
B4	0,0304	0	0	0	0	1		5
B13	0,0203	0	0	0	0	0	1	6
B1	0,01	0	0	0	0	0	0	6

Для того, щоб оцінити ефективність одержаного статистичного коду, обчислю середню довжину кодової комбінації і коефіцієнт стискання по формулах:

, (15)

(16)

де - загальна довжина початкового тексту в двійкових розрядах,

, (17)

- кількість укрупнених символів у початковому тексті, розбитому на блоки по m символів в кожному.

Причому знайдені величини повинні приблизно задовольняти співвідношенням:

(18)

(19)

В результаті отримаю:

_{lcр=3*0.1167+3*0.1116+3*0.0.913+4*0.0913+4*0.0862+4*0.0761+4*0.0761+}

_{+4*0.0710+4*0.0659+4*0.0558+4*0.0507+5*0.0507+5*0.0456+5*0.0304+}

_{+6*0.0203+6*0.01=4.0665}

,

,

.

Правильність розрахунків перевіряю з умов: