7.1.4 Середня кількість інформації

Кількість інформації в конкретному повідомленні є випадковою величиною. Для того, щоб цілком охарактеризувати випадкову величину i, потрібно задати множину всіх її значень і ймовірності цих значень . Важливою числовою характеристикою випадкової величини i є її математичне очікування, або середня кількість інформації, що міститься в Y відносно X:

. (7.9)

Величина називається також просто кількістю інформації.

Кількість інформації можна представити в одному із таких виглядів:

де - середня кількість інформації, що міститься в значенні .

Якщо випадкова величина Y однозначно визначає випадкову величину X, то в цьому випадку кількість інформації є функцією тільки розподілу ₁),…, _n):

,

де (7.10)

(формула Шеннона). Величина визначає кількість інформації, що міститься в Х, або середню кількість власної інформації в Х та називається мірою Шеннона.

Середня кількість інформації досягає максимуму при рівномірному розподілі, коли для всіх k = 1,…, n та

. (7.11)

Така міра кількості інформації називається мірою Хартлі.

У загальному випадку маємо:

.

Величина описує середню кількість власної умовної інформації, що міститься в Х, чи просто кількість умовної інформації, що визначається за формулою:

.

7.1.5 Ентропія як міра невизначеності

Ентропія – кількісна міра невизначеності ситуації. Термін і поняття ентропії по-різному вводиться в фізиці та теорії інформації.

В теорію інформації ентропію ввів американський математик К.Е.Шеннон. В теорії інформації ентропія – кількісна міра невизначеності випадкової величини.

Формули для визначення кількості інформації та ентропії подібні. Наприклад, ентропія системи, яка описується дискретною випадковою величиною Х із заданим рядом розподілу ймовірностей р(x₁),…, р(x_n), визначається з виразу

.

Поняття ентропії відіграє фундаментальну роль в теоремах Шеннона, що встановлюють основні закономірності оптимального кодування інформації реальних повідомлень при передачі їх по каналам зв’язку.

Ентропія має наступні властивості:

• ентропія – величина дійсна та невід’ємна;

• ентропія залежить від розподілу та не залежить від алфавіту (змісту повідомлень);

• ентропія мінімальна та дорівнює нулю, якщо Х = const, тобто всі значення ймовірностей дорівнюють нулю, крім одного, що дорівнює 1;

• ентропія максимальна і дорівнює log_an, якщо всі ймовірності =1/n.

7.1.6 Приклади розрахунків

7.1.6.1 Приклад 1. Розрахунок кількості інформації.

Нехай розподіли задані таблицями 7.1 і 7.2.

Таблиця 7.1 Таблиця 7.2

k				y1	y2	y3
1	1/4		x1	1	0	0
2	1/2		x2	1/4	1/2	1/4
3	1/4		x3	1/4	1/4	1/2

Треба знайти кількість інформації:

.

Використовуючи співвідношення теорії ймовірностей:

,

побудуємо таблиці 7.3, 7.4, 7.5 значень величин: .

Таблиця 7.3 Таблиця 7.4 Таблиця 7.5

					l
х1	1/4	0	0		1	7/16		y1	4/7	2/7	1/7
х2	1/8	1/4	1/8		2	5/16		y2	0	4/5	1/5
х3	1/16	1/16	1/8		3	1/4		y3	0	1/2	1/2

За допомогою формул (7.3), (7.7), (7.6) побудуємо таблиці значень шуканих величин в двійкових одиницях (таблиці 7.6 і 7.7).

Значення кількості інформації:

,

де .

Таблиця 7.6 Таблиця 7.7

					k, l
	1,194	-	-		1	2	1,194	1,194	0,337
	-0,806	0,678	0		2	1	1,678	1,137	0,478
	-0,806	-0,322	1		3	2	2	0,218	0,500

Значення "-" для , утворюється в результаті формальної підстановки нульового значення апостеріорної ймовірності у формулі (7.7) і означає, що поява відповідних пар (x₁ , y₂), (x₁ , y₃) неможлива. У зв'язку з цим і можливість появи значення "-" дорівнює нулю. Значення "0" для визначається тим, що значення x₂ і y₃ статистично незалежні:

та .

Крім того, і в той же час . Це пов'язано з тим, що , але .

Функція визначена на множині пар і приймає на цій множині з ненульовими ймовірностями ряд значень від - 0,806 до 1,194. Становить інтерес розподіл імовірностей цих значень. Шуканий розподіл поданий у таблиці 7.8.

Таблиця 7.8 – Розподіл імовірностей

i	-0,806	-0,322	0	0,678	1	1,194
P( i )	3/16	1/16	2/16	4/16	2/16	4/16

Знайдемо математичне очікування величини :

.

Значення може бути знайдено також шляхом усереднення:

,

а також за допомогою даних, приведених у таблиці 7.8:

= 0,4221 дв.од.

7.1.6.2 Приклад 2. Дискретне джерело А виробляє статистично незалежні повідомлення з розподілом імовірностей Р_А={0,4; 0,3; 0,15; 0,1; 0,03; 0,02}. Знайти ентропію даного джерела повідомлень.

Рішення. Ентропія Н(А) визначається за формулою:

=0,41,322+0,31,737+0,152,737+0,13,322+

+0,035,059+0,025,644 = 2,0573 біт/повідомлення.