5.1. Одиниці виміру ентропії

Мірою апріорної (до одержання повідомлення) невизначеності системи Х в теорії інформації є ентропія.

H (Х) = - log_а P _i , (Чому потрібний знак мінус, тому що log_а P_i  0)

де і – лічильник можливих станів системи;

n – загальна кількість можливих станів системи;

P _i – ймовірність знаходження системи в і-му стані;

а – основа логарифму: будь-яке ціле число більше 1.

Від нього залежить розмірність величини H(Х).

Тобто вибір а відповідає вибору одиниць виміру ентропії: а=10 – десяткові, а=2 – двійкові.

На практиці зручно прийняти а=2, тому що це добре співвідноситься з двійковою системою подання інформації в ЕОМ (log₂ P_i).

За одиницю виміру ентропії прийнятий ступінь невизначеності системи, що має два рівноймовірних стани, й називається ця одиниця біт (bit: binary digit – двійкова цифра).

H(Х) = -(1/2 ·log (1/2) + 1/2 ·log (1/2)) = -(1/2·(-1) + 1/2 (-1)) = 1 біт

1 біт визначає ентропію одного розряду двійкового числа, котре з рівною ймовірністю може бути 0 чи 1.

Ентропія системи, що має n рівноймовірних станів, дорівнює логарифму числа можливих станів системи.

H(Х) = - n P_ilog₂ P_i = -n1/nlog₂ (1/ n) = -(log₂ 1- log₂ n) = log₂ n,

бо ймовірність і-го стану системи Р_і=1/n.

Наприклад, ентропія системи Х, що має n = 256 рівноймовірних станів:

H(Х) = log₂256 = 8біт = 1байт.

Лекція 12

5.2. Властивості ентропії

1. Ентропія системи, стан якої відомий, дорівнює нулю.

H(Х) = - (1 log₂ 1 + 0 log₂ 0 +…) = 0,

бо границя невизначеності lim P_i  log₂ P_i  0.

Р_і0

Якщо стан системи відомий, це означає, що ймовірність одного зі станів системи дорівнює одиниці, інших – нулю.

2. Ентропія системи з кінцевою множиною можливих станів досягає максимуму, якщо всі стани системи рівноймовірні.

H_max(X) = log₂ n

Приклад 1. Розрахуємо ентропію інвентарного № вагона. Інвентарний № вагона складається з 8 цифр; число можливих станів системи – 10⁷ , тому що 8-а цифра не випадкова.

біт

Приклад 2. На вантажний двір за добу прибуває 2 вагона, причому P=0,3 – це ймовірність того, що кожний із цих вагонів виявиться піввагоном.

Знайти ентропію системи вантажний двір, стан якої визначається прибулим числом піввагонів M.

Система Х може перебувати в одному з трьох станів:

– на вантажний двір за добу не прибуло жодного піввагона, M=0:

P₁=(1-0,3)(1-0,3)=0,49;

– на вантажний двір за добу прибув один піввагон, M=1:

P₂=(1-0,3)0,3 + 0,3 (1-0,3)=0,42;

– на вантажний двір за добу прибуло два піввагона, M=2:

P₃=0,30,3=0,09.

Таблиця 30

	Х	Х1	Х2	Х3
	M	0	1	2
	Р	0,49	0,42	0,09

H(Х)=(0,49log₂0,49+0,42log₂0,42+0,09log₂0,09)=1,34 біт

5.3. Ентропія та інформація

В міру надходження інформації про систему, її ентропія зменшується і може досягти 0, коли ми цілком одержимо інформацію про систему. Отже, кількість інформації можна вимірювати як зменшення ентропії тієї системи, про яку отримані відомості. До отримання відомостей ентропія системи має якесь певне значення H(X), після – стан системи цілком визначений, тобто H(X)=0. Таким чином отримана інформація про стан системи дорівнює зменшенню ентропії цієї системи.

Ix = H(X) - 0 =H(X),

де Iх – отримана інформація про стан системи, яку можна оцінити за допомогою ентропії.

Ix = - log P_i

Кількість інформації, необхідної для повного з'ясування стану системи, дорівнює ентропії цієї системи і називається повною інформацією.

Ix = (-log P_i)

Величину (-log P_i) можливо розглядати як часткову інформацію, яка отримана від окремого повідомлення про те, чи знаходиться система в і-му стані:

Ix_i = - logP_i – це часткова інформація про те, чи знаходиться система в і-му стані.

Тоді Iх – це інформація, яка отримана від усіх повідомлень з урахуванням їх ймовірностей. Формула, за якою визначається повна інформація Ix, має структуру формулі математичного очікування, тобто повну інформацію можна розглядати як математичне очікування кількості інформації від окремого повідомлення про стан системи:

Ix = М[ -log P(Х) ], де Х – випадковий стан системи.

Тому повну інформацію називають ще середньою інформацією про стан системи.

Оскільки всі Р_i 1, то Ix_i та Ix 0.

Коли всі стани системи рівноймовірні, то у цьому випадку часткова інформація дорівнює повної.

Ix = Ix_i = log n

Коли стани системи мають різні ймовірності, кількість інформації від різних повідомлень теж різна. Найбільша кількість інформації міститься в повідомленнях про найменш ймовірні (події) стани системи.

Висновок: найбільша часткова інформація міститься в повідомленні про найменш ймовірний стан системи.

Наприклад:

Нехай Рi = 0,1, тоді Ix_i = - log Pi = - log 0,1= 3,32 біт,

Рi = 0,01, тоді Ix_i = - log 0,01= 6,64 біт.

Часткова інформація про прибуття на вантажний район жодного, одного чи двох п/в:

Ix₀ =- log 0,49 = 1,03 біт,

Ix₁ = - log 0,42 = 1,25 біт,

Ix₂ = - log 0,09 = 3,47 біт.