5.1. Одиниці виміру ступеню невизначеності системи

Мірою апріорної (до одержання повідомлення) невизначеності системи Х в теорії інформації є ентропія.

, (Чому потрібний знак мінус, тому що логарифм чисел менших за одиницю величина від’ємна, ≤ )

де – лічильник можливих станів системи;

–загальна кількість можливих станів системи;

–ймовірність перебування системи в і-му стані;

–будь-яке ціле число більше за одиницю. Від нього залежить розмірність ентропії. Тобто вибір величини відповідає вибору одиниць виміру ентропії: – десяткові, – двійкові.

Оскільки всі ð, тому ентропія невід’ємна величина.

На практиці зручно прийняти , тому що це добре співвідноситься з двійковою системою подання інформації в ЕОМ .

За одиницю виміру ентропії прийнятий ступінь невизначеності системи, що має два рівноймовірні стани, й називається ця одиниця біт (bit: binary digit – двійкова цифра).

біт

біт визначає ентропію одного розряду двійкового числа, котрий з рівною ймовірністю може бути нулем чи одиницею.

Ентропія системи, яка має рівноймовірних станів, дорівнює логарифму числа можливих станів системи.

,

бо ймовірність і-го стану системи .

Наприклад, ентропія системи , що має рівноймовірних станів:

біт байт.

5.2. Властивості ентропії

1. Ентропія системи, стан якої відомий, дорівнює нулю.

,

бо границя невизначеності .

Якщо стан системи відомий, це означає, що ймовірність одного зі станів системи дорівнює одиниці, решти – нулю.

2. Ентропія системи з кінцевою множиною можливих станів досягає максимуму, якщо всі стани системи рівноймовірні.

.

Приклад 1. Розрахуємо ентропію інвентарного № вагона. Інвентарний № вагона складається з -ми цифр; число можливих станів системи – , тому що -у цифру не можна вважати випадковою.

біт.

Приклад 2. На вантажний двір за добу прибуває 2 вагона, причому – це ймовірність того, що кожний із цих вагонів виявиться піввагоном.

Знайти ентропію системи вантажний район, стан якої визначається прибулим числом піввагонів протягом доби.

Система може перебувати в одному з трьох станів:

– на вантажний район за добу не прибуло жодного піввагона, :

;

– на вантажний район за добу прибув один піввагон, :

;

– на вантажний район за добу прибуло два піввагона, :

.

Таблиця 30

Стан системи
Кількість піввагонів
Ймовірність

біт.

Лекція 11

5.3. Ентропія та інформація

В міру надходження інформації про систему, її ентропія зменшується і може досягти , коли ми одержимовсю інформацію про систему, тобто з’ясуємо стан, в якому перебуває система. Таким чином кількістю інформації можна вважати зменшення ентропії тієї системи, про яку отримані відомості. До отримання відомостей ентропія системи має якесь певне значення , після отримання – стан системи цілком визначений, тобто . Отже, кількість отриманої інформації про стан системи дорівнює зменшенню ентропії цієї системи.

,

де – отримана інформація про стан системи, яку можна оцінити за допомогою ентропії.

.

Інформація, що необхідна для повного з'ясування стану системи, називається повною інформацією.

Повна інформація про стан системи дорівнює ентропії цієї системи. А формула для її розрахунку має дещо інший вигляд:

.

Величину розглядають як інформацію, що отримана від окремого повідомлення про перебування системи ві-му стані.

Інформацію від окремого повідомлення про перебування системи в і-му стані називають частковою інформацією.

Якщо – це часткова інформація про стан системи від окремого повідомлення, тоді повну інформацію можна розглядати як інформацію, що отримана від усіх повідомлень про перебування системи в різних станах з урахуванням їх ймовірностей. Формула, за якою визначається повна інформація , має структуру формули математичного сподівання, тобто повну інформацію можна розглядати як математичне сподівання кількості інформації від окремого повідомлення про стан системи:

,

де – випадковий стан системи.

Саме тому повну інформацію називають ще середньою інформацією про стан системи.

Коли всі стани системи рівноймовірні часткова інформація дорівнює повній.

.

Коли стани системи мають різні ймовірності, кількість інформації від різних повідомлень теж різна. Найбільша кількість інформації міститься в повідомленнях про найменш ймовірні (події) стани системи.

Висновок: найбільша часткова інформація міститься в повідомленні про найменш ймовірний стан системи.

Наприклад:

нехай , тоді біт,

але якщо , тоді біт.

Розрахуємо часткову інформацію про прибуття на вантажний район одного, двох піввагонів чи не прибуття жодного:

, біт,

, біт,

, біт.