4. Кількість інформації по Шенону. Ентропія, як міра невизначеності інформації, та її властивості

Хай заданий деякий ансамбль подій, тобто перелік подій з вказівкою імовірності появи кожної з них.

Верхній рядок містить номери подій, що поступають, нижня – імовірність їх появи.

Якщо застосувати формулу Хартлі щодо кількості інформації, яка одержується при реалізації і-ої події, то вона дорівнює

Кількість інформації, яку несе в середньому одна подія можна розглядати як математичне очікування

Одержаний вираз називається ентропією чи ентропією джерела:

Букви алфавіту О, Е, А зустрічаються в тексті порівняно частіше, ніж букви Щ, И, ‘.

В цьому випадку середня кількість інформації, що доводиться на одне повідомлення джерела, визначається як математичне очікування: сума добутків імовірності повідомлень на “статистичну” кількість інформації в них:

(1)

У теорії інформації ентропія характеризує невизначеність ситуації до передачі повідомлення, о­скільки заздалегідь невідомо, яке з повідомлень джерела буде передано.

Ентропія має наступні властивості:

1) вона завжди позитивна, оскільки ;

2) при рівноімовірних повідомленнях ентропія є максимальною і дорівнює , коли ;

3) вона дорівнює нулю лише у тому випадку, коли всі імовірності дорівнюють нулю, за винятком однієї, яка дорівнює одиниці;

4) ентропія декількох незалежних джерел дорівнює сумі ентропії цих джерел;

5) ентропія збільшується при збільшенні числа подій (кидок гральної кістки має ентропію більше, ніж кидок монети);

6) кількість переданої інформації можна збільшити не лише за рахунок збільшення числа повідомлень, але і шляхом підвищення ентропії джерела, тобто інформаційній ємності його повідомлень.

Розглянуті джерела незалежних дискретних повідомлень є простим типом джерел (їх також називають джерелами без пам’яті). У реальних умовах картина значно ускладнюється із-за наявності статистичних зв’язків між повідомленнями (випадок джерел залежних повідомлень (джерел з пам’яттю)). Прикладом може бути звичайний текст, де поява тієї і іншої букви залежить від попередніх буквених поєднань. Так, наприклад, після поєднання ШТ імовірність дотримання явних букв А, Е, І більше, ніж приголосних.

Статистичний зв’язок очікуваного повідомлення з попереднім кількісно оцінюється спільною імовірністю або умовною імовірністю , яка виражає імовірність появи повідомлення , за умови, що до цього було передано повідомлення . Кількість інформації, що міститься в повідомленні за умови, що відоме попереднє повідомлення , буде дорівнювати: . Середня кількість інформації при цьому визначається умовною ентропією, яка обчислюється як математичне очікування інформації по всіх можливих повідомленнях і :

(2)

Якщо джерело створює послідовність повідомлень, що мають статистичний зв’язок, і характер цього зв’язку відомий, то частина повідомлень є надмірною, оскільки вона може бути відновлена по відомих статистичних зв’язках.

,

де: , – ентропії джерел з надмірністю і без надмірності відповідно; відношення називається коефіцієнтом стиснення.

Для української мови , для окремих букв знаходиться в межах від 4,05 до 2 біт, тобто надмірність складає близько 50%.