Лабораторна робота №1

Кількісна оцінка інформації – ентропія

Мета роботи: набути навики визначення кількості інформації рівноймовірних та нерівноймовірних повідомлень. Засвоїти способи обчислення ентропії.

Короткі теоретичні відомості

Число повідомлень N, які можна отримати, комбінуючи m символів алфавіту по n елементів в повідомленні визначається як

.

Наприклад, при алфавіті з 2-х символів (m=2) та при 3-х елементах в повідомленні можна передати N=2³=8 повідомлень.

Кількість інформації, що міститься в n повідомленнях:

,

де а основа логарифму, що не впливає на кількість інформації, а визначається лише зручність обчислень. Так, кількість інформації при а=10 буде виражена в десяткових бітах (дітах), а=2 – двійкові біти. Основа логарифму впливає на зручність обчислень

Кількість інформації пов’язана зі зняттям невизначеності, яка існувала до отримання повідомлення. Чим більша невизначеність була до передачі повідомлення, тим більша кількість інформації міститься в прийнятому повідомленні. В теорії інформації мірою невизначеності є ентропія. Ентропія – це питома кількість інформації, що припадає на один елемент повідомлення. Для повідомлення з n елементів ентропія рівна:

;

Коли поява будь-якого з m елементів повідомлення рівноймовірна, то:

.

При а=2 (бінарний код):

(біт/символ)

Кількість інформації в n повідомленнях алфавіту m для рівноймовірних і взаємонезалежних символів

(біт).

для нерівноймовірних алфавітів

(біт).

Практичні завдання для підготовки до роботи

Завдання 1. Визначити

.

Завдання 2. Як визначити кількість інформації в повідомленні, якщо відомий алфавіт повідомлень і кількість символів у повідомленні? Навести приклад.

Завдання 3. Скількома способами можна передати положення фігури на шахматній дошці? Визначити і порівняти кількість інформації в кожному випадку.

Виконання роботи

1. Виконати обчислення середньої ймовірності появи окремих літер українського, російського та англійського алфавітів шляхом аналізу різноманітних текстів (мова відповідно до варіанту завдання табл. 1).

2. На основі досліджень п.1 створити таблицю розподілу ймовірностей літер в повідомленнях відповідною мовою.

3. За створеною таблицею визначити :

   1. максимальну ентропію I_max.

   2. ентропію для нерівноймовірних взаємонезалежних літер I.

4. Визначити вказані в п.3 величини (I_max, I) з врахуванням пропуску між окремими словами.

5. Дослідити функцію зміни ентропії на екстремум, побудувати графік . Пояснити характер зміни ентропії.

6. Визначити кількості інформації на символ повідомлення і в усьому повідомленні для довільного тексту, складеного з алфавіту символів відповідно до варіанту завдання (табл. 2).

7. Визначити кількість інформації контрольного тексту.

Контрольні запитання

1. Дати визначення понять інформація, повідомлення, сигнал).

2. Що таке джерело повідомлень?

3. Що таке ансамбль повідомлень?

4. Охарактеризуйте неперервні та дискретні повідомлення.

5. Які є типи повідомлень?

6. Що розуміють під поняттям кодування повідомлень?

7. Яка залежність між кількістю інформації і кількістю комбінацій, складених з даного алфавіту?

8. Як визначити кількість інформації в одному повідомленні?

9. Дати пояснення поняття ентропія.

10. Що таке безумовна ентропія?

11. Що таке умовна ентропія?

12. Пояснити основні властивості безумовної ентропії.

13. В яких одиницях вимірюється ентропія, кількість інформації?

14. Яка різниця у визначенні кількості інформації для рівномірних та нерівномірних символів?

Таблиця 1

а

у

р

а

а

у

р

р

у

а

у

а

а

у

р

Таблиця 2

а

р

а

р

у

р

у

а

а

р

а

р

р

а

а