Основна частина

1. Кількісний вимір інформації.

Передача інформації здійснюється сигналами. Як кодувати? Як забезпечити безпеку інформації? Як забезпечити перепускну спроможність каналу? Всі ці питання ведуть до необхідності кількісного описання інформації.

Теорія інформації була розроблена для вивчення кількісних закономірностей, що супроводжують одержання, передачу, зберігання та обробку інформації. Точніше, слід говорити про дані. Клод Шеннон.

Теóрія інформáції — це розділ математики, який досліджує процеси зберігання, перетворення і передачі інформації.

Інформація потрібна там, де є щось невідоме. Якщо відоме – інформація нульова. Невідомість – це невизначеність. Переходимо до абстрактної системи, що може мати певну кількість станів.

Якщо йдеться про систему, що має декілька станів (будемо говорити про дискретні стани або про дискретизацію станів), її реальний стан є невизначеним. Ентропія.

Одержання інформації – зменшення кількості невизначених станів: чим більше станів, тим більше потрібно інформації. Інформація залежить від ймовірності кожного стану.

Це можна пояснити таблицею:

Стани X	1	2	3	...	n-1	n
Ймовірність P	P1	P2	P3		Pn-1	Pn

Вводимо поняття ентропії, як міри невизначеності. Вийшли (Шеннон) на формулу:

тут мінус – тому що логарифми є від’ємними.

Така форма запису ентропії обрана тому, що:

1. Вона дорівнює нулю, коли один стан є достовірним.

2. Збільшується при збільшенні кількості станів;

3. Максимальна, якщо стани рівноймовірні.

На практиці основою логарифму обрали 2. Це узгоджується з ЕОМ та зручно для вибору одиниці ентропії. Звідси прийшли до одиниці ентропії: біт. Це ентропія, яка виникає у системі, що має лише два рівно ймовірні стани.

Подана таблиця є знайомою. Це – статистичний ряд. Різниця в тому, що тут розглядається стан системи. Тому, щоб визначити ентропію, треба визначити стани та вказати відповідні ймовірності.

Приклад.

стани	X1	X2
ймовірність	P1	P2

Якщо P₁ дорівнює P₂ тобто по 0,5, то H(X) = - (0,5 log 0,5 + 0,5 log 0,5) = - ( 0,5* (0-1) + 0,5* (0-1)) =1.

H(X) = - (0,1 log 0,1 + 0,9 log 0,9) = 0,3322 + 0,1368

Ще приклад: вісім рівно ймовірних станів. H(X) = 8(1/8 log 1/8) = 3 біт.

1.1. Вимірювання інформації.

Інформація – це зменшення ентропії при прийомі повідомлень.

I(X) = H(X) – 0

Повністю копіює формулу ентропії.

Кількість інформації, потрібна для повного з’ясування стану певної фізичної системи, дорівнює ентропії цієї системи.

Інформація тим більша, чим більш близькі ймовірності станів.

Найінформативніша відповідь «так» чи « ні». Максимальна інформація при цьому дорівнює одній двійковій одиниці.

Приклад. Загадана цифра з 1…8. I(X) потрібна не менш як 3 біт.

1. чи менше 5? Ні

2. чи менше 7? Так

3. чи менше 6? Ні.

У преферансі 32 карти (2⁵) – треба 5 біт : масть чорна? Трефа чи піка? Далі – 8 карт.