2. Алфавітний підхід до вимірювання кількості інформації.

При визначенні кількості інформації на основі зменшення невизначеності наших знань ми розглядаємо інформацію з погляду змісту, її зрозумілості та новизни для людини. Із цього погляду в досвіді по киданню монети однакова кількість інформації отримується у зоровому образі монети, що впала і в короткому повідомленні "Орел", і в довгій фразі "Монета впала на поверхню землі тією стороною догори, на якій зображений орел".

Однак при зберіганні й передачі інформації за допомогою технічних пристроїв доцільно відволіктися від змісту інформації й розглядати її як послідовність знаків (букв, цифр, кодів кольорів пікселів зображення тощо).

У такому випадку доцільно використовувати алфавітний підхід до вимірювання кількості інформації, який дозволяє визначити кількість інформації, що міститься у тексті.

Алфавіт – множина символів, яка використовується при запису тексту.

Потужність (розмір) алфавіту – повна кількість символів у алфавіті.

Наприклад:

• потужність алфавіту з російських букв дорівнює 32 (без букви е);

• потужність алфавіту тексту набраного із клавіатури дорівнюють 256 (рядкові й прописні латинські й росіяни букви, цифри, знаки арифметичних операцій, дужки, розділові знаки й т.д.);

• потужність двійкового алфавіту дорівнює 2;

• потужність алфавіту арифметичних виражень дорівнює 16 (цифри 0, 1, 2, 3, 4, 5, 6, 7, 8, 9; операції +, -, *, / ; знак = ; кома).

При алфавітному підході вважається, що кожен символ тексту має інформаційну ємність. Інформаційна ємність знака залежить від потужності алфавіту.

Слід використовувати наступні позначення:

N – потужність алфавіту;

K – кількість символів у тексті;

i – кількість інформації, яку несе кожен символ алфавіту;

I – об’єм інформації, що міститься у тексті.

Якщо припустити, що всі символи алфавіту зустрічаються у тексті з однаковою частотою (рівноймовірно), то кількість інформації, яку несе кожен символ, обчислюється по формулі:

і = log₂ N або 2ⁱ=N.

Якщо весь текст складається із K символів, то при алфавітному підході розмір інформації, яка міститься у ньому обчислюється по формулі:

I = K∙i = K∙ log₂ N

Швидкість передачі інформації вимірюється в бітах за секунду й обчислюється по формулі:

V = І/t,

де V – швидкість передачі інформації, І – кількість інформації в повідомленні, t - час передачі повідомлення.

Приклад

Так, у російському алфавіті, якщо не використати букву ё, кількість подій (букв) дорівнює 32. Тоді: 32=2^і, звідки і = 5 бітів.

Отже, кожен символ несе 5 бітів інформації (його інформаційна ємність дорівнює 5 бітам).

3. Імовірнісний підхід до вимірювання кількості інформації.

Як нам вже відомо, інформація є складним поняттям, до тлумачення якого існує багато різних підходів. Цілком зрозуміло, що це зумовлює наявність різних підходів і до вимірювання інформації. Перша спроба кількісного оцінювання інформації відноситься до кінця 50-х років минулого сторіччя, коли з’явилася робота американського інженера Р. Хартлі стосовно вимірювання інформації, яка передається по каналах зв'язку. З цієї роботи ведеться відлік історії існування інформатики (іноді кажуть “інформології”, підкреслюючи її теоретичний аспект) як науки, тому що наявність міри основної категорії є неодмінним атрибутом науки.

Щоб ознайомитися з мірою Р. Хартлі, розглянемо просту ігрову ситуацію. Людина підкидує монету. До одержання повідомлення про те, як саме впала монета – орлом чи решкою, людина знаходиться у стані невизначеності щодо результату кидка. Повідомлення партнера дає інформацію, яка знімає цю невизначеність. Зауважимо, що число можливих виходів в описаній ситуації дорівнює двом (орел або решка), обидва вони рівноймовірні, і передана інформація цілком знімає невизначеність. Р. Хартлі прийняв «кількість інформації», яка передана по каналу зв'язку щодо двох рівноправних виходів і знімає невизначеність шляхом вказівки на один із них, за одиницю інформації. Ця одиниця одержала назву «біт».

Так, один біт ми отримуємо у відповіді на запитання, яке передбачає можливість тільки двох рівноймовірних варіантів відповіді: “так” або”ні”, “чорне” або “біле” , “холодне” або “гаряче” тощо.

На випадок наявності декількох (N) рівноймовірних виходів Р. Хартлі запропонував таку формулу для визначення кількості інформації (і) у повідомленні про реалізацію певної ситуації (однієї з N):

і = log₂N

Для N=2 наведена формула дає, цілком істотно, І=1 біт.

Приклади:

Приклад 1. Ми маємо у кишені 8 фішок, які розрізняються лише за кольором, і навмання дістаємо одну з них він. Повідомлення про те, що витягнута фішка є червоною, за мірою Р. Хартлі містить 3 біти інформації:

і = log₂8 = log₂2³ =3 * log₂2=3

Приклад 2. Ми кидаємо гральний кубик. Повідомлення, що ми “викинули” 5 очок, містить

і = log₂ 5 = 2,32193 бітів інформації. Як бачимо, кількість інформації не обов’язково є цілим числом.

Приклад 3. Серед 27 монет є одна фальшива, яка відрізняється від справжніх тільки за вагою – вона легша за справжню. Для знаходження фальшивої монети маємо терези без важелів. За яку найменшу кількість виважень ми зможемо знайти фальшиву монету?

Зазначимо, що фальшивою може бути будь-яка з монет, тому за формулою Р. Хартлі кількість інформації, необхідна для виявлення фальшивої монети, дорівнює

і = log₂27

Якщо ми на терезах порівнюємо вагу двох монет (або двох груп монет з однаковою кількістю), то в результаті виваження маємо одну з трьох рівноймовірних ситуацій: “терези у рівновазі”, “ліва чаша переважує” або “права чаша переважує”. Таким чином, з одного виваження отримуємо і = log₂3 бітів інформації. Звідси знаходимо рівняння для визначення потрібної кількості виважень k:

log₂ 27 = k log₂3,

3 log₂3 = k log₂3,

k = 3

Дійсно, для знаходження фальшивої монети розділимо 27 монет на три групи по 9 монет і дві будь-які групи покладемо на терези. Перше виваження дозволяє встановити групу, у якій знаходиться фальшива (більш легка) монета. Монети цієї групи розділимо, у свою чергу, на три групи по 3 монети і другим виваженням знайдемо групу, яка містить фальшиву монету. Для знаходження фальшивої монети серед 3-х залишається третім виваженням порівняти ваги будь-яких двох монет з останньої групи.

Існує безліч ситуацій, коли можливі події мають різні ймовірності реалізації.

Наприклад:

1. Коли повідомляють прогноз погоди, то відомості про те, що буде дощ, більш імовірно влітку, а повідомлення про сніг – узимку.

2. Якщо ви – кращий студент, то ймовірність повідомлення про те, що за контрольну роботу ви одержали 5, більше, ніж імовірність одержання двійки.

3. Якщо на озері живе 500 качок й 100 гусей, то ймовірність підстрелити на полюванні качку більше, ніж імовірність підстрелити гусака.

4. Якщо в мішку лежать 10 білих куль та 3 чорних, то ймовірність дістати чорну кулю менше, ніж імовірність витаскування білого.

5. Якщо монета несиметрична (одна сторона важче іншої), то при її киданні ймовірності випадання "орла" або "решки" будуть різнитися.

Творець статистичної теорії інформації К. Шеннон узагальнив результат Р. Хартлі. Його роботи з’явилися відповіддю на бурхливий розвиток у середині ХІХ століття засобів телезв'язку: радіо, телефону, телеграфу, телебачення. Теорія інформації К. Шеннона дозволяла ставити і вирішувати задачі про оптимальне кодування сигналів із метою підвищення пропускної потужності каналів зв'язку, підказувала шляхи боротьби з пошкодженнями на лініях тощо.

Американський інженер і математик Клод Элвуд Шеннон у 1948 р. запропонував формулу для обчислення кількості інформації у випадку різних імовірностей подій: К. Шеннон, на відміну від Р. Хартлі, розглянув випадок, коли стани системи розрізняються за ймовірністю їх реалізації, тобто система з однією ймовірністю може перебувати у стані 1, з іншою – у стані 2 і т.д. Якщо система характеризується N станами (i = 1, 2,…, N), ймовірність яких, відповідно, p₁, p₂, …, p_N, то за К. Шенноном кількість інформації, яка міститься в системі, визначається за формулою:

Кожна складова цієї суми відбиває внесок від реалізації певного (i-го, де i = 1, 2,…N) стану системи:

де І – кількість інформації;

N – кількість можливих подій;

p_і – імовірність і-ї події. Імовірність події виражається в частках одиниці й обчислюється по формулі:

де k – кількість конкретних подій, тобто величина, що показує, скільки разів відбулося подія, яка задовольняє заданій умові.

Знак мінус у формулі Шеннона не означає, що кількість інформації в повідомленні – від’ємна величина. Пояснюється це тим, що ймовірність р, відповідно до визначення, менше одиниці, але більше нуля. Тому що логарифм числа, з одиниці, тобто log p_і – величина від’ємна, то добуток імовірності на логарифм числа буде додатнім.

Приклад

Нехай при киданні несиметричної 4-х гранної пірамідки ймовірності окремих подій будуть рівні:

Тоді

Цей підхід до визначення кількості інформації називається імовірнісним.

У роботах Р. Хартлі і К. Шеннона інформація постає перед нами лише у своїй зовнішній оболонці, яка подана відношеннями сигналів, знаків, повідомлень друг до друга – синтаксичними відношеннями. Кількісна міра Хартлі – Шеннона не претендує на оцінювання змістовної (семантичної) або ціннісної, корисної (прагматичної) сторін переданого повідомлення.

Якщо кількість можливих варіантів інформації не є цілим степенем числа 2, тобто якщо кількість інформації число дійсне, то необхідно скористатися калькулятором або наступною таблицею:

Таблиця імовірностей:

N	I	N	I	N	I	N	I
1	0,00000	17	4,08746	33	5,04439	49	5,61471
2	1,00000	18	4,16993	34	5,08746	50	5,64386
3	1,58496	19	4,24793	35	5,12928	51	5,67243
4	2,00000	20	4,32193	36	5,16993	52	5,70044
5	2,32193	21	4,39232	37	5,20945	53	5,72792
6	2,58496	22	4,45943	38	5,24793	54	5,75489
7	2,80735	23	4,52356	39	5,28540	55	5,78136
8	3,00000	24	4,58496	40	5,32193	56	5,80735
9	3,16993	25	4,64386	41	5,35755	57	5,83289
10	3,32193	26	4,70044	42	5,39232	58	5,85798
11	3,45943	27	4,75489	43	5,42626	59	5,88264
12	3,58496	28	4,80735	44	5,45943	60	5,90689
13	3,70044	29	4,85798	45	5,49185	61	5,93074
14	3,80735	30	4,90689	46	5,52356	62	5,95420
15	3,90689	31	4,95420	47	5,55459	63	5,97728
16	4,00000	32	5,00000	48	5,58496	64	6,00000