2.2. Кількісна міра інформації

Розглянемо докладніше деякі властивості дискретного дже­рела повідомлень та моделі його ансамблю.

Нехай дискретне джерело повідомлень складається з люди-ни-спостерігача та такого фізичного процесу, як колір неба. Якщо яскравого безхмарного дня в певну мить таким джерелом вибрано повідомлення «синій», то ніяких нових відомостей до наших знань про цей об'єкт воно не дасть, тобто можна сказа­ти, що є повідомлення, але немає інформації, або її кількість дорівнює нулю.

Якщо ж за цих самих обставин джерелом вибрано якесь інше повідомлення про колір неба (наприклад, «зелений»), то воно

22

23

дасть нові відомості про спостережуваний об'єкт, які додадуть до наших знань щось нове. Тоді можна сказати, що є повідом­лення і в ньому є якась кількість інформації.

Зараз інформацію на якісному рівні інтуїтивно можна ви­значити як нове знання про стан спостережуваного об'єкта, а її кількість — як кількість нового знання про нього. Звичайно^ якщо нове знання збільшує загальний рівень знання про стан об'єкта, то кількість інформації має накопичуватися дода­ванням і повинна мати адитивний характер. З іншого боку, спостерігач у певний момент часу нічого не знає про новий стан об'єкта. Він тільки спостерігає його і, лише вибравши нове повідомлення, дозволяє дістати якесь нове знання про об'єкт. Можна сказати, що до вибору повідомлення джерелом невизначеність стану об'єкта з боку спостерігача має певний рівень.

Після вибору повідомлення джерелом утворюється деяка кількість інформації про стан спостережуваного об'єкта, яка певною мірою зменшує цю невизначеність.

Розглянемо, дещо ускладнивши, відомий приклад, пов'яза­ний з грою в шахи. Нехай дискретне джерело повідомлень скла­дається з шахівниці з фігурами та спостерігача, який у певні моменти часу повинен фіксувати стан справ на шахівниці та передавати його у вигляді повідомлень. Дискретність такого джерела визначається дискретністю та черговістю дій гравців, внаслідок чого змінюється стан спостережуваного об'єкта.

Припустимо, що спостерігач починає фіксувати стан гри на шахівниці з певного моменту після чергового ходу (тобто піс­ля чергової зміни позицій). Він має вибрати одне з множини А можливих повідомлень. Які ж відомості він повинен включити до повідомлення? Звичайно, перелік усіх наявних фігур на ша­хівниці та положення їх на полі (тобто координати кожної пози­ції) на даний момент часу. Закони побудови повідомлень з мно­жини А можуть бути різними: за мовою, знаками чи символами, складом елементів повідомлення тощо. Визначимося з елемен­тами повідомлення. Як уже з'ясовано вище, елементами по­відомлення з множини А мають бути: а) зазначення гравця або кольору фігури; б) зазначення самої фігури (яка саме фігура) або її відсутності; в) відомості про її позицію або клітинку ша­хівниці, про яку йдеться.

Спостерігач може закодувати елементи повідомлення звичай­ною мовою або якимись літерами, символами, ієрогліфами тощо. Наприклад, елемент а (білий або чорний) можна закоду­вати (позначити) цифрами 0 і 1 відповідно; елемент б (відсут­ність або назву відповідної фігури) — звичайними цифрами. Скажімо, відсутність будь-якої шахової фігури можна позна-

чити цифрою 0, а наявність пішака — 1, слона — 2, коня — З, тури — 4, ферзя — 5, короля — 6 (відомо, що ці фігури в шахо­вій літературі теж позначаються символами, але літерними).

Позицію шахової фігури можна позначити координатами клітинки, як прийнято в грі. При цьому знадобляться вісім по­значок для визначення рядка клітинки та стільки ж позначок для визначення самої клітинки в рядку. Цими позначками мо­жуть бути цифри 0, 1, 2,..., хоча й не обов'язково. Тоді, напри­клад, таке повідомлення спостерігача, як 0368 означає, що йдеться про білу (позначка 0 на першій позиції) фігуру під наз­вою «кінь» (позначка 3 на другій позиції), розміщену на вось­мій клітинці шостого рядка.

Множина А містить стільки повідомлень, скільки взагалі може бути подібних цифрових записів у цьому форматі. При такому форматі всього може бути 2x7x8x8 = 896 повідом­лень, тобто в множині A j є два повідомлення на першій пози­ції, сім — на другій та по вісім — на третій і четвертій позиціях.

Розглянемо трохи інший формат повідомлень спостерігача. Нехай він містить два, а не чотири елементи, як у попередньо­му випадку: перший — це факт відсутності шахової фігури (сим­вол 0) або зазначення однієї з 12 фігур (шість чорних і стільки ж білих), відображеної цифрами від 1 до 12; другий — це просто номер однієї з 64 клітинок шахівниці, що розглядається. Таким чином, перший елемент повідомлення може мати 13 значень, а другий — 64, тобто в множині А₂ є 13 х 64 = 832 повідомлення. Наприклад, повідомлення 037 означає, що на 37-й клітинці шахівниці немає ніякої фігури, а повідомлення 936 свідчить про те, що на 36-й клітинці розміщується, скажімо, білий кінь (цифра 9 позначає саме білого коня).

Така помітна різниця між кількістю можливих повідомлень (896 у першому та 832 в другому форматах) пояснюється дуже просто: в першому форматі до множини А _{ включено абсурдні повідомлення із взаємовиключними елементами. Це повідом­лення, в яких зазначено колір фігури, факт її відсутності та коор­динати шахової клітинки. Якщо за відсутності фігури на кожній з 64 клітинок перший формат дає змогу вказати колір фігури, то таких повідомлень має бути 128 (по 64 на кожний колір). Однак половина цих 128 повідомлень є зайвими. Звісно, немає значення, якого кольору фігура відсутня на даній клітинці. Має значення сам факт відсутності фігури, тому достатньо лише 64 таких повідомлень.

Отже, бачимо, що із 896 повідомлень 64 є зайвими, які потріб­но виключити з множини A _v Тоді А _х = 896 - 64 = 832 = А₂. Таким чином, якщо спостерігач не повинен вибирати абсурдні повідомлення, то кількість можливих повідомлень дискрет-

24

25

ного джерела за обома форматами має бути однаковою, тобто А_] = А₂.

Можна сказати, що кількість інформації в повідомленні про стан такого спостережуваного об'єкта, як шахівниця, незалеж­но від побудови цього повідомлення (чи то з множини A_v чи то з множини А₂) залишається однаковою. Якщо перекодува-ти повідомлення про певний стан об'єкта в інших символах, скажімо, двійкових, то для повідомлення з множини A j потрібно 10 цифр: одна — колір шахової фігури (це 0 або 1) та по три — її назва, номер рядка і номер клітинки в рядку. Для повідом­лення з множини А₂ також потрібно 10 цифр: чотири — назва фігури чи її відсутність і шість — номер клітинки. З іншого боку, кількість повідомлень A j = А ₂ = 832 можна подати в двійковій формі, що потребує теж 10 двійкових цифр, оскільки задоволь­няється нерівність 2¹⁰ > 832 > 2⁹.

Таким чином, на інтуїтивному, якісному рівні можна дійти висновку, що кількість інформації може бути нульовою або мати якесь ненульове значення, повідомлення можна порівню­вати за кількістю інформації в них, кількість інформації має накопичуватись додаванням, якщо складність повідомлення зростає.

Отже, розгляд дискретного джерела та множини його пові­домлень приводить до формулювання таких природних вимог для визначення кількості інформації:

1. у повідомленні про вірогідний випадок вона має дорівню­вати нулю;

2. у двох незалежних повідомленнях вона має дорівнювати сумі кількостей інформації в кожному з них;

3. вона не повинна залежати від якісного змісту повідомлен­ня (ступеня його важливості, відомостей тощо).

Про зміст і значення першої вимоги йшлося вище. Друга вимога має на увазі статистично не зумовлені повідомлення. Скажімо, в наведених прикладах з шахами на формування еле­ментарних повідомлень із множини А, потрібно мати таку кіль­кість двійкових цифр: 1; 3; 3; 3, а повідомлень із множини А₂ — 4 та 6. Однак складне повідомлення з обох множин потребує 10 двійкових цифр, що дорівнює сумі кількостей цифр в обох випадках.

Третя вимога зумовлена необхідністю абстрагуватися від конкретного змісту повідомлення заради досягнення найзагаль-нішого характеру визначення кількості інформації.

Таким чином, для визначення кількості інформації в повідом­ленні треба виходити з найзагальнішої його характеристики. Таку характеристику, очевидно, дає модель джерела — ан­самбль повідомлень.

Вище ми користувалися лише множиною повідомлень з ан­самблю. Звернімо тепер увагу на множину ймовірностей цих повідомлень р (а) є Р. Якщо йдеться про вірогідний випадок, імовірність якого/? (а) = /?, = 0 або/?, = 1 (ніколи не відбудеться неможливий випадок або точно відбудеться), то кількість ін­формації в ньому І(а₍) = 0, оскільки рівень невизначеності щодо стану об'єкта після вибору джерелом такого повідомлення не змінився. Якщо ж джерело вибере не таке вже наперед визначе­не повідомлення, то рівень невизначеності щодо стану об'єкта знизиться. Отже, кількість інформації в повідомленні має бути функцією ймовірності цього повідомлення, тобто І (a_t) =f(p_t),

Я,-Є A,Pg€ P.

Для задоволення другої вимоги можна врахувати, що ймо­вірність двох незалежних повідомлень а_хтг.а₂ за законом мно­ження ймовірностей р (a_v a₂) -р(а\)р (сг₂). Проте кількість ін­формації у цих двох повідомленнях

і(а₁,а₂) = і(а₁) + і(а₂). (2.1)

Звідси випливає необхідність вибору такої функції/(p_t), зна­чення якої при перемноженні її аргументів/?, додавалися б і щоб /(0) =/(1) = 0. Єдиною функцією з такими властивостями є логарифмічна функція

Ца) = к log р(а}₉ (2.2)

де к — коефіцієнт, який узгоджує розмірності (згадаємо обго­ворення розмірів і мір для кожного з них), а логарифм береться за будь-якою зручною основою.

При такому визначенні кількості інформації задовольняю­ться всі три наведені вище вимоги. Вибір основи логарифма не принциповий, тому що від неї залежить лише одиниця фізич­ної величини (змінюється значення к):

к_х log_mp (a) = k_x log_m n \og_np (а) = к₂ \og_np (a). (2.3)

Для того щоб кількість інформації / виражалась додатним числом, покладемо к = -1, оскільки р (а) < \ та log p (а) < 0, якщо основа логарифма більша від одиниці. Тоді

I(a) = -\ogp(a) = \og(\lp(a)). (2.4)

За основу логарифма найчастіше вибирають двійку. При цьому одиниця кількості інформації називається двійковою, або бітом (Binary digit). Вона дорівнює кількості інформації в повідомленні про такий випадок, який з однаковою ймовір­ністю може як відбутися, так і не відбутися, тобто коли моделлю

26

27

Щ

2,0

^т еталонного джерела є ансамбль Л = Ц,д₂}та/>={0,5;0,5}.

Якщо за основу логарифма

вибрано число є, то така одини-

°>⁶ ця інформації називається нашу-

рольною. W Таким чином, кількість інфор­ мації в повідомленні тим більша, 0,2 чим воно менш ймовірне, тобто більш неочікуване. Цю залеж- 0 ність відображено на рис. 2.2 0,2 0_f4 Ofi Ofi p(a) кривою 1. Лінія 2, тобто графік Рис. 2.2 Р (^а) ⁼ Р (я)> на цьому рисунку

знадобиться далі. Коли джерело інформації породжує послідовність взаємоза­лежних повідомлень, то здобуття кожного з них змінює ймовір­ність наступних, а отже, кількість інформації / в них. Остання має вже визначатися умовною ймовірністю вибору джерелом цього повідомлення а_п, якщо до нього вибрано повідомлення

^ап-1>^ап-2> •••> ^Т°бТ0

¹⁽<^ап!%-х^_п^ ...) = \og[\ Ip(a_nla_n__va_n_₂₉ ...)]. (2.5)

Визначена таким чином кількість інформації є величиною випадковою тому, що самі повідомлення випадкові. Розподіл її ймовірностей визначається розподілом повідомлень у цьому ансамблі.

Якщо припустити статистичну незалежність та однакову ймовірність повідомлень у наведеному вище прикладі стосов­но шахів^і визначити ймовірність кожного повідомлення як Р (*/) ~Рі⁼ 1/832, то згідно з (2.4) кількість інформації в одному такому повідомленні в бітах становитиме

/ (а) = -log₂p. = log₂ (1 /_Рі) = log₂ 832 - 9,70044.

Як бачимо, це відповідає майже 10 двійковим символам, по­трібним для запису такого повідомлення або формулювання його спостерігачем.

Фрагмент таблиці значень двійкових логарифмів цілих чи­сел уміщено в дод. 1.