1.2 Деякі поняття теорії інформації

1.2.1 Мiра iнформацiї

Кожне повiдомлення, кожна iнформацiя про той або iнший фактi має немов би двi сторони: конкретний змiст даного повiдомлення, даного факту, i статистичнi (ймовiрноснi) властивостi, що дозволяють порiвнювати цiлком разнорiднi повiдомлення по тій різноманітності станiв, з якими цi повiдомлення зв'язанi.

Наприклад, повiдомлення про те, що в технiчнiй системi управлiння вийшов з ладу один з двох однаково надiйних (або, краще сказати, ненадiйних) підсилювачів, i повiдомлення, що Н. народила хлопчика, зв'язанi з однiєю i тіею же різноманітністю - з появою одного з двох рівноможливих фактiв.

В сенсi зв'язаної з цими фактами різноманітності цi два повiдомлення цiлком однаковi, хоча їхнiй конкретний змiст iстотно різниться. Відмічена нами спiльнiсть має далеко iдучі наслiдки, а саме: як ми побачимо нижче, ефективнi системи зв'язку для передачi повідомлень одного типу будуть настiльки ж хороші i для передачi вiдомостей другого типу. Ця спiльнiсть i дозволяє ввести деякi загальнi поняття, зв'язанi з рiзноманiтними повiдомленнями, незважючи на їхню різнорідність. Таким поняттям, що висловлює мiру різноманітності ситуацiї, зв'язаної з тим або iншим повiдомленням або фактом, є iнформацiя.

Вiдзначимо, що поняття кiлькостi iнформацiї, укладеної в тому або iншому повiдомленнi, зв'язане з iмовiрнiстю цього повiдомлення, тобто з деякою статистичною сукупнiстю. Введемо бiльш точне визначення iнформацiї як деякої кiлькiсної величини - деякої мiри.

По визначенню кiлькiсть власної iнформацiї, укладеної в повiдомленнi А_i рiвна логарифму його iмовiрностi, взятому зі зворотнім знаком

I (А_і) = -log(P(A_i)). (1.14)

Знак мiнус в формулi (1.14) введений для того, щоб зробити цей вираз iстотно позитивним [0Р(А_i)1,  логарифм Р (A_i) - величина вiдємна]. Виразу (1. 14) можна придати вигляд

I(А_i) = log 1/P(A_i) (1.15)

з якого слiдує, що чим менша iмовiрнiсть появи повiдомлення A_i, тим бiльшою кiлькiстю iнформацiї воно володiє.

Сенс вводу логарифмичної мiри в виразах (1.14) i (1.15) полягає в наданнi кiлькостi iнформацiї властивостi адитивності. Справдi, якщо ми маємо дiло зi складним повiдомленням, що полягае в одночасному повiдомленнi двох фактiв A_i i В_j, i якщо цi факти (подiї) незалежнi в iмовiрносному розумiннi, то, згiдно (1. 14),

I (A, B_j) = logP (A_iB_i).

Або, застосовуючи теорему про множення iмовiрностей, маємо

I(А_i,B_j) = - log[ Р(А_i)Р(B_j)] = -1оg Р(A_i) - log P(В_j) = I(A_i) - I(B_j). (1.16)

Іншими словами, кiлькiсть iнформацiї, вкладеної в два незалежних повiдомлення, рiвна сумi кiлькостi iнформацiї, вкладеної в кожне повiдомленнi. З наведеного вище визначення власної iнформацiї (1. 14) слiдує надто важливий висновок: з деяким повiдомленням А_i можна зв'язати поняття власної iнформацiї тiльки в тому випадку, якщо iснує поняття iмовiрностi цього повiдомлення (тобто, якщо його можна зв'язати з деяким статистичним ансамблем). Наприклад, окреме повiдомлення, не зв'язане з якою-небуть рiзноманiтнiстю, не володiє в розумiннi теорiї iнформацiї поняттям власної iнформацiї.

Можуть зустрiтися повiдомлення, що хоча i утворюють статистичну рiзноманiтнiсть, але не володiючi iмовiрнiстю внаслiдок нестационарностi випадкового механiзму. Наприклад, якщо ми пiдкидуємо абсолютно тверду монету, то випадковий механiзм випадання орла або решки стацiонарний, i обидва повiдомлення - випадання орла або решки - володiють iмовiрнiстю, що в цьому випадку рiвна половинi. Якщо же ми будемо пiдкидувати м'яку монету, то випадання орла або решки також буде випадковою подiєю. Однак випадковий механiзм вже не буде стацiонарний внаслiдок деформацiї монети. При цьому частота випадення, наприклад орла (або решки), зi збiльшенням числа кидання не буде прагнути до певної межi. Значить, з таким випадковим процесом не можна зв'язати поняття iмовiрностi (тут не дiє закон великих чисел). Отже, такi подiї (повiдомлення) не володiють iнформацiєю в сенсi (1.14).

Ця обставина має цiлком ясний фiзичний зміст: якщо в основi появи повiдомленнi на входi деякого каналу зв'язку не лежить стацiонарний випадковий механiзм, тобто для них не iснує поняття iмовiрностi, то випадковiсть такого типу не може бути нiяк завбачена, i для таких повiдомлень заздалегiдь неможливо побудувати оптимальний канал зв'язку.

Коли ми говоримо про оптимальнiсть, то маємо на увазi погодження пропускної спроможностi каналу з кiлькiстю iнформацiї, укладеною в повiдомленнях, що надходять на вхiд канала.

Може виявитися, що нестационарнiсть випадкового механiзму пiдкоряється певному закону. В цьому випадку iмовiрнiсть появи повiдомлень буде функцiєю часу. Для таких повiдомлень має мiсце поняття власної iнформацiї, що в цьому випадку також буде функцiєю часу.

Нарештi, може трапитися, що з системою повiдомлень можна зв'язати поняття iмовiрностi i, значить, кожне повiдомлення володiє власною iнформацiєю, але ми не знаємо цих iмовiрностей. В такому випадку ми також спочатку нiчого не можемо сказати про кiлькiсть iнформацiї, що несе в собi те або iнше повiдомлення. I тiльки з течiєю часу, пiсля надходження на вхiд канала достатньо великої кiлькостi повiдомлень, збирається необхiдна статистика, що дозволяє встановити кiлькiсть iнформацiї, зв'язану з кожним повiдомленням.

В технiчному сенсi це означає, що не можна заздалегiдь сконструювати хорошу систему (принаймнi в планi лiнiї зв'язку). Але ми маємо можливiсть будувати, самонавчальну систему, що адаптується, що з течiєю часу, з'ясовуючи iстинну статистику розподiлу повiдомлень, тобто визначаючи кiлькiсть iнформацiї, зв'язане з тим або iншим повiдомленням, зможе себе змiнювати, покращувати. Наприклад (в граничному випадку), по якому-небуть каналу надходить весь час одне i те ж повiдомлення А. В цьому випадку система визначить, що Р (А)=1 i, отже, I=0. Значить, можна просто запам'ятати це повiдомлення, а канал зв'язку вимкнути. Це i буде простим прикладом адаптацiї.

Другим важливим поняттям є вiдносна iнформацiя одного повiдомлення S_j вiдносно iншого A_i. Сенс цього поняття полягає в тому, що надходження деякого факту (повiдомлення S_j) може змiнити статистичну рiзноманiтнiсть, зв'язану з повiдомленням А_i, i внаслiдок цього власну iнформацiю повiдомлення А_i. Змiна власної iнформацiї повiдомлення A_і, що виникла через надходження повiдомлення S_j, i називається вiдносною iнформацiєю повiдомлення S_j вiдносно A_i.

Нехай iмовiрнiсть повiдомлення А_i до надходження повiдомлення S_j рiвна Р(А_i). Тодi кiлькiсть власної iнформацiї, укладеної в повiдомленя A_i, рiвне

I (A_i) = -log P(A_i).

Iмовiрнiсть повiдомлення А_i, пiсля надходження повiдомлення S_j буде рiвна P_sj(А_i), тобто являє собою умовну iмовiрнiсть A_i за умови, що S_j має мiсце. При цьому кiлькiсть iнформацiї, що мiститься в надходженнi повiдомлення A_i, рiвна

I (A_i/S_j) = - log Ps_j(A_i).

Тодi по визначенню iнформацiя, що мiститься в S_j вiдносно А_i, рiвна змiнi (зменшенню) власної iнформацiї повiдомлення A_i:

Is_j(A_i) = I(A_i) - I(A_i/S_j) = - log P(A_i)+ log Ps_j(A_i) = log(Ps_j(A_i)/P(A_i)). (1.17)

Це нове поняття вiдносної iнформацiї зв'язане не з iмовiрнiстю повiдомлення S_j, а зi змiстом цього повiдомлення, бо саме конкретний змiст повiдомлення Sj визначає умовну iмовiрнiсть подiї А_i (Ps_j(A_i)). Таким чином, вiдносна iнформацiя деякого повiдомлення S_j зв'язана саме з його змiстом, а не з його власною рiзноманiтнiстю, якої може i не бути. Таким чином, навiть з окремим повiдомленням, не зв'язаним з поняттям iмовiрностi, можна зв'язати поняття iнформацiї вiдносно iншої рiзноманiтностi, якщо воно цю рiзноманiтнiсть змiнює.

В протилежнiсть власнiй iнформацiї, вiдносна iнформацiя може бути не тiльки позитивною, але i негативною. Якщо Ps_j(A_i)> Р(А_i), то, згiдно (1.17), Is_j(А_i) = 0; якщо Ps_j(A_i)<P(A_i), то Is_j(A_i) <0. Нарештi, при Ps_j(A_i)=P(A_i) Is_j(А_i)=0. Останнiй випадок означає, що повiдомлення S_j не змiнює рiзноманiтностi A_i i, отже, не мiстить в собi iнформацiї вiдносно повiдомлення A_i. Повертаючись до основної iнформацiйної мiри, до виразу (1.14), легко бачити, що числова величина його залежить вiд вибору основи логарифмування. Звичайно в теорiї iнформацiї в якостi основи беруть число 2; тодi числова величина кiлькостi iнформацiї, укладеної в деякому повiдомленнi A_i, рiвна

I_i=log₂ Р_i. (1. 18)

В подальшому викладеннi для спрощення письма ми будемо опускати в записi логарифма iндекс 2, маючи на увазi, що скрiзь, за винятком спецiально обумовлених випадкiв, ми будемо мати справу з логарифмом при цiй основi. Припустимо, ми отримали повiдомлення, iмовiрнiсть якого рiвна половинi. Тодi таке повiдомлення володiє кiлькiстю iнформацiї

I_i=log₂ (1/2) =1 двiйкова одиниця = 1бiт.

Отже, це повiдомлення володiє однiєю двiйковою одиницею iнформацiї (двiйковою тому, що в якостi основи логарифма прийняте число 2) або, як часто говорять, несе 1 бim iнформацiї (б - bit, binary digit). В якостi дiйкової одиницi iнформацiї, приймається та кiлькiсть iнформацiї, що полягає в повiдомленi про те, що вiдбулися одне з двох рiвноможливих подiй (наприклад, iнформацiя про те, що при даному пiдкидуваннi монети випав герб).

Уявимо собi далi, що деякий дослiд може закiнчитися одним з чотирьох рiвноможливих наслiдкiв. Тодi повiдомлення про те, що має мiсце деякий конкретний наслiдок, володiє iмовiрнiстю P_i=^l/₄. Вiдповiдно кiлькiсть iнформацiї в цьому повiдомленнi J = - 1оg(¹/₄)=2 бiт. Якщо ж ситуацiя дослiду настiльки невизначена, що може з'явитися будь-який з 64 рiвноможливих наслiдкiв, то кiлькiсть iнформацiї, укладеної в повiдомлення про деякий конкретний наслiдок, рiвна J = - log(¹/₆₄) = 6 бiт i т. д.

Вже з цих прикладiв видно, що кiлькiсть iнформацiї в даному конкретному повiдомленнi тим бiльша, чим бiльша невизначенiсть ситуацiї. Як побачимо нижче, iснує дуже тiсний зв'язок мiж iнформацiєю i невизначенiстю, i що кiлькiсть власної iнформацiї може служити мiрою невизначеностi ситуацiї.

На кiнець розглянемо приклад. По каналу зв'язку передається пятизначне двiйкове число так, що в кожному розрядi може стояти цифра 0 або 1 з рiвною iмовiрнiстю, i поява тiєї або iншої цифри в даному розрядi не залежить вiд цифр що стоять в iнших розрядах. Визначимо, яка кiлькiсть iнформацiї мiститься в деякому числi, що передається. Нехай для визначеностi дано число, що передає значення 10110. Тодi iмовiрнiсть появи даного числа A_i = Р_i = (¹/₂)⁵ (згiдно теоремi множення iмовiрностей). Легко бачити, що будь-яке число, що передається володiє тiєю ж iмовiрнiстю. Тодi кiлькiсть iнформацiї, укладена в кожне число, що передається, рiвна

I = - log P_i = - log (¹/₂)⁵= 5 бiт.

Вiдповiдно при передачi n-розрядного двiйкового числа, кiлькiсть iнформацiї на повiдомлення рiвна I = n бiт.

З прикладу видно, що при двiйковому кодуваннi повiдомлень дуже зручно застосовувати при обчисленнi кiлькостi iнформацiї логарифм з основою два.