1. Iнформацiйна ентропія

До цих пiр ми розглядали кiлькiсть власної iнформацiї, що мiститься в даному конкретному повiдомленнi A_i, i для нього ввели мiру iнформацiї (1. 14) I_i = - log P_i. Уявимо собi тепер, що в результатi проведення деякого дослiду можливi k рiзноманiтних повiдомлень (результатiв дослiду А₁, А₂, ..., A_k). Цей дослiд ми повторюємо велике число раз (n), наприклад n раз передаємо повiдомлення з даної вхiдної системи, i нехай з цих повiдомлень (результатiв) А₁ повторюється m₁ раз, А₂ повторюється m₂ раз i т. д. Крiм того, нехай iмовiрностi повiдомлень А₁, А₂, ..., A_k вiдповiдно рiвнi Р₁, P₂, ..., Р_k. Тодi середня власна iнформацiя на одне повiдомлення буде рiвна сумi iнформацiї, подiлленої на кiлькiсть повiдомлень ,що передаються, або середня власна iнформацiя на одне повiдомлення рiвна

(- m₁ logP₁ - m₂ logP₂ - ... -m_k logP_k)/n.

Очевидно, межа цього вираження при n рiвна

_k

H = - P_i log P_i , (1. 19)

¹

бо в вiдповiдностi з законом великих чисел

при n lim (m_i/n)=P_i.

Вираз (1.19) являє собою середню власну iнформацiю на одне повiдомлення (на один результат дослiду) i називається iнформацiйною ентропiєю ситуацiї (дослiду) або просто ентропією. Поняття ентропiї надзвичайно важливе в теорiї iнформацiї, i щоб яснiше уявити фiзичний сенс цiєї величини, розглянемо деякi властивостi ентропiї.

1. Ентропiя завжди додатня

Н 0. (1. 20)

Дiйсно, 0 P_i 1, тому log P_i0, тобто величина вiдємна. Отже, враховуючи знак мiнус в виразi (1. 19), кожний член цiєї суми буде додатнiм, а отже, i вся сума додатня.

2. Ентропiя рiвна нулю в тому i тiльки в тому випадку, якщо iмовiрнiсть одного з результатiв рiвна одиницi, а отже, iмовiрностi всiх iнших результатiв рiвнi нулю (нагадаємо, що P₁+P₂+... +P_k=1). Iншими словами, ентропiя рiвна нулю, тодi коли ситуацiя повнiстю визначена, тобто результат дослiду заздалегiдь передбачено.

Дiйсно, вираз (1. 19) являє собою суму додатніх величин, тому ця сума може бути рiвна нулю тiльки в тому випадку, коли кожний з її членiв Р log P рiвний нулю. Вираз Р logР рiвний нулю або при Р=1 (що очевидно, бо при Р=1 логарифм Р рiвний 0), або при Р=0. В останньому випадку має мiсце невизначенiсть, i щоб її розкрити, запишемо вираз Р logР в виглядi

PlogP= (logP)/(1/P).

Границя цього виразу рiвна межi вiдношення похiдної числiвника до похiдної знаменника

Але тiльки один результат дослiду може володiти iмовiрнiстю, рiвною одиницi, i при цьому всi iншi результатi володiють iмовiрнiстю, рiвною нулевi, тому сума (1. 19) рiвна нулю тiльки в цьому випадку i наше твердження доведене.

3. Ентропiя максимальна тодi i тiльки тодi, коли всi результати ситуацiї (дослiду) рiвноможливi. Припустимо, що наша ситуацiя може мати k результатов i всi вони рiвноможливi. Тодi Р₁ = Р₂.. = Р_k = ¹/_k, оскiльки Р₁+P₂+...+Р_k=1. При цьому значення ентропiї в вiдповiдностi з (1. 19) буде рiвне

H_max=log k . (1. 21)

Покажемо тепер, що ентропiя завжди менша або рiвна виразу (1. 21). Для цього складемо рiзницю

_k

H - log k = - P_i log P_i - log k =

¹

_{k k k}

= - P_i log P_i - P_i log k = - P_i log 1/P_i ,

^{1 1 1}

_k

оскiльки P_i =1.

¹

Скористаємось далi наступною властивiстю логарифмiчної функцiї: для будь-якого значення аргументу w має мiсце нерiвнiсть

ln w  w-1. (1. 23)

Нерiвнiсть (1.23) (в лiвiй частинi стоїть натуральний логарифм) очевидно з рис. 5. Знак рiвностi має мiсце при значеннi w=1. Якщо в правій частинi (1. 22) величину 1/Р_ik позначимо через w i приймемо до уваги, що

log w = ln w log e,

то можна до кожного члена суми (1. 22) застосувати нерiвнiсть (1. 23). Тодi отримаємо

Оскiльки

то

H - log k 0 (1.24)

Таким чином, ентропiя завжди менша або рiвна величинi log k (1.22), причому знак рiвностi має мiсце при w=1, тобто при 1/P_ik=1, або при всiх P_i=¹/_k, що означає рiвноможливiсть всiх результатiв дослiду.

З другої i третьої властивостей слiдує, що ентропiя рiвна нулю, коли ситуацiя повнiстю визначена, тобто результат дослiду заздалегiдь передбачено, i максимальна при найбiльшiй невизначенностi ситуацiї, коли всi можливi результатi дослiду рiвноможливi. Таким чином, ентропiя в принципі є мiрою невизначеностi ситуацiї i вона тим бiльша, чим бiльша ця невизначенiсть.

Всяке впорядкування ситуацiї, збiльшення її визначенностi зменшує ентропiю. Отже, вираз (1.19), з одного боку, являє собою середню iнформацiю, яку можна очiкувати вiд повiдомлення в даних умовах, а з iншого, його можна розглядати, як мiру невизначеностi ситуацiї.

Цi двi сторони, звичайно, зв'язанi мiж собою. Справдi, чим бiльш невизначена ситуацiя, тим бiльша iнформацiя буде полягати в кожному повiдомленнi про який-небуть конкретний результат. Часто в результатi деякого дослiду ми одержуємо деяку кiлькiсну величину х, що може приймати будь-яке значення в заданому iнтервалi. В цьому випадку результатом дослiду є безперервна випадкова величина, що володiє деяким законом розподiлу p (x) (рис. 6).

рис.5 рис.6

Отже, тут ми маємо дiло з нескiнченним числом можливих результатов i значить з нескiнченним числом можливих повiдомлень. Для такої ситуацiї по аналогiї з виразом (1.19) вводиться поняття ентропiї безперервного розподiлу

_+

-p(x) log p(x) dx (1. 25)

^-