2. Безумовна та умовна ентропії

Безумовна ентропія і її властивості. Умовна ентропія і її властивості, загальна і часткова умовна ентропія. Ентропія об’єднання.

2.1 Безумовна ентропія і її властивості

Безумовна ентропія - це питома кількість інформації на один елемент повідомлень, складених із алфавітів, між символами яких немає взаємозалежності. Ентропія джерела повідомлень

_m

H (A) = -  p(a_i) logp(a_i) (2.1)

ⁱ⁼¹

являє собою невизначеність появлення на виході джерела повідомлень символу первинного алфавіту, а ентропія приймача повідомлень

_m

H (В) = -  p(b_i) logp(b_i ) (2.2)

ⁱ⁼¹

являє собою невизначеність появлення на вході приймача символа після його появлення на виході джерела повідомлень.

Безумовна ентропія характеризується такими основними властивостями.

Властивість 1. Якщо відомо, що подія завідомо відбудеться (еквівалентно передачі інформації з однією якісною ознакою), то її ентропія дорівнює нулю.

Властивість 2. Якщо відомо, що подія завідомо не відбудеться (еквівалентно відсутності і-ї якісної ознаки, то її ентропія дорівнює нулю.

Властивість 3. Якщо дослід являє собою ланцюг рівноймовірних подій (еквівалентно передачі повідомлень із рівноімовірних взаємонезалежних символів), то його ентропія максимальна.

Властивість 4. Ентропія з кінцевою кількістю результатів завжди додатня.

Властивість 5. Ентропія бінарного повідомлення має властивість симетрії: збільшення або зменшення ймовірності будь-якого із елементів бінарного повідомлення на одну і ту саму величину приводить до однакової зміни ентропії. Ентропія бінарного повідомлення при зміні ймовірностей символів змінюється від 0 до 1 і досягає максимуму при рівних імовірностях появлення в повідомленні ознак.

Властивість 6. Ентропія складного повідомлення, яке складається із взаємонезалежних часткових повідомлень, дорівнює сумі ентропій цих часткових повідомлень.

2.2 Умовна ентропія

Поняття умовної енторпії в теорії інформації використовується при визначенні взаємозалежності між символами алфавіту, для визначення втрат при передачі інформації, при обчисленні ентропії об’єднання.В усіх випадках при обчисленні умовної ентропії використовуються умовні ймовірності.

Якщо при передачі n повідомлень символ А появився m разів, символ В появився l разів, а символ А разом з символом В - k разів, то ймовірність появлення символу А p(A) = m/n; імовірність появлення символу В p(B)= l/n; імовірність сумісного появлення символів А і В p(AB) = k/n; умовна ймовірність появлення символу А відносно символу В і умовна ймовірність появлення символу В відносно символу А

p(A/B)=p(AB)/p(B)=k/l; p(B/A)=p(AB / p(A)=k/m. (2.3)

Якщо відома умовна ймовірність, то можна легко визначити ймовірність сумісного появлення символів А і В

р(АВ)=р(В)р(А/В)=р(А)р(В/А). (2.4)

У формулі умовної ентропії ймовірності є умовними, тобто:

Н(b_j/a_i)=-p(b_j/a_i)logp(b_j/a_i); (2.5)

j

Н(a_i/b_j)=-p(a_i/b_j)logp(a_i/b_j), (2.6)

i

де індекс і вибрано для характеристики довільного стану джерела повідомлень А, індекс j вибрано для характеристики довільного стану адресату В.

Розрізняють поняття часткової і загальної умовної ентропії. Вирази (2.5) і (2.6) являють собою часткові умовні ентропії. Загальна умовна ентропія повідомлення В відносно повідомлення А характеризує кількість інформації, яка міститься у довільному символі алфавіту, і визначається середнім по всіх символах, тобто по всіх станах з урахуванням імовірності появлення кожного стану, і дорівнює сумі ймовірностей появлення символів алфавіту на невизначеність, яка залишається після прийому сигналу

H(B/A)=-p(a_i)H(b_j/a_i)=-p(a_i)p(b_j/a_i)logp(b_j/a_i). (2.7)

і ^{i j}

Вираз (2.7) є загальним виразом для визначення кількості інформації на один символ повідомлення у випадках нерівноймовірних і взаємозалежних символів.

Тому що p(a_i)p(b_j /a_i) являє собою ймовірність сумісного появлення двох подій p(a_i,b_j), то формулу (2.7) можна записати таким чином:

H(B/A)=-p(a_i,b_j)logp(b_j/a_i). (2.8)

i j

Поняття загальної і часткової умовної ентропії широко використовується при обчисленні інформаційних втрат в каналах зв’язку з шумами.