Властивості умовної ентропії

1. Для статистично незалежних джерел повідомлень А та В умовна ентропія Н(А/В) джерела А відносно джерела В дорівнює безумовній Н(А) ентропії джерела А і навпаки:

Н(А/В) = Н(А); Н(В/А) = Н(В).

2. Для джерела повідомлень А та В статистично взаємозв'язаних так, що виникнення одного з повідомлень спричинює безумовну появу іншого, умовні ентропії дорівнюють нулю:

Н(А/В) = Н(В/А) = 0.

2. Умовна ентропія (ентропія джерела взаємозалежних повідомлень) завжди менша від безумовної ентропії (ентропії джерела незалежних повідомлень).

3. Максимальну ентропію мають джерела взаємонезалежних рівноймовірних повідомлень, умовна ентропія яких дорівнює нулю, а ймовірність р появи символів алфавіту дорівнює р = 1/k, де k — кількість повідомлень в алфавіті.

Загальна умовна ентропія — це питома (середньостатична) кількість інформації, що припадає на будь-яке повідомлення джерела А, якщо відома його статистична взаємозалежність із джерелом В.

Загальна умовна ентропія H(А/В) джерела А відносно джерела В обчислюється як середнє по j значення часткової ентропії Н(А/b_j) за всіма j:

. (12)

Загальна умовна ентропія Н(В/А) джерела В відносно джерела:

. (13)

Загальна умовна ентропія Н(В/А) визначає (середню) кількістю інформації, яка припадає на будь-яке повідомлення джерела В, статистично залежного від джерела А.

Завдання на лабораторну роботу

1. Джерело А та В мають розподіли ймовірностей повідомлень:

і Ентропія якого джерела більша? Яка максимальна ентропія цього джерела та за якої умови?

2. Задано таку матрицю сумісних ймовірностей появи повідомлень двох джерел А та В з алфавітами та , де та

Обчислити:

• безумовні ймовірності джерела В, P(a_i) джерела A;

• безумовну ентропію джерел А і В;

• часткову умовну ентропію джерел А і В;

• загальну умовну ентропію джерела А відносно В;

• загальну умовну ентропію джерела В відносно А;

• максимальну ентропію джерел.

Виконати перевірку закону нормування: p(a_i/b_j), p(b_j/a_i).

3. Задано таку матрицю сумісних ймовірностей появи повідомлень двох джерел А та В з алфавітами та , де та

Визначити часткову та загальну умовну ентропію.

Контрольні запитання

1. Що таке джерело і ансамбль повідомлень?

2. Що таке ентропія та які її властивості?

3. Що таке безумовна та умовна ентропія?

4. Які основні властивості безумовної ентропії?

5. Які є різновиди умовної ентропії?

6. Які основні властивості умовної ентропії?

10. Як визначається часткова умовна ентропія?

11. Як визначається загальна умовна ентропія?

12. Як визначається ентропія об'єднання двох джерел?

13. Які основні властивості ентропії об'єднання двох джерел?

14. За яких умов ентропія джерела стає максимальною?

Лабораторна робота № 4

Кодування та стиснення інформації методом хаффмена та Шенона-Фано

Мета роботи: Вивчення принципів кодування потоків символів з різною частотою появи символів у потоці, використовуючи метод кодування Хаффмена та Шенона-Фано.