Практичне заняття №4 ентропія та її властивості

4.1 Мета заняття

Метою заняття є ознайомлення студентів з ентропійними характеристиками, що застосовуються у системах дискретної обробки інформації

4.2 Методичні вказівки для самостійної підготовки до заняття [1,3-5,7,9].

Методи оцінки кількості інформації, насамперед, пов’язані з її характером. до її змісту. У цей час існують три основні теорії, де поняття змістовного характеру інформації розглядається з різних позицій.

Статистична теорія оцінює інформацію з погляду міри невизначеності, яка зменшується при одержанні інформації. Як правило, вона не торкається змісту переданої інформації, тобто її систематичного змісту. У статистичній теорії основна увага звертається на розподіл ймовірностей окремих квантів інформації та побудову на його основі деяких узагальнених характеристик, що дозволяють оцінити кількість інформації в потрібному кванті.

Інший підхід використовують у семантичній теорії, що враховує в основному цінність та корисність і тим самим допомагає пов'язати ці характеристики з ефективністю інформаційної системи.

Нарешті, структурна теорія розглядає структуру побудови окремих інформаційних масивів, при цьому за одиницю інформації приймається деякі елементарні структурні одиниці (квант) і кількість інформації оцінюється підрахунком квантів в інформаційному масиві.

Вибір одиниці інформації в цей час є досить актуальною задачею.

Розглянемо дискретне джерело інформації, що може в кожний момент часу випадковим чином прийняти один з кінцевої множини можливих станів. Воно характеризується ансамблем , тобто повною сукупністю станів з ймовірностями їхньої появи, що складають у сумі одиницю:

,	(4.1)
.	(4.2)

Як міру невизначеності для джерела зі станами з однаковими ймовірностями, Хартлі в 1928 р. запропонував використовувати логарифм числа таких станів:

.

(4.3)

Основа логарифма визначає масштаб або одиницю невизначеності. При використанні десяткових логарифмів кількість інформації та ентропію визначають в десяткових одиницях - дітах. При використанні двійкових логарифмів кількість інформації та ентропію вимірюють у двійкових одиницях - бітах. Нарешті, при використанні натуральних логарифмів одиницею виміру є натуральна одиниця - ніт.

Приклад 4.1. Оцінити мінімальне число зважувань, яке необхідно зробити на рівноплечих вагах, щоб серед 27 монет знайти одну фальшиву (більш важку).

Рішення.

Загальна невизначеність ансамблю відповідно до формули (4.3) становитьбіт.

Одне зважування здатне прояснити невизначеність ансамблю , який нараховує три можливих результати. Його невизначеність дорівнюєбитка.

, тому для визначення фальшивої монети достатньо трьох зважувань.

Міра невизначеності вибору дискретним джерелом стану з ансамблю при різних ймовірностях станів була запропонована Шеноном – ентропія дискретного джерела інформації або ентропія кінцевого ансамблю:

,

(4.4)

де – довільне позитивне число.

Ентропія дискретних повідомлень має наступні властивості:

1. Ентропія є величина речовинна, обмежена та ненегативна. Ця властивість відповідає формулі (4.4), якщо врахувати, що ймовірності станів приймають значення з інтервалу .

2. Ентропія детермінованих повідомлень дорівнює нулю. Дійсно, якщо заздалегідь відомо, яке буде подія (наприклад ), то ймовірність цієї події дорівнює одиниці, а інших - нулю, тобто .

3. Ентропія максимальна, якщо всі події мають однакову ймовірність, тобто:

.

(4.5)

У цьому випадку ентропія обчислюється за формулою Хартлі (4.3).

4. Ентропія об'єднання кількох джерел дорівнює сумі ентропій вихідних джерел:

.

(4.6)

Приклад 4.2. Визначити ентропії двох дискретних джерел інформації:

и.

Рішення.

біта.

При оцінці невизначеності вибору часто необхідно враховувати статистичні зв'язки, які в більшості випадків мають місце між станами двох і більше джерел, які об'єднуються у рамках однієї системи, так і між станами, які послідовно приймає одне джерело.

Визначимо ентропію об'єднання двох статистично пов'язаних ансамблів та. Об'єднання ансамблів характеризується матрицеюймовірностейусіх можливих комбінацій станівансамблюта станівансамблю:

.

Суми елементів стовпців та рядків цієї матриці визначають інформацію для ансамблів йвихідних джерел:

, .

Імовірності спільної реалізації взаємозалежних станівіможна визначити через умовні ймовірностіабовідповідно до того, які стани прийняти за причину, а які за наслідок:

.

(4.7)

де – імовірність реалізації стануансамблюза умови, що реалізувався станансамблю.

Отже:

.

Частковою умовною ентропією ансамблю називають суму, яка характеризує невизначеність, що доводиться на один стан ансамблюза умови, що реалізувався конкретний станансамблю.

.

(4.8)

Величину називають повною умовної або просто умовною ентропією ансамблюстосовно ансамблю.

.

(4.9)

Таким чином, ентропія двох ансамблів дорівнює сумі безумовної ентропії одного ансамблю й умовної ентропії іншого щодо першого.

Основні властивості умовної ентропії:

1. .

2. .

3. .

Графічно це відповідає діаграмам Вінера, що наведені на рис.4.1.

Рис.4.1 - Діаграми Вінера

Приклад 4.3. Визначити ентропії ,, ,,для дискретного джерела інформації, заданого ансамблем:

.

Рішення.

Визначимо безумовні ймовірності кожної системи як суму рядків і стовпців:

; ;;

; ;;

біт.

Визначимо умовні ймовірності:

;

;

; ;;

; ;;

; ;.

Таким чином,

біт.

Виконуємо перевірку:

біт.

Приклад 4.4. Ентропії двох залежних джерел дорівнюють: біт,біт. Визначити, у яких межах буде змінюватися умовна ентропіяпри зміні умовної ентропіїв максимальних межах.

Рішення.

Умовна ентропія максимальна при відсутності взаємозв'язку між джерелами:

біт.

При збільшенні взаємозв'язку умовна ентропія зменшується до значення біт. При цьому.

Приклад 4.5. Оцінити ентропію системи, яка описується дискретною випадковою величиною з наступним рядом розподілу:

; .

Рішення.

біт.

Приклад 4.6. Визначити ентропію повідомлення з п'яти символів, якщо загальне число букв дорівнює 32, і всі повідомлення мають однакову ймовірність.

Рішення.

Загальне число п’ятисимвольних повідомлень:.

біт.

Передача інформації ініціюється або самим джерелом інформації, або здійснюється по запиту. Вона має за ціль усунути невизначеність щодо послідовності станів, які реалізовано деяким джерелом інформації.

У реальних умовах передача інформації відбувається за умов впливу перешкод. Перешкоди спотворюють повідомлення, тобто буде мати місце неповна вірогідність передачі.

Внаслідок можливої відмінності прийнятих повідомлень від переданих при оцінці кількості переданої інформації будемо розглядати систему переданих повідомлень і прийнятих. Нехай.

Прийняті повідомлення характеризуються сукупністю значень . Перешкоди мають випадковий характер, тому при прийманні деякого повідомленняне можна точно визначити, яке повідомлення було передано. Можна лише говорити про умовну ймовірність, яка визначає ймовірність передачі повідомленьза умови, що буде прийняте повідомлення.

Оцінимо кількість інформації, яка міститься в одному із прийнятих повідомлень про одне з переданих повідомлень.

Умовна ймовірність свідчить про те, що існує невизначеність у повідомленніщодо повідомлення. Ця невизначеність може бути оцінена умовною ентропією:

.

(4.10)

Таким чином, через перешкоди початкова апріорна ентропія повідомлення визначається кількісно формулою

,

(4.11)

знімається при одержанні повідомлення не повністю, а лише зменшується до значення . Кількість інформації в цьому випадку буде дорівнювати знятої частини невизначеності:

.

(4.12)

Це співвідношення виражає кількість інформації, яка міститься в прийнятому повідомленні щодо переданого– часткова кількість інформації, яка міститься в повідомленнівідносно.

Середня кількість інформації про усі , яка міститься в одному прийнятому повідомленні:

.

(4.13)

Кількість інформації у всій сукупності прийнятих повідомлень щодо всієї сукупності переданих:

Відомо, що , то.

Отже,

Таким чином, кількість інформації, яка одержується при передачі з перешкодами, дорівнює різниці безумовної ентропії , яка характеризує початкову невизначеність повідомлення, та умовної ентропії, яка характеризує залишкову невизначеність повідомлення.

Приклад 4.7.. Визначити середню кількість інформації, яку отримано при передачі повідомлення по каналу, який задано матрицею спільних ймовірностей:

.

Рішення.

;

;

біт.

Основні властивості кількості інформації:

1. Хоча часткова кількість інформації може бути менше нуля, кількість інформації - величина ненегативна

.

(4.14)

2. При відсутності статистичного зв'язку між випадковими величинами й 

.

(4.15)

Отже,

,

(4.16)

тобто прийняті елементи повідомлення не несуть ніякої інформації щодо переданих даних.

3. Кількість інформації у відносно дорівнює кількості інформації відносно .

.

(4.16)

4. При відсутності перешкод умовна ентропія дорівнює нулю й кількість інформації збігається з ентропією джерела.

(4.17)

4.3 Задачі для самостійної роботи

4.3.1 Два дискретні джерела інформації задані матрицями

и.

Визначити, яке джерело має більшу невизначеність у випадку, якщо: а) ,;б) ,.

4.3.2 На виході двійкового джерела інформації елементи «0» і «1» з'являються з ймовірностями відповідно й. При якому значенніентропія джерела є максимальною? Побудувати графікдля двійкового джерела.

4.3.3 Довести властивість екстремальності ентропії. Для дискретного джерела

ентропія є максимальною і дорівнюєу випадку, якщо елементи рівноймовірні:.

4.3.4 Дискретне джерело інформації задано матрицею . Обчислити його середню невизначеність і порівняти отримане значення з ентропією наступного джерела.

4.3.5 Обчислити ентропії трьох систем ;і. Пояснити на цьому прикладі властивість безперервності ентропії.

4.3.6 Визначити невизначеності двох систем і(рис.4.1).

Рис.4.1 Імовірності станів двох дискретних систем

4.3.7 Перевірити властивість адитивності ентропії на прикладі джерела .

4.3.8 Нехай і- два алфавіти;. Чому дорівнює умовна ентропія, якщо:а) інезалежні; б) ізалежні;в) .

4.3.9 Елементи алфавітів істатистично пов'язані. Відомо, щобіт,біт. У яких межах змінюється умовна ентропіяпри змінів максимально можливих межах?

4.3.10 Ракети двох пускових установок використовуються для поразки двох цілей. Ракета першої установки вражає ціль номер 1 з імовірністю 0,5; ціль номер 2 - з імовірністю 0,3 і дає промах з імовірністю 0,2. Ракета другої установки вражає першу ціль з імовірністю 0,3, другу - з імовірністю 0,5 і ймовірність промаху дорівнює 0,2. Імовірність вибору першої установки дорівнює 0,4. Чому дорівнює невизначеність вибору установки, якщо відомо, що уражено другу ціль; якщо відбувся промах; яка невизначеність результату, якщо пущено будь-яку ракету?

4.3.11 За заданим значенням ізнайти, якщобіт.

4.3.12 Матриця спільних ймовірностей двох джерел дорівнює:

.

Визначити ентропії ,,,,,,.

4.3.13 Визначити максимальну ентропію телевізійного зображення, яке містить 500 рядків по 650 елементів у рядку, за умови, що яскравість кожного елемента передається за допомогою 8 квантованих некорельованих рівнів.

4.3.14 У якому співвідношенні знаходяться відомі одиниці кількості інформації: двійкова (біт), натуральна (ніт), десяткова (діт)?

4.3.15 Маємо значення й. У яких межах може змінюватисяпри змінівід мінімального до максимального можливого значень?

4.3.16 Визначити середню кількість інформації , якщо матриця системи передачі інформаціїмає вигляд

.

4.3.17 Визначити середню кількість інформації у системі, яку задано матрицею

.

4.3.18 Обчислити середню кількість інформації про передані повідомлення, що доставляється прийнятим повідомленнямансамблю, якщо система передачі описується матрицею

.

4.3.19 Радіостанція може працювати на хвилі (подія) або на хвилі(подія); в імпульсному (подія) або в неперервному (подія) режимах. Імовірності спільних подій мають наступні значення:;;;. Обчислити кількість інформації, яку отримано щодо режиму роботи станції, якщо стане відомою довжина хвилі.

4.3.20 На рис.4.2, а показано приклади діаграм Вінера, що характеризують співвідношення між ентропійними оцінками. Виділені ділянки плоских фігур відповідають різним умовним та безумовним середнім ентропіям. Об'єднання фігур виражає об'єднану ентропію , перетинання – взаємну інформаціюта т.і. За аналогією із двовимірним випадком позначити елементи тривимірної системи (рис.4.2,б), тобто ентропії ,,,та т.і.

а)	б)
Рис.4.2 Діаграми Вінера

4.3.21 Є три дискретних джерела інформації , і ,.

Визначити, яке джерело має найбільшу невизначеність.

4.3.22 Число символів алфавіту джерела ( або ). Імовірності появи символів джерела ;; та . Між сусідніми символами є кореляційні зв'язки, які описуються матрицею умовних ймовірностей наступного виду

, наприклад, .

Визначити ентропію джерела.

4.3.23 Ансамблі подій і об'єднані, причому ймовірності спільних подій визначаються матрицею спільних ймовірностей

, наприклад, .

Визначити ентропії ансамблів і ; ентропію об'єднаного ансамблю; умовні ентропії ансамблів.

4.3.24 До лінії зв'язку надходять рівноймовірні й статистично незалежні дискретні сигнали й . Через дію перешкод на виході каналу зв'язку формуються сигнали , і з матрицею умовних ймовірностей

.

Визначити повну взаємну інформацію .

4.3.25 По каналу зв'язку з однаковими ймовірностями передаються статистично незалежних сигналів (). При відсутності перешкод переданому сигналу відповідає на виході каналу сигнал (). При наявності перешкод кожний переданий сигнал може бути лише з імовірністю прийнятий правильно, а й з імовірністю як один з інших вихідних сигналів.

Визначити середню кількість інформації на один сигнал, яку передано по каналу за наявності та відсутності перешкод.

4.3.26 Система передачі інформації характеризується при , матрицею спільних ймовірностей

.

Визначити середню кількість взаємної інформації .

4.3.27 Радіолокаційна станція РЛС може працювати в метровому діапазоні або в дециметровому діапазоні , а також у режимі огляду або в режимі наведення . Спільні ймовірності цих подій описуються матрицею

.

Обчислити кількість часткової інформації , яку одержано щодо режиму роботи РЛС, якщо система виявлення повідомляє діапазон роботи станції.

4.3.28 Система передачі інформації характеризується матрицею спільних ймовірностей

.

Визначити середню кількість взаємної інформації та кількість часткової інформації, яка міститься в повідомленніприймача про джерелов цілому.

4.3.29 Ентропії трьох дискретних випадкових величин є рівними:. Визначити, чому дорівнює , якщо:а) ,б) . Довести, що в загальному випадку .

4.4 Контрольні запитання і завдання

1. Які теоретичні підходи використовують для кількісної оцінки інформації?

2. Що називається ансамблем дискретного джерела повідомлень?

3. Яку міру невизначеності запропонував Хартлі?

4. У якому випадку можна застосувати міру Хартлі?

5. Що називається ентропією дискретного джерела повідомлень?

6. У яких одиницях виміряється ентропія?

7. Перелічити основні властивості ентропії дискретного джерела повідомлень.

8. Що називається умовною ентропією?

9. Перелічити основні властивості умовної ентропії.

10. Чому чисельно дорівнює кількість інформації?

11. Перелічити основні властивості кількості інформації.