Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Lektsiyiyi_TeorInf1.doc
Скачиваний:
27
Добавлен:
07.09.2019
Размер:
4.98 Mб
Скачать

3.3.2Ентропія як міра невизначеності

Ентропія є загальносистемним поняттям і характеризує міру невизначеності, невпорядкованості, хаосу.

Поняття ентропії (від грецького эн-тропе — перетворення) поширилося на ряд областей знань. Ентропія в термодинаміці означає ймовірність теплового стану речовини, в математиці — ступінь невизначеності ситуації або завдання, в інформатиці характеризує здатність джерела віддавати інформацію.

На практиці завжди що-небудь міняється. Якщо не міняється параметр стану, то міняється час і місце, і вже це створює нову інформацію. Крім того, сам факт незмінності є нескорочуваною інформацією, оскільки у будь-який момент часу фактично може зачатися або статися зміна. Може, нарешті, мінятися сам суб'єкт – приймач інформації при незмінному стані джерела. Практично доводиться враховувати всілякі обставини: «що», «коли», «хто», «кому», «навіщо», «як», тобто конкретизувати вид інформації, час, відправника і одержувача, призначення і спосіб реалізації, всі зміни, що відбуваються з ними.

В попередньому розділі відмічено, що здобуття інформації від джерела знімає певною мірою невизначеність стану спостережуваного об'єкта. Якщо за час формування джерелом нового повідомлення об'єкт не змінює свій стан (тобто джерелом вибирається попереднє повідомлення з множини А), можна уточнити відомості про попередній стан об'єкта, включивши до цієї множини нові можливі повідомлення та перенормувавши ймовірності з множини Р.

Взагалі з самого початку до складу множини А слід включати такі повідомлення та таку їх кількість, щоб одним повідомленням можна було б визначити стан об'єкта з потрібною точністю. Це означає, що, формуючи модель джерела повідомлень (його ансамбль), треба заздалегідь передбачити всі необхідні повідомлення.

Інша справа, коли кожне таке повідомлення може бути відображене певною кількістю символів, знаків тощо, переносячи певну кількість інформації. При цьому множина повідомлень А є алфавітом повідомлень, а множина символів, знаків тощо, за допомогою яких спостерігач подає кожне повідомлення у формі, зручній для одержувача, — алфавітом джерела. В літературі перше іноді називають первинним, а друге — вторинним алфавітами. Немає ніякого значення, в якому алфавіті подаються повідомлення. Модель джерела (ансамбль) враховує лише склад їх і розподіл ймовірностей (поки що йдеться про статистично незалежні повідомлення).

3.3.3Ентропія ансамблю (безумовна ентропія)

Ентропія ансамблю є кількісна міра його невизначеності, а отже, і інформативності.

У статистичній теорії інформації (теорія зв'язку), запропонованою Шенноном в 1948 р., ентропія кількісно виражається як середня функція множини ймовірностей кожного з можливих результатів досліду.

Хай є всього N можливих результатів досліду, з них – різних, -й результат ( ) повторюється разів і вносить інформацію, кількість якої оцінюється як . Тоді середня інформація яку дає один дослід:

(2.14)

Однак згідно (2.13) кількість інформації в кожному результаті пов'язана з його ймовірністю і представляється в двійкових одиницях (бітах) через логарифм

.

Тоді згідно (2.14):

, (2.15)

або, що теж саме

. (2.16)

Однак відношення відповідає частотам частоті повторення окремих результатів, і тому можуть бути замінені їх ймовірностями

. (2.17)

Звідси на основі (2.16) і (2.17) вираз для визначення середньої інформації в бітах буде мати вигляд

.

Отриману величину Шенон назвав ентропією і позначив символом Н.

. (2.18)

Ентропія може бути визначена як середня кількість інформації на одне повідомлення або математичне очікування кількості інформації I для вимірюваної величини X:

. (2.19)

Функція (2.18) фактично є функцією , де – вектор ймовірності результатів. Вона була визначена Шенноном за умовою виконанням наступних вимог:

1) безперервна на інтервалі , тобто при малих змінах величина змінюється мало;

2) симетрична відносно , тобто не змінюється при будь-якій зміні місць аргументів ;

3) тобто якщо подія складається з двох подій і з ймовірностями і і , то спільна ентропія дорівнюватиме сумі ентропії — нерозгалуженої системи і розгалуженої частки з вагою при умовних ймовірностях і .

Крім того, ентропія Н характеризується наступними властивостями:

1. Ентропія завжди ненегативна, оскільки значення ймовірностей не більше одиниці.

2. Ентропія дорівнює нулю в тому крайньому випадку, коли ймовірність однієї подія дорівнює одиниці, а всіх інших – нулю. Це той випадок, коли про дослід або величину все відомо заздалегідь і результат не приносить ніякої нової інформації. '

3. Ентропія має найбільше значення у тому випадку, коли всі події рівно ймовірні:

,

в цьому випадку:

. (2.20)

У цьому випадку статистична міра інформації співпадає з адитивною мірою Хартлі:

.

Дійсно, випадку рівно ймовірних поді, у методиці Хартлі відповідають умови:

– кількість подій дорівнює кількості можливих значень які може приймати величина ,

–є тільки одне гніздо ( ).

Звідси випливає, що

,

тобто

.

Збіг оцінок кількості інформації по Шеннону і по Хартлі свідчить про повне використання інформаційної ємкості системи. В разі нерівних ймовірностей кількість інформації по Шеннону менше інформаційної ємкості системи.

Так, ентропія для двох нерівно імовірних станів одного елементу ( ) дорівнює:

. (2.21)

Якщо система може приймати тільки ці два різні стани то очевидно, що , або . Якщо позначити через то виходячи з (2.21) можна виразити ентропію як функцію однієї змінної:

. (2.22)

Отриману функцію легко дослідити звичайними методами диференційного числення.

1) Область визначення , .

2) Ліва границя при :

,

або

. (2.23)

Друга границя у правій частині (2.23) очевидна

Для першої границі (2.23) характерна невизначеність типу , яку доцільно розкрити за правилом Лопіталя:

Таким чином:

(2.24)

3) Права границя при також дорівнює 0:

, (2.25)

що легко довести, так як при заміні у виразі (2.22) при , буде отриманий вираз еквівалентний (2.23).

4) Екстремум легко знайти взявши перу похідну від і прирівнявши її до нуля:

або

Звідки =1.

Залежність величини ентропії від ймовірності одно предметної (двоїстої) показана на рис.2.7.

Рисунок 2.7 – Залежність величини ентропії від ймовірності одно предметної (двоїстої) події

Виходячи з проведеного аналізу можна зробити наступні висновки:

– максимальне значення ентропії досягається при (два стани рівно імовірні) і дорівнює 1;

– при ймовірностях і , що відповідає повній неможливості або повній достовірності події, ентропія дорівнює нулю.

Приклад 2.12.

Розглянемо дискретне джерело повідомлень з ансамблем, наведеним у таблиці 2.3 перші два рядки). Обчислимо, яку кількість інформації несе кожне таке повідомлення згідно , й занесемо ці дані у третій рядок Видно, що кількість інформації при прийнятому її визначенні відображує міру неочікуваності кожного повідомлення.

Таблиця 2.3 – Ансамбль повідомлень

а1

a2

a3

a4

a5

a6

0,4

0,3

0,15

0,1

0,03

0,02

,біт

1,322

1,737

2,737

3,322

5,059

5,644

Розглянемо, яку кількість інформації несуть більш-менш довгі послідовності таких повідомлень:

перша послідовність

а3, а1, а4, а4, а2, а2, а1, а3, а1, а25, а1, а1, а2, а3, а2, а1, а2, а1, а1,

а1, а2, а1, а1, а1, а2, а2, а3, а4, а3;

друга послідовність

а2, а1, а3, а2, а2, а1, а2, а1, a3, a1 ,a4,a2, а4, a1, a1, a3, a1, a2, a1, a5.

У першій послідовності є 30 повідомлень, а в другій — 20. Розподіл ймовірностей з ансамблю (табл. 2.3) настільки нерівномірний, що ні до першої, ні до другої послідовностей не ввійшло повідомлення а6. Справа в тому, що його за законами статистики можна було б помітити в послідовності повідомлень при довжині останньої, значно більшій від . Отже, кількість інформації в першій послідовності

=15,864 + 15,633 + 13,685 + 9,966 + 5,059=60,207 біт,

а в другій

=10,576 + 10,422 + 8,211 + 6,644 + 5,059=40,912 біт.

Видно, що ці послідовності різняться не тільки кількістю повідомлень, а й кількістю інформації в кожній з них. Однак, якщо обчислити кількість інформації, яка припадає на одне повідомлення в одній послідовності та в іншій, то виявиться, що

i1/30 = 2,0069 біт/повідомлення (2.26)

та

i2/20 = 2,0456 біт/повідомлення. (2.27)

Це означає, що середня кількість інформації, яка припадає на одну літеру алфавіту повідомлень (це те саме, що й на одне повідомлення), не залежить від конкретних повідомлень і довжини послідовності їх.

Деяка різниця тут між (2.26) та (2.27) пояснюється лише недостатньою довжиною послідовностей повідомлень. Відповідно до статистичного закону великих чисел ці відношення збігатимуться тим краще, чим більшими будуть довжини порівнюваних послідовностей

Можна сказати, що це відношення (тобто кількість інформації, яка припадає на одне повідомлення) характеризує дискретне джерело повідомлень в цілому. Інше джерело з іншим ансамблем повідомлень матиме зовсім іншу питому кількість інформації. Ця загальна характеристика джерела повідомлень і є його ентропією Н(А) згідно (2.16). Вона має фізичний зміст середньостатистичної міри невизначеності відомостей спостерігача А (див. рис. 2.1) відносно стану спостережуваного об'єкта.

Точне значення ентропії за (2.18)

(2.28)

Згідно з даними табл. 2.1 маємо

Видно, що точне значення ентропії Н(А) не дуже відрізняється від значень, здобутих у наведених вище прикладах послідовностей повідомлень.

З (2.28) випливає, що чим вища ентропія повідомлення, тим більшу кількість інформації в середньому закладено в кожне повідомлення даного джерела, тим важче запам'ятати (записати) або передати таке повідомлення по каналу зв'язку.

Необхідні витрати енергії на передачу повідомлення пропорційні його ентропії (середній кількості інформації на одне повідомлення). Тобто кількість інформації в послідовностях визначається кількістю повідомлень N у послідовності та ентропією Н (А) джерела, тобто

(2.29)

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]