3.3.5Кількість інформації як міра зняття невизначеності

Передача інформації ініціюється або самим джерелом інформації, або здійснюється за запитом. Вона диктується бажанням усунути невизначеність щодо послідовності станів, що реалізовуються деяким джерелом інформації. Зазвичай запит обумовлений відсутністю можливості спостерігати стани джерела безпосередньо. Тому абонент звертається до інформаційної системи, яка витягує інформацію, що цікавить його, з джерела за допомогою деякого первинного перетворювача і направляє її по каналу зв'язку абонентові.

Інформація виявляється завжди у формі сигналів. Сигнали z, що поступають з виходу первинного перетворювача джерела інформації на вхід каналу зв'язку, прийнято називати повідомленнями на відміну від сигналу u, що формуються на вході лінії зв'язку. Залежно від форми створюваних повідомлень розрізняють джерела дискретних і безперервних повідомлень.

Окремі первинні сигнали з виходу джерела дискретних повідомлень називають елементами повідомлення. Кожному елементу повідомлення відповідає певний стан джерела інформації. В разі паралельної реалізації джерелом інформації множині станів, як це має місце, наприклад, в документах з друкарським текстом, первинний перетворювач, зокрема, забезпечує їх послідовне відображення елементами повідомлення. Таким перетворювачем може бути як автоматичний пристрій, що читає, так і людина.

Основне поняття теорії інформації - кількість інформації – тут розглядується стосовно передачі окремих статистично незв'язаних елементів повідомлення. Дискретне джерело повідомлень при цьому повністю характеризується ансамблем

,

а безперервний - одновимірною щільністю розподілу випадкової величини – ..

Передача інформації від дискретного джерела. Можна з’ясувати, наскільки змінюватиметься невизначеність щодо стану джерела повідомлення при отриманні адресатом елементу повідомлення з виходу каналу зв'язку. Алфавіти елементів повідомлення, що передаються і приймаються є ідентичними.

Унаслідок дії завад отриманий елемент повідомлення відрізняється від переданого. Щоб підкреслити цю відмінність. позначимо елементи повідомлення що приймаються іншими буквами,: .

Апріорна невизначеність (невизначеність до отримання елементу повідомлення) щодо стану джерела не є повною. Передбачається, що адресатові відомий алфавіт елементів повідомлення, і з минулого досвіду він знає ймовірності появи його елементів. Вважаючи, що стани джерела реалізуються незалежно, апріорна часткова невизначеність появи елементу повідомлення

де – апріорна ймовірність появи елементу повідомлення .

Передбачаються що відомі деякі відомості щодо завади в каналі зв'язку. Зазвичай вважають, що між елементами повідомлення і завадою статистичні зв'язки відсутні, спотворення окремих елементів повідомлення є подіями незалежними і адресатові відома лише сукупність умовних ймовірностей того, що замість елементу повідомлення , буде прийнятий елемент повідомлення .

При отриманні конкретного елементу повідомлення , адресатові стає відомим значення умовної ймовірності , що називається апостеріорною (послядослідною) ймовірністю реалізації джерелом елементу повідомлення . Це дозволяє знайти апостеріорну часткову невизначеність, що залишається у адресата щодо видачі джерелом елементу повідомлення після отримання конкретного елементу повідомлення .

. (2.69).

Оскільки отримання інформації пов'язане із зменшенням невизначеності, природно визначити часткову кількість інформації , що отримується при прийомі елементу повідомлення щодо деякого реалізованого джерелом елементу повідомлення як різниця часткових невизначеностей, що були у адресата до і після отримання елементу повідомлення (апріорною і апостеріорною):

. (2.70)

Аналіз виразу (2.70) дозволяє зробити наступні висновки:

1) часткова кількість інформації зростає із зменшенням апріорної і збільшенням апостеріорною ймовірності реалізації елементу повідомлення джерелом;

2) часткова кількість інформації про елемент повідомлення може бути не лише позитивною, але і негативною, а також нулем, що залежить від співвідношення апріорної і апостеріорної ймовірностей. Якщо ймовірність того, що джерелом був реалізований елемент повідомлення збільшилася після прийому елементу повідомлення, тобто , то отримана часткова кількість інформації позитивна. Якщо ця ймовірність не змінилася, тобто , то невизначеність, що мала місце, теж не змінилася і часткова кількість інформації дорівнює нулю. Випадок відповідає збільшенню невизначеності щодо реалізації після отримання елементу повідомлення, і, отже, часткова кількість інформації негативна.

3) в разі відсутності завади апостеріорна ймовірність . При цьому часткова кількість інформації чисельно збігається з частковою апріорною невизначеністю реалізації даного елементу повідомлення :

.

Це максимальна часткова кількість інформації, яку можна отримати про елемент повідомлення ;

4) часткова кількість інформації щодо реалізації джерелом елементу повідомлення , що міститься в прийнятому елементі повідомлення , дорівнює частковій кількості інформації відносно , що міститься в елементі повідомлення :

. (2.71)

Хоча мають місце випадки, де важливо оцінити часткову кількість інформації, для завдань аналізу і оптимізації функціонування інформаційних систем більш раціональними є усереднені характеристики, що відображають статистичні властивості джерела інформації і каналу зв'язку.

До отримання конкретного елементу повідомлення середня невизначеність, що є у адресата, щодо реалізації джерелом будь-якого елементу повідомлення дорівнює ентропії джерела:

. (2.72)

Її ще називають апріорною ентропією джерела.

Середня невизначеність щодо будь-якого стану джерела, що залишається у адресата після отримання конкретного елементу повідомлення, характеризується частковою умовною ентропією :

. (2.73)

Це випадкова величина, залежна від того, який конкретно елемент повідомлення прийнятий.

Середня невизначеність по всьому ансамблю елементів повідомлень, що приймаються, дорівнює умовній ентропії джерела :

. (2.73)

Цю умовну ентропію називають апостеріорною ентропією джерела інформації.

Таким чином, за наявності завад середня кількість інформації, що міститься в кожному прийнятому елементі повідомлення, щодо будь-якого переданого дорівнює різниці апріорної і апостеріорної ентропії джерела:

. (2.74)

Представивши апріорну і апостеріорну ентропії відповідно виразами (2.28) і (2.73) і провівши нескладні перетворення, отримаємо формулу для кількості інформації безпосередньо через ймовірності

. (2.75)

Якщо частковий характер кількості інформації спеціально не обмовлено, то мається на увазі що кількість інформації приходиться в середньому на один елемент повідомлення. Тому вказівка про усереднення опускається.

Передача інформації від безперервного джерела. Кількість інформації, що отримується від безперервного джерела по каналу з завадами, визначається аналогічно дискретним джерелам, але з використанням поняття диференціальної ентропії.

Для джерела, що має безперервну множину станів, середня кількість інформації, що міститься в кожнім прийнятим значенням випадкової величини W відносно переданого значення випадкової величини Z, можна отримати як різниця апріорною і апостеріорною диференціальних ентропій:

. (2.76)

Співвідношення (2.76) нескладно представити у вигляді, подібному (2.75):

. (2.77)

Відносність диференціальних ентропій в цьому випадку не береться до уваги, оскільки кількість інформації не залежить від вибраного стандарту порівняння.