2.7 Оцінювання економічної інформації

2.7.1 Основні поняття теорії інформації

Теорія інформації – це наука яка вивчає кількісні закономірності, пов’язані з отриманням, передачею, обробкою та збереженням інформації. Ці властивості притаманні ІС, в якій здійснюється обмін інформацією між різними ланками системи. Передана інформація повинна бути певним чином «закодованою»- переведена на мову спеціальних символів та сигналів.

Одним із завдань теорії інформації є знаходження найбільш оптимальних методів кодування, які дозволяють передати задану інформацію за допомогою мінімальної кількості символів. Це завдання вирішується як за відсутності так і за наявності перешкод в каналі зв’язку. Другою задачею теорії інформації є знаходження перепускної властивості каналу зв’язку для передачі інформації без затримок та перешкод.

Як об’єкт, про який передається інформація, будемо брати систему X, яка випадковим чином може знаходитися в тому чи іншому стані. Для цієї системи маємо певну ступінь невизначеності, яка залежить від кількості її можливих станів та ймовірних станів.

Як невизначена система застосовується спеціальна характеристика – ентропія Н(Х), яка обчислюється за формулою

,

де М- математичне сподівання;

- ймовірність появи події .

Залежно від основи логарифма а маємо різні одиниці вимірювання ентропії (а=2- в бітах; а=10- в дитах; а=е – в натах). Перехід від однієї основи логарифму до іншої здійснюється за допомогою формули

. Наприклад:

Основні властивості ентропії:

1. Вона дорівнює нулю, якщо одне з станів системи достовірне, а інші – недостовірні.

2. При заданій кількості станів вона набуває максимального значення за умови рівноймовірності цих станів ( ).

3. Якщо декілька незалежних систем об’єднуються в одну, то їх ентропії додаються.

На практиці виникає потреба в знаходженні ентропії складної системи, об’єднавши дві чи більше простих систем. Під об’єднанням двох систем Х,У розуміється складна система (Х,У), стан якої ( ) подає усі можливі комбінації станів систем Х,У. Знайдемо ентропію складної системи:

Якщо системи Х та У незалежні, то .

Для залежних систем маємо умовну ентропію системи У за умови, що система Х знаходиться в стані :

та середню або повну ентропію системи У відносно Х:

Величина характеризує ступінь невизначеності системи У, яка залишилася після того, як стан системи Х повністю визначився.

Теорема. Якщо дві системи Х та У об’єднуються в одну, то ентропія об’єднаної системи дорівнює ентропії однієї з іі складових частин та додатку умовної ентропії другої частини відносно першої:

2.7.2 Ентропія та інформація

Кількість інформації будемо виміряти зменшенням ентропії тієї системи, для уточнення стану якої ці відомості призначені. Кількість інформації, здобутої при повному з’ясуванні стану деякої системи, дорівнює ентропії цієї системи. Тобто

.

Часткова інформація, отримана від окремого повідомлення, за умови, що система Х знаходиться в стані ,знаходиться за формулою

.

Якщо всі можливі стани системи однаково рівноймовірні , то

.

Розглянемо систему з двома станами:

xi	x1	x2
pi	p1	p2

Для вимірювання інформації в двійкових одиницях можна умовно характеризувати її кількістю відповідей типу «так» або «ні», за допомогою яких можна здобувати таку саму інформацію. Максимальна інформація досягається за умови p₁=p₂=1/2 і I_x=1. Якщо інформація від будь-якого повідомлення дорівнює n двійковим одиницям, то вона рівносильна інформації, яка надається n відповідями «так» або «ні» на питання, поставлені таким чином, що «так» або «ні» однакової ймовірності.

Приклад. Дехто задумав ціле число від 1 до 8. Яку мінімальну кількість запитань типу «так» або «ні» треба поставити, щоб його вгадати?

Розв’язання. Знайдемо інформацію, яка знаходиться у повідомленні, яке число задумане. Всі значення Х від 1 до 8 рівноймовірні (р₁=р₂=…=р₈=1/8), тому . Мінімальну кількість питань, які треба поставити для знаходження задуманого числа, не більше ніж 3.

На практиці виникає потреба в спостереженні не над самою системою Х (вона є недосяжною для спостереження), а над іншою системою У, яка пов’язана з нею. Відмінність між системами Х та У може бути двох видів:

1 Відмінність за рахунок того, що деякі стани системи Х не знаходять відображення в системі У.

2 Відмінність за рахунок помилок, які виникають при вимірюванні параметрів системи Х та при передачі повідомлень.

Кількість інформації про систему Х, яке дає спостереження над системою У, обчислимо за формулою

.

Це є повна ( або середня) інформація про систему Х, яка знаходиться в системі У. Інформацію будемо називати повною взаємною інформацією, яка знаходиться у системах Х та У. Якщо Х та У незалежні, то і . У випадку коли стан системи Х повністю відповідає стану системи У і навпаки, то і

.

Знайдемо повну взаємну інформацію через ентропії об’єднаної системи та її складових:

.

Після певних перетворень, враховуючи вищеназване, маємо

(1)

Приклад 1. Маємо дві системи Х та У об’єднані в одну (Х,У). Ймовірність стану об’єднаної системи задано таблицею:

	x1	x2	x3
y1	0,1	0,2	0
y2	0	0,3	0
y3	0	0,2	0,2

Знайти повні умовні ентропії і та повну взаємну інформацію .

Розв’язання.

Знайдемо ймовірності подій х_i та у_j: р₁=0,1; р₂=0,7; р₃=0,2; r₁=0,3; r₂=0,3; r₃=0,4

та отримаємо таблиці умовних ймовірностей Р(y_j/x_i) :

	x1	x2	x3
y1	1	0,2/0,7	0
y2	0	0,3/0,7	0
y3	0	0,2/0,7	1

та Р(x_i/y_j)

	x1	x2	x3
y1	0,1/0,3	0,2/0,3	0
y2	0	1	0
y3	0	0,2/0,4	0,2/0,4

;

,

,

,

Приклад 2. Ймовірність отримання кредиту в банку дорівнює 20%. Припустимо, що завчасно робиться прогноз з отримання кредиту. Прогноз отримання кредиту буває помилковим приблизно в половині всіх випадків, а прогноз неотримання кредиту є помилковим в одному випадку з десяти. Яка кількість інформації в бітах знаходиться в повідомленні про отримання кредиту ?

Розв’язання. Запишемо такі події: А₁-отримання кредиту; А₂- неотримання кредиту; В₁- прогноз видачі кредиту; В₂ - прогноз невидачі кредиту:

Р(А₁)=0,2 Р(А₂)=0,8 Р(А₁/В₁)=0,5 Р(А₁/В₂)=1/10.

Будемо використовувати формулу повної ймовірності:

.

Маємо:

Знаходимо рішення системи Р(В₁)=1/4 Р(В₂)=3/4.

Для знаходження кількості інформації застосовуємо формулу (1)

Враховуючи, що Р(АВ)=Р(В)Р(А/В), маємо:

Р(А₁ В ₁)=Р(В₁ )Р(А ₁/В₁ )=1/8 ; Р(А₁ В₂)=3/40;

Р(А₂ В₁)=1/8; Р(А₂ В₂)=27/40;

I_Y↔X =0,12 бітів.

Іноді необхідно оцінити часткову інформацію про систему Х, яка знаходиться в окремому повідомленні, коли система У знаходиться в конкретному стані у_j. Позначимо цю часткову інформацію . Враховуючи, що

, а також (1)

маємо

Для знаходження часткової інформації про подію х_i, яка знаходиться в події у_j, необхідно застосовувати формулу

Таким чином, часткова інформація про подію, яка отримується при повідомленні про іншу подію, дорівнює логарифму відношення ймовірності першої події після повідомлення до його ймовірності до повідомлення. Ця інформація може бути як додатною так і від’ємною.

Приклад. В урні маємо 3 білих та 4 чорних кулі. Витягли 4 кулі: 3 чорні та 1 білу. Знайти кількість інформації в бітах, яка знаходиться в спостережної події В відносно події А, наступна куля, яку будемо витягати, буде чорною.

Розв’язання