Словник основних термінів і понять

Асинхронне джерело – тривалості видачі знаків джерелом можуть бути різними.

Біт (синонім – дв.од.) – одиниця виміру кількості інформації; у повідомленні, ймовірність якого дорівнює 0,5, кількість інформації дорівнює 1 біту.

Двійкова одиниця, скор. дв.од. (синонім – біт) – одиниця виміру кількості інформації; у повідомленні, ймовірність якого дорівнює 0,5, кількість інформації дорівнює 1 дв.од.

Ентропія джерела – середня кількість інформації в одному знаку джерела повідомлень; характеризує невизначеність стану джерела повідомлень.

Інформація – сукупність відомостей про оточуючий нас світ (явища, події, факти тощо), які ми отримуємо в результаті взаємодії з ним; ці відомості заздалегідь невідомі отримувачу.

– власна (синонім – безумовна) – кількість інформації в повідомленні a_k джерела дискретних незалежних повідомлень.

– умовна – кількість інформації в повідомленні a_k джерела дискретних залежних повідомлень за умови, що відомі повідомлення, з якими повідомлення a_k має статистичну залежність.

Коефіцієнт надмірності – числова характеристика надмірності джерела повідомлень. Показує, яка частина максимально можливої ентропії не використовується джерелом. Набуває значення від 0 (надмірності немає) до 1 (повідомлення не несуть інформації).

Надмірність (синонім – надлишковість) – властивість джерела повідомлень видавати інформацію більшою кількістю знаків, ніж можна було б.

Повідомлення – матеріальна форма подання інформації.

Продуктивність джерела повідомлень – середня швидкість видачі інформації джерелом.

Синхронне джерело – тривалості видачі всіх знаків джерела однакові.

Лекція 2. Інформаційні характеристики двох джерел дискретних повідомлень Тематика лекції

1 Математична модель двох джерел дискретних повідомлень та її параметри (залежних та незалежних).

2 Інформаційні характеристики двох джерел дискретних повідомлень: кількість інформації, спільна та взаємна ентропії, їх властивості; надмірність та продуктивність.

Таблиця Л2.1 – Розрахункові формули інформаційних характеристик двох джерел дискретних повідомлень

Найменування характеристики	Розрахункова формула	Номер формули
Умовна кількість інформації в повідомленні (знаку) аk чи bj об’єднаного ансамблю AB двох джерел дискретних повідомлень A i B, дв.од. (біт)	І(аk/bj) = – log 2 P(аk/bj) І(bj/ak) = – log 2 P(bj/ak)	(2.1)
Умовна ентропія двох джерел повідомлень A i B чи B і A, дв.од. (біт)		(2.2)

Закінчення табл. Л2.1

Спільна кількість інформації в повідомленнях (знаках) аk та bj об’єднаного ансамблю AB двох джерел повідомлень A та B, дв.од. (біт)	І(аk, bj) = – log 2 P(аk, bj) І(bj, ak) = – log 2 P(bj, ak)	(2.3)
Спільна ентропія об’єднаного ансамблю AB двох джерел повідомлень A та B, дв.од./знак (біт/знак)	Н(A, B) = Н(A) + Н(B/A) = = Н(B) + Н(A/B)	(2.4)
Взаємна ентропія об’єднаного ансамблю AB двох джерел повідомлень A та B, дв.од./знак (біт/знак)	Нвз(A, B) = Н(A) – Н(A/B) = = Н(B) – Н(B/A)	(2.5)
Продуктивність об’єднаного ансамблю AB двох джерел повідомлень A та B, дв.од./с (біт/с)	Rдж(A, B) = Н(A, B)/	(2.6)
Швидкість передавання інформації від джерела повідомлень A до джерела B чи від джерела повідомлень В до джерела А, дв.од./с (біт/с)	Rвз(A, B) = Нвз(A, B)/	(2.7)
Пояснення: P(аk/bj) – апостеріорна (умовна) імовірність повідомлення (знаку) аk джерела A, якщо повідомлення (знак) bj джерела B відоме; – середня тривалість повідомлення (знаку)

Примітка. У табл. Л2.1, а надалі і в лекціях модуля 2, прийняті деякі позначення, що відрізняються від позначень у [1] та іншій літературі, зокрема:

– взаємна ентропія двох джерел повідомлень A та B позначається як Н_вз(A, B), а не I(A, B);

– швидкість передавання інформації від джерела повідомлень A до джерела B позначається як R_вз(A, B), а не (A, B).

Це зроблено з метою уніфікації позначень та поліпшення їх сприйняття, оскільки в усій літературі з теорії інформації ентропія позначається літерою H, а швидкість – літерою R.

Математична модель двох джерел. За термінологією [1, с. 299...300] два стаціонарні джерела A та B мають об’єднаний ансамбль AB і видають дискретні повідомлення а_k та b_j.

Статистичні характеристики двох джерел повідомлень такі:

– апріорні (безумовні) імовірності знаків а_k та b_j P(а_k) та P(b_j), k, j = 1, 2, ..., M_А;

– апостеріорні (умовні) імовірність знаків а_k джерела A, якщо мав місце знак b_j джерела B P(а_k/b_j), k, j = 1, 2, ..., M_А;

– спільні ймовірності знаків а_k та b_j P(а_k, b_j) = P(а_k)P(b_j/a_k) = P(b_j)P(a_k/b_j), k, j = 1, 2, ..., M_А;

– тривалості видачі знаків а_k чи b_j джерелами Т_k чи Т_j, k, j = 1, 2, ..., M_А.

Типовим прикладом двох джерел повідомлень є: джерело A, що діє на вході каналу зв’язку, та вихід цього каналу зв’язку – джерело В. Ми спостерігаємо повідомлення з виходу каналу (з джерела B), а інформацію маємо отримати про джерело A.

!	Кількість інформації в повідомленні аk чи bj об’єднаного ансамблю AB двох джерел повідомлень A i B характеризується умовною та спільною інформацією – формули (2.1) та (2.3) в табл. Л2.1

Ентропії двох джерел та їх властивості детально описані в [1, с. 302...304]. Звертаємо увагу на таке положення:

!	Інформаційними характеристиками об’єднаного ансамблю AB двох джерел повідомлень A та B є умовна, спільна та взаємна ентропії. Розрахункові формули (2.2), (2.4) та (2.5) в табл. Л2.1

!	Взаємна ентропія об’єднаного ансамблю AB двох джерел повідомлень показує середню кількість інформації, яку можна отримати про джерело А, спостерігаючи джерело В

Вправа 2.1. Вивести формули для обчислення спільної H(A, B) та взаємної H_вз(A, B) ентропій двох джерел повідомлень.

Розв’язання. Оскільки ентропія це – математичне сподівання кількості інформації, то спільна ентропія об’єднаного ансамблю AB двох джерел повідомлень A та B 

.

Для об’єднаного ансамблю AB двох джерел

Тоді

А згідно з формулами (1.4) та (2.2)

Н(A, B) = Н(A) + Н(B/A) = Н(B) + Н(A/B),

оскільки P(а_k, b_j) = P(b_j, a_k).

З визначення взаємної ентропії та отриманої вище формули

Н_вз(A, B) = Н(A) – Н(A/B) = Н(B) – Н(B/A).

Вправа 2.2. Довести, що спільна ентропія двох незалежних джерел повідомлень A і B дорівнює сумі їх власних ентропій, тобто H(A, B) = H(A) + H(B).

Розв’язання. Оскільки спільна ймовірність незалежних повідомлень P (a_k, b_j) = = P (a_k) P (b_j), то Н(B/A) = Н(B) і з формули (2.4) випливає, що H(A, B) = H(A) + H(B).

Вправа 2.3. Довести, що взаємна ентропія двох незалежних джерел повідомлень A і B дорівнює нулю, тобто H_вз(A, B) = 0.

Розв’язання. Оскільки для незалежних повідомлень P (a_k/b_j) =P (a_k) і P (b_j/a_k) =P (b_j), то Н(B/A) = Н(B) і Н(A/B) = Н(A). Тоді з формули (2.5) випливає, що H_вз(A, B) = 0.

Приклад 2.1. Два джерела повідомлень A і B мають ентропії, дв.од./знак: Н(A) = 5,2; Н(A/B) = 2,2; Н(B) = 5,3; Н(B/A) = 2,3. Обчислити спільну та взаємну ентропії цих двох джерел.

Розв’язання. За формулами (2.4) та (2.5) спільна ентропія Н(A, B) = Н(A) + Н(B/A) = Н(B) + Н(A/B) = 5,2 + 2,3 = 7,5 дв.од./знак, а взаємна H_вз(A, B) = Н(A) – Н(A/B) = Н(B) – Н(B/A) = 5,3 – 2,3 = 3,0 дв.од./знак.

Продуктивність об’єднаного ансамблю AB двох джерел повідомлень обчислюється за спільною ентропією [1, с. 305], формула (2.6) в табл. Л2.1.

!	Продуктивність двох джерел повідомлень A та B, обчислену за взаємною ентропією, в [1] та [2] називають швидкістю передавання інформації від джерела A до джерела B. Її можна трактувати як взаємну швидкість обміну інформацією між джерелами A та B

Приклад 2.2. Обчислити продуктивність об’єднаного ансамблю AB двох джерел повідомлень, описаного в прикладі 2.1, якщо середня тривалість повідомлень 1,5 мс.

Розв’язання. Спільна ентропія цього ансамблю з прикладу 2.1 Н_сп(A, B) = 7,5 дв.од./знак. Тоді за формулою (2.6) продуктивність об’єднаного ансамблю AB двох джерел повідомлень R_дж(A, B) = Н(A, B) / = 7,5/(1,5ּ10^{– 3}) = 500 дв.од./с.

Приклад 2.3. Обчислити швидкість передавання інформації між двома джерелами A та B, описаними в прикладі 2.1, якщо середня тривалість повідомлень 1,5 мс.

Розв’язання. Взаємна ентропія цих джерел із прикладу 2.1 Н_вз(A, B) = 3,0 дв.од./знак. Тоді за формулою (2.7) швидкість передачі інформації між двома джерелами A та B R_вз(A, B) = Н_вз(A, B) / = 3,0/(1,5ּ10^{– 3}) = 200 дв.од./с.

Контрольні питання

2.1. Дати визначення понять – сумісна та взаємна ентропія двох джерел повідомлень.

2.2. Перелічити основні властивості сумісної та взаємної ентропії двох джерел пові- домлень.

2.3. Як обчислюється продуктивність об’єднаного ансамблю AB двох джерел повідомлень?

2.4. Як обчислюється швидкість передавання інформації від джерела повідомлень А до джерела повідомлень В?

ЗАДАЧІ для самостійної роботи студентів

2.1. Два джерела повідомлень A і B мають ентропії, дв.од./знак: Н(A) = 4,2; Н(A/B) = 1,2; Н(B) = 4,3; Н(B/A) = 1,3. Обчислити спільну та взаємну ентропії об’єднаного джерела повідомлень АВ.

2.2. За розрахованими в задачі 2.1 спільною та взаємною ентропіями об’єднаного ансамблю АВ двох джерел повідомлень А та В обчислити продуктивність джерела АВ та швидкість передачі інформації від джерела А до джерела В, якщо середня тривалість повідомлень 2,0 мс.