Практичне заняття №5 ентропія неперервних джерел інформації

5.1 Мета заняття

Метою заняття є ознайомлення студентів з ентропійними характеристиками неперервних джерел інформації

5.2 Методичні вказівки для самостійної підготовки до заняття [1,3-5].

Оцінка невизначеності вибору для неперервного джерела інформації має певну специфіку:

1. Значення, які реалізуються джерелом інформації, математично відображаються неперервною випадковою величиною.

2. Імовірності значень цієї випадкової величини не можуть використовуватися для оцінки невизначеності, тому що ймовірність будь-якого конкретного значення дорівнює нулю.

Для оцінки сукупності значень, які належать до довільного як завгодно малого інтервалу випадкової величини, можна використовувати операції квантування та граничного переходу (зменшення кванту до нуля). При цьому використовується щільність розподілу ймовірності :

.

(5.1)

Ентропія дискретної випадкової величини може бути записана у вигляді:

.

(5.2)

Відомо, що , тому

.

(5.3)

Якщо , то , а .

(5.4)

Друга складова формули (5.4) при прагне до нескінченності. Отже, ентропія безперервного повідомлення також прагне до нескінченності. Однак у реальних умовах відлік повідомлень одержувачем інформації проводиться в дискретних точках внаслідок кінцевої точності апаратури, тобто інтервали мають кінцеву величину; тому формула (5.4), яка використовується для знаходження ентропії неперервного повідомлення має дві складові, одна з яких обумовлюється законом розподілу повідомлення, а друга є постійною величиною, що звичайно виключається з розгляду.

Першу складову (5.4) називають диференціальною ентропією:

.

(5.5)

Умовна ентропія неперервного джерела інформації дорівнює:

(5.6)

Перша складова формули (5.6) є диференціальною умовною ентропією:

.

(5.7)

Ця величина характеризує невизначеність вибору випадкової величини за умови, що відомі результати реалізації іншої статистично пов'язаної з нею величиною.

Кількість інформації у неперервних повідомленнях визначається різницею початкової й залишкової ентропій повідомлення:

(5.8)

Приклад 5.1. Визначити диференціальну ентропію неперервного повідомлення, розподіленого за нормальним законом:

.

Інтеграл від першої складової у отриманому виразі дорівнює одиниці, тому що . Друга складова визначається наступним чином:

.

Таким чином,

.

Приклад 5.2. Вимірювана величина змінюється у межах від дота розподілена рівномірно за законом:

Знайти диференціальну ентропію:

.

Приклад 5.3. Визначити кількість інформації, яка міститься в одному вимірі випадкової величини , рівномірно розподіленої в інтервалі від 0 до 256, якщо погрішність виміру розподілена за нормальним законом, а середньоквадратичне значення погрішності .

Диференціальна ентропія випадкової величини :

біт.

Залишкова диференціальна ентропія визначається погрішністю виміру. За аналогією з прикладом 5.2 отримуємо:

біт.

Кількість інформації, яку отримано в результаті одного виміру, визначається різницею початкової й кінцевої ентропій:

біт.

Приклад 5.4. Знайти спільну ентропію взаємозалежних повідомлень іта умовну ентропію, якщо функція щільності розподілу відповідає нормальному закону:

,

де – коефіцієнт кореляції значеньі.

Спільна диференціальна ентропія йвизначається співвідношенням:

,

де

.

Отже,

Відомо, що

тому остаточно отримаємо:

.

Застосовуючи формулу (5.7) та з огляду на те, що , отримаємо значення умовної ентропії

.

Приклад 5.5. Випадкова погрішність вимірювальної системи, яка складається із двох пристроїв, є сумою двох незалежних випадкових погрішностейіокремих її пристроїв з параметрамиВ иВ Погрішності мають рівномірні закони розподілу (рис.5.1) із щільностями ймовірності відповідно

і
Рис.5.1 Функції розподілу погрішностей

Знайти диференціальну ентропію сумарної погрішності .

З теорії ймовірностей відомо, що щільність імовірності суми двох незалежних випадкових величинвизначається наступним чином:

.

У цьому випадку закон розподілу суми називається композицією законів розподілу складовихй.

Таким чином, для рішення задачі необхідно знайти композицію двох рівномірних законів розподілу й, тобто:

.

Для обмежених законів розподілу при зсуві щільності ймовірності на величинудобуток під знаком інтеграла є відмінним від нуля, коли функціїйнакладаються одна на одну. У нашому випадку можливі три ситуації.

1) Нехай і функціяповністю накладається на(рис.5.2).

Рис.5.2 Співвідношення погрішностей (а)

У цьому випадку інтервал зміни сумарної погрішності визначається нерівністю

.

2) Нехай і функціячастково й праворуч накладається на(рис.5.3).

Рис.5.3 Співвідношення погрішностей (б)

У цьому випадку інтервал зміни сумарної погрішності визначається нерівністю

.

3) Нехай і функціячастково й ліворуч накладається на(рис.5.4).

Рис.5.4 Співвідношення погрішностей (в)

У цьому випадку інтервал зміни сумарної погрішності визначається нерівністю

.

У результаті інтеграл згортки приймає вигляд

або після інтегрування

Графік щільності ймовірності сумарної погрішності як композиція законів розподілу доданківінаведено на рис.5.5.

Рис.5.5 Графік щільності ймовірності сумарної погрішності

Для визначення на підставі (5.5) диференціальної ентропії сумарної погрішності необхідно через інтервальну неперервність функції обчислити три інтеграли.

Перший інтеграл

.

Другий інтеграл

.

Третій інтеграл

.

Остаточно диференціальна ентропія сумарної погрішності дорівнює:

.
біт.

Приклад 5.6. Потужність випадкового сигналу на виході аналогового датчику обмежено при середньоквадратичному відхиленніВ значенням.

Знайти диференціальний закон розподілу, що забезпечує максимальну відносну ентропію.

Середня потужність стаціонарного випадкового процесу визначає дисперсію випадкової величини в перетині процесу для моменту часу, тобто. Таким чином, серед всіх законів розподілунеперервної випадкової величиниз однієї й тією же дисперсієюнеобхідно знайти закон розподілу, який максимізує, згідно з (5.5), наступний інтеграл:

.

Відповідно до теореми варіаційного обчислення для знаходження функції , яка дає екстремум інтеграла

за додаткових умов

,

необхідно вирішити рівняння Ейлера

,

де ;

- постійні коефіцієнти, які визначаються за допомогою заданих додаткових умов.

У даному прикладі потрібно знайти максимум інтеграла

за додаткових умов

і ,

де - математичне очікування випадкової величини.

Отже,

.

Тоді рівняння для визначення набуває вигляд

або після диференціювання

.

Рішення рівняння в символічному виді буде наступним

.

Якщо позначити, то щільність імовірності можна записати у вигляді

.

З додаткових умов знаходимо два рівняння для визначення постійних . Для першої умови, додавши змінну прий зважаючи на те, що отримаємо

.

Таким чином, маємо перше рівняння

або .

Для другої умови, додавши змінну прита двічі виконавши інтегрування вроздріб, отримаємо

.

Звідси отримуємо друге рівняння

.

Підставляючи в останнє рівняння величину з першого рівняння та вирішуючи друге рівняння, отримаємо

.

Отже, постійні коефіцієнти набувають значення:

и.

Остаточно щільність імовірності, яка максимізує інтеграл у формулі (5.5), приймає вигляд

.

Таким чином, з усіх диференціальних законів розподілу з однаковою дисперсією максимальну відносну ентропію дає нормальна щільність імовірності.

5.3 Задачі для самостійної роботи

5.3.1 Визначити диференціальну ентропію рівномірного на інтервалі розподілу.

5.3.2 Визначити диференціальну ентропію нормального розподілу із щільністю ймовірності

.

Як впливає на величину збільшення у два рази а) середнього; б) дисперсії ?

5.3.3 Визначити ентропію двовимірного рівномірного розподілу, який задано щільністю

5.3.4 Визначити ентропію розподілу (рис. 5.6). Побудувати графік залежності у функції параметра.
	Рис.5.6 Функція розподілу

5.3.5 Визначити диференціальну ентропію випадкової величини, яку задано розподілом

5.3.6 Визначити умовні диференціальні ентропії йдля суми нормальних випадкових величин, якщо коефіцієнт кореляції дорівнює.

5.3.7 У результаті дезорганізації керування літаків летять довільними курсами. Після відновлення керування літаки взяли загальний курс із середньоквадратичною помилкою відхилення від курсу. Знайти зміну ентропії, вважаючи, що в першому випадку мав місце рівномірний розподіл ймовірностей, а в другому випадку - нормальний.

5.3.8 Неперервна випадкова величина розподілена за нормальним законом. Вона вимірюється з помилкою, що також відповідає нормальному розподілу. Вихідною величиною є випадкова величина. Чому дорівнює кількість інформації, яка надходить в одиницю часу, якщойнезалежні, середні значення, дисперсії?

5.3.9 Визначити диференціальну ентропію неперервного повідомлення, розподіленого за законом Симпсона (рис. 5.7):
	Рис.5.7 Розподіл Симпсона

5.3.10 Визначити диференціальну ентропію неперервного повідомлення, розподіленого за законом (а)(рис. 5.8): .
	Рис.5.8 Розподіл (а)

5.3.11 Визначити диференціальну ентропію безперервного повідомлення, що має розподіл Коші (рис. 5.9): .
	Рис.5.9 Розподіл Коші

5.3.12 Визначити диференціальну ентропію випадкової величини, яку задано однобічним експонентним розподілом (рис. 5.10):
	Рис.5.10 Однобічний експонентний розподіл

5.3.13 Визначити диференціальну ентропію випадкової величини, яку задано розподілом Лапласа (рис. 5.11): .
	Рис.5.11 Розподіл Лапласа

5.3.14 Визначити диференціальну ентропію випадкової величини, яку задано однобічним нормальним розподілом (рис. 5.12):
	Рис.5.12 Однобічний нормальний розподіл

5.3.15 Визначити диференціальну ентропію випадкової величини, яку задано логарифмічним нормальним розподілом (рис. 5.13):
	Рис.5.13 Логарифмічний нормальний розподіл

5.3.16 Визначити диференціальну ентропію випадкової величини, яку задано розподілом Релея (рис. 5.14):
	Рис.5.14 Розподіл Релея

5.3.17 Знайти умовні диференціальні ентропії й для суми нормальних і залежних випадкових величин і , якщо їх середньоквадратичне відхилення В, В а коефіцієнт кореляції .

5.3.18 Дві незалежні випадкові погрішності й розподіляються з рівною ймовірністю на інтервалі , де В. Знайти диференціальну ентропію сумарної погрішності .

5.3.19 Система виміру дальності має дві незалежні тридцятимільйонні випадкові погрішності виміру. Перша випадкова погрішність має при параметрі м розподіл Симпсона зі щільністю ймовірності

Друга випадкова погрішність рівномірно розподілена на інтервалі зі щільністю ймовірності

Знайти невизначеність результату виміру в середньому на один вимір.

5.3.20 Вимірювальний пристрій має випадкову погрішність виміру , розподілену з параметрами мВ і мВ за законом Коші із щільністю ймовірності

.

Знайти середню невизначеність результату виміру.

5.3.21 Знайти середню невизначеність результату виміру координати , якщо випадкова погрішність системи для визначення координат має при середньоквадратичних відхиленнях мм,мм і коефіцієнті кореляції нормальний розподіл із щільністю ймовірності

.

5.3.22 Вимірювальний пристрій має випадкову погрішність виміру , яка розподілена з параметрами мВ^-1 і мВ за експонентним законом із щільністю ймовірності

.

Знайти середню невизначеність результату виміру.

5.3.23 Інформація передається шляхом зміни амплітуди сигналу , яка розподілена за нормальним законом з параметрами − середнє значення В та дисперсія В². Величина виміряється пристроєм, що має погрішність , яка не залежить від амплітуди сигналу і також розподілена за нормальним законом із середнім значенням В та дисперсією В². Визначити кількість інформації про величину , яка міститься в результатах виміру .

5.3.24 Вимірювана величина напруги розподілена з рівною ймовірністю в межах від В до В, тобто має щільність імовірності (рис.5.15).

.

Вимірювальний пристрій для кожного результату виміру має випадкову погрішність , яка розподілена при параметрах В^-1 і В за експонентним законом із щільністю ймовірності

.

Знайти кількість інформації, яка отримується в середньому на один вимір.

Рис.5.15 Розподіл напруги

5.3.25 Вимірювана величина має логарифмічно нормальний закон розподілу з параметрами В, У та В із щільністю ймовірності

Погрішність кожного результату виміру (наприклад, В) при середньоквадратичному відхиленні В має розподіл модуля нормальної випадкової величини із щільністю ймовірності

Знайти кількість інформації, яка отримується в середньому на один вимір.

5.3.26. На координатній площині об'єкт із рівною ймовірністю може перебувати в будь-якій точціпрямокутної площі із центром на початку координат (рис.5.16), де– щільність імовірності положення об'єкту. При цьому координатапри параметрікм змінюється в межах інтервалу , а координата при параметрікм − у межах інтервалу . Система виміру координат незалежно від їхніх значень (наприклад, км і км) при середньоквадратичних відхиленнях км, км і коефіцієнті кореляції має нормальний розподіл погрішності із щільністю ймовірності (рис.5.16)

.

Знайти середню кількість інформації, яку отримаємо в результаті вимірів координат об'єкта.

Рис.5.16 Щільність імовірності положення об'єкта

5.4 Контрольні запитання і завдання

1. Яким чином відображуються значення, які задано неперервним джерелом повідомлень?

2. Чому дорівнює ймовірність конкретного значення неперервного джерела повідомлень?

3. Чому дорівнює ентропія неперервного джерела повідомлень?

4. Що називають диференціальною ентропією?

5. Чому дорівнює умовна ентропія неперервного джерела повідомлень?

6. Що називають диференціальною умовною ентропією?

7. У якому випадку диференціальна ентропія є негативною?