Джерела неперервних повідомлень та їх ентропійні властивості

Нехай символ повідомлення набуває значення, що описується випадковою величиною , яка визначена на ймовірнісному просторі і має неперервний розподіл ймовірностей

з щільністю розподілу , яка задовольняє умові нормування:

.

де – -алгебра подій на числовій прямій .

Означення. Диференціальною ентропією ДНП (або ентропією випадкового повідомлення з розподілом ) називається величина, яка визначається функціоналом

.

Означення. Умовною диференціальною ентропією випадкового символу відносно випадкового символу називається величина, яка визначається функціоналом

,

де – сумісна щільність розподілу випадкових символів , – умовна щільність розподілу при умові .

Властивості диференціальної ентропії

1. Диференціальна ентропія не змінюється при зсуві розподілу:

, де .

2. Для довільної системи випадкових символів справедлива властивість ієрархічної адитивності:

.

3. Нехай – випадковий символ з щільністю розподілу , , що має диференціальну ентропію , а – взаємно-однозначне неперервно диференційоване функціональне перетворення. Тоді випадковий символ має диференціальну ентропію

,

де – якобіан перетворення .

Наслідок 1. При взаємно-однозначному функціональному перетворенні диференціальна ентропія може зростати, спадати і залишатися незмінною. Вона незмінна тоді і тільки тоді, коли щільність розподілу і якобіан перетворення мають спеціальнц властивість:

.

Наслідок 2. Якщо функціональне перетворення лінійне: , де – довільна невироджена -матриця, – довільний вектор, то

.

Зауваження. Властивість 3 визначає суттєву відміну між ентропією ДДП і диференціальною ентропією ДНП. При взаємно-однозначних функціональних перетвореннях ентропія ДДП не змінюється.

Наслідок 3. Диференціальна ентропія незмінна, якщо лінійне перетворення має одиничний якобіан: .

Наслідок 4. При ортогональному перетворенні випадкового повідомлення :

,

диференціальна ентропія не змінюється.

Іі. Виконання роботи.

Завдання 1. Нехай – випадковий символ з біноміальним розподілом ймовірностей з параметрами і . Обчислити ентропію і дослідити на екстремум її залежність від ймовірності .

Розв’язання. Дискретна випадкова величина розподілена за біноміальним законом з параметрами і .

Побудуємо закон розподілу випадкової величини :

, ,5, .

;

;

;

;

;

.

Закон розподілу запишемо у вигляді таблиці:

	0	1	2	3	4	5
	0,0003	0,0064	0,0512	0,2048	0,4096	0,3277	1

Перевірка умови нормування:

0,0003+ 0,0064+0,0512+0,2048+0,4096+0,3277=1.

Обчислимо ентропію :

.

Ентропія є функцією від параметра розподілу ймовірностей:

.

При

.

Графік функції має вигляд:

Дослідимо цю функцію на екстремум. Знайдемо її похідну:

.

Знайдемо критичні точки функції :

.

З’ясуємо характер критичної точки:

Оскільки для будь-якого похідна і для будь-якого , похідна , то є точкою максимуму. Значення функції в цій точці .

Завдання 1'. Нехай – випадковий символ з геометричним розподілом ймовірностей з параметрами і . Обчислити ентропію і дослідити на екстремум її залежність від ймовірності .

Розв’язання. Дискретна випадкова величина розподілена за геометричним законом з параметрами і .

Побудуємо закон розподілу випадкової величини :

, , .

;

;

;

;

.

Закон розподілу запишемо у вигляді таблиці:

	0	1	2	3	4
	0,6	0,24	0,096	0,038	0,026	1

Перевірка умови нормування:

0,6+ 0,24+0,096+0,038+0,036=1.

Обчислимо ентропію:

.

Ентропія є функцією від параметра розподілу ймовірностей:

.

При

.

Графік функції має вигляд:

Дослідимо цю функцію на екстремум. Знайдемо її похідну:

Знайдемо критичні точки функції :

З’ясуємо характер критичної точки:

Оскільки для будь-якого похідна і для будь-якого , похідна , то є точкою максимуму. Значення функції в цій точці .

Завдання 2. Статистичними вибірками встановлено, що при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ зустрічається 48 разів, а символ – 23 рази. Разом із символом символ зустрічається 16 разів. Знайти умовні ентропії і .

Розв’язання. Ймовірність того, що при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ зустрічається 48 разів, дорівнює

.

Ймовірність того, що при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ зустрічається 23 рази, дорівнює

.

.

Ймовірність того, що при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ зустрічається разом із символом 16 разів, дорівнює

.

Умовна ймовірність того, при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ зустрічається 48 разів при умові, що символ зустрічається 16 разів, дорівнює

.

Умовна ентропія

Умовна ймовірність того, при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ зустрічається 23 рази при умові, що символ зустрічається 48 разів, дорівнює

.

Умовна ентропія

.

Завдання 3. Нехай – випадкова величина з експоненціальним розподілом ймовірностей, щільність якого дорівнює . Обчислити диференціальну ентропію і дослідити на екстремум її залежність від параметра .

Розв’язання. Обчислимо диференціальну ентропію за формулою

:

При