Ентропія безперервного джерела інформації (диференціальна ентропія)

До тепер розглядалась міра невизначеності для дискретного джерела інформації. На практиці в основному мають місце джерела інформації, множина можливих станів яких складає континуум. Такі джерела називають безперервними джерелами інформації. У багатьох випадках інформація перетворюється в дискретну за допомогою використання пристроїв дискретизацію і квантування. В той же час існує немало і таких систем, в яких інформація передається і перетвориться безпосередньо у формі безперервних сигналів. Прикладами можуть служити системи телефонного, радіо зв'язку і телебачення.

Оцінка невизначеності вибору для безперервного джерела інформації має певну специфіку. По-перше, значення, що реалізовуються джерелом, математично відображуються безперервною випадковою величиною. По-друге, ймовірність значень цієї випадкової величини не може використовуватися для оцінки невизначеності, оскільки в даному випадку ймовірність будь-якого конкретного значення дорівнює нулю.

Природно, проте, пов’язувати невизначеність вибору значення безперервної випадкової величини з щільністю розподілу ймовірності цих значень. Враховуючи, що для сукупності значень, які відносяться до будь-якого скільки завгодно малого інтервалу безперервної випадкової величини, ймовірність кінцева, можна знайти формулу для ентропії безперервного джерела інформації, використовуючи операції квантування і подальшого граничного переходу при зменшенні інтервалу кванта до нуля.

З цією метою розіб'ємо діапазон зміни безперервної випадкової величини , що характеризується щільністю розподілу ймовірності , на кінцеве число n малих інтервалів шириною . Можна припустити, що при реалізації будь-яких значень на інтервалі , реалізується стале значення дискретної випадкової величини . Оскільки мале, ймовірність реалізації значення з інтервалу :

. (2.48)

Тоді можна сказати, що ентропія дискретної випадкової величини може бути записана у вигляді:

,

або

Оскільки

як еквівалент функції розподілу випадкової величини, то

. (2.49)

По мірі зменшення все більше наближається до ймовірності , а властивості дискретної випадкової величини – до властивостей безперервної випадкової величини .

Переходячи до границі при , можна отримати наступний вираз для ентропії безперервного джерела :

,

або

. (2.50)

Величина , при прямує до нескінченності, що повністю відповідає інтуїтивному уявленню про те, що невизначеність вибору з нескінченно великого числа можливих станів (значень) нескінченно велика.

Перший член в правій частці співвідношення (2.50) має кінцеве значення, яке залежить тільки від закону розподілу безперервної випадкової величини і не залежить від кроку квантування . Він має таку саму структуру, як ентропія дискретного джерела.

Другий член того ж співвідношення, навпаки, залежить лише від кроку квантування випадкової величини . Саме у цьому криється причина того, що величина обертається у нескінченність.

До використання і трактування співвідношення (2.50) для отримання кінцевої характеристики інформаційних властивостей безперервного джерела відомо два підходи.

Один підхід полягає в тому, що як міру невизначеності безперервного джерела приймають перший член співвідношення (2.50):

. (2.51)

Оскільки для визначення цієї величини використовується тільки функція щільності ймовірності, тобто диференціальний закон розподілу, вона отримала назву відносної диференціальної ентропії або просто диференціальної ентропії безперервного джерела інформації (безперервного розподілу випадкової величини ).

Її можна трактувати як середню невизначеність вибору випадкової величини з довільним законом розподілу в порівнянні з середньою невизначеністю вибору випадкової величини , що змінюється в діапазоні, рівному одиниці, і має рівномірний розподіл. Дійсно, співвідношення (2.50) для випадкової величини , рівномірно розподіленою на інтервалі буде мати вигляд:

.

При

.

звідки при умові рівності :

. (2.52)

Аналогічно, використовуючи операції квантування і граничного переходу, можна знайти вираз для умовної ентропії безперервного джерела інформації:

. (2.53)

Слід відмітити, що другий член в правій частці виразу (2.53) ідентичний відповідному членові в співвідношенні (2.50). Тому по аналогії з (2.51) можна записати:

. (2.54)

Ця величина кінцева і називається відносною диференціальною умовною ентропією або просто диференціальною умовною ентропією безперервного джерела. Вона характеризує невизначеність вибору безперервної випадкової величини при умові, що відомі результати реалізації значень іншої статистично пов'язаної з нею безперервної випадкової величини , в порівнянні з середньою невизначеністю вибору випадкової величини , що змінюється в діапазоні, рівному одиниці, при рівномірному розподілі ймовірності.

При другому підході до використання співвідношення (2.50) для кількісного визначення інформаційних властивостей безперервного джерела інформації пропонується взяти до уваги практичну неможливість забезпечення нескінченно високої точності розрізнення певних значень безперервної величини U. Тому вся нескінченна кількість значень в межах заданої точності вимірювань слід розглядувати як одне значення. З середньої невизначеності вибору джерелом деякого значення , в цьому випадку необхідно відняти середню невизначеність того ж джерела, отриману при умові, що відомі результати визначення з певною точністю . Тоді інформаційні властивості безперервного джерела оцінюватимуться різницею безумовної і умовної ентропій, визначуваних співвідношеннями (2.50) і (2.53) відповідно. Така різниця є мірою знятої невизначеності, а тому кількості отриманої інформації.

Таким чином, при другому підході безумовна і умовна ентропії безперервного джерела розглядуються лише як деякі допоміжні величини, за допомогою яких можна визначити кількість інформації. Співвідношення між поняттями ентропії і кількості інформації для безперервного джерела інформації подібно до співвідношення між потенціалом, визначеним із залученням поняття нескінченності, і напругою, визначеною як різниця потенціалів.

Оскільки другі члени в правих частках співвідношень (2.50) і (2.53) однакові, різниця безумовної і умовної ентропій безперервного джерела інформації дорівнює різниці диференціальних безумовної і умовної ентропій того ж джерела.

Властивості диференціальної ентропії

1) Диференціальна ентропія на відміну від ентропії дискретного джерела є відносною мірою невизначеності. Її значення залежить від масштабу випадкової величини , а отже, і від вибору одиниці її виміру.

Наприклад, при зміні масштабу випадкової величини , в раз, при незмінному масштабі рівномірно розподіленої в одиничному інтервалі випадкової величини , прийнятої за еталон (якщо , то ), то:

. (2.55)

Якщо одночасно змінити масштаб величини , то відносна невизначеність також зміниться, оскільки значення еталону буде вже іншим.

З відносності диференціальної ентропії виходить, що ентропія може набувати позитивних, негативних і нульових значень.

2) Диференціальна ентропія не залежить від конкретних значень випадкової величини і, зокрема, від зміщення всіх її значень на сталу величину . Дійсно, масштаб при цьому не міняється і справедлива рівність

. (2.56)

3) Важливим є питання які безперервні розподіли володіють максимальною диференціальною ентропією?

а. Якщо єдиним обмеженням для випадкової величини є область її можливих значень , то максимальна диференціальна ентропія буде при рівномірному законі розподілу ймовірностей у цій області. Доведення зводиться до знаходження максимального значення функціоналу

при обмеженні

. (2.57)

Застосувавши, наприклад, метод невизначених множників Лагранжа, можна отримати

. (2.58)

Неважко переконатися в тому, що знайдена функція забезпечує максимум функціонала , причому

. (2.59)

б. Якщо обмеження на область значень безперервної випадкової величини відсутні, але відомо, що дисперсія її обмежена, то максимальною диференціальною ентропією володіє нормальний закон розподілу величини .

При доведенні вирішується задача визначення функції , яка забезпечує максимальне значення функціоналу(2.51):

. (2.60)

при обмеженнях

і . (2.61)

де – середньоквадратичне відхилення від математичного очікування ( – задане обмеження).

Шукану щільність розподілу також можна знайти методом невизначених множників Лагранжа. Вона виявляється гаусовим (нормальним) розподілом

. (2.62)

Максимальну диференціальну ентропію при обмеженнях (2.61) можна знайти шляхом обчислення функціоналу (2.60) для розподілу (2.62). У двійкових одиницях невизначеності:

. (2.63)

Оскільки в інформаційних системах сигнал, що описується випадковою величиною , часто є електричною напругою (або струмом), то дисперсія – пропорційна середній потужності сигналу. Звідки можна стверджувати, що при заданій потужності найбільшою середньою невизначеністю вибору володітиме джерело, що генерує сигнали, амплітуди яких розподілені по нормальному закону(2.62).

4) Співвідношення для диференціальної ентропії об'єднання статистично залежних безперервних джерел аналогічні відповідним формулам для дискретних джерел (2.40):

, (2.64)

де

. (2.65)

Справедливість співвідношення (2.64) легко перевірити підстановкою виразу (3.51), заданого для , і вираження (2.53) —для .

Оскільки

і ,

то

,

причому рівність має місце тільки в разі відсутності статистичного зв'язку між і .

Приклад 2.14.

Визначити, який буде виграш в потужності, якщо у якості завад буде шум з гаусовою щільністю розподілу, у порівнянні з джерелом, що має рівномірну щільність розподілу на інтервалі при умові однакових ентропій .

Відповідно до (2.63) диференціальна ентропія розподілу гауса

.

де – дисперсія, що характеризує потужність, яка виділяється на резисторі з опором в 1Ом.

Для рівномірного розподілу ентропія визначена співвідношенням (2.59):

Дисперсія рівномірного на інтервалі розподілу дорівнює:

. (2.66)

З умови рівності ентропій випливає:

. (2.67)

або

. (2.68)

Підвівши (2.68) до квадрату і основивши з (2.66), можна отримати:

Отже, шуканий виграш складає 42 %.