7.3. Ентропія та її змінювання в складних системах

При вивченні сигналів в каналах систем (чи просто в системах) прешим специфічним поняттям є невизначеність випадкового сигналу, для якої введена кількісна міра – ентропія.

Наприклад: якщо деяка подія може відбутись з вірогідністю 0,99 (тобто не відбутись з вірогідністю 0,01), а для іншої події ці оцінки 0,5 та 0,5, то для другого випадку краще утриматись від прогнозів- велика невизначеність.

Міра невизначеності повинна бути числовою характерис-тикою, функціоналом від розподілення.

Для об’єкта А з кінцевою множиною можливих сигналів А₁,…А_n з відповідними ймовірностями р₁,…р_n мірою невизначеності приймають ентропію.

(7.8)

р-щільність розподілення для випадкової величини.

Властивості функціонала (як міри невизначеності):

1.Н(р_1, …р_n)=0, лише тоді, коли будь-яке одне з (решта нулі).

Це відповідає випадкові, коли результат можна передбачити наперед з повною достовірністю, тобто коли відсутня будь-яка невизначеність. У всіх інших випадках ентропія позитивна (додатня). Ця властивість перевіряється безпосередньо.

2. Н(р₁,…….р_п) сягає найбільшого значення при р₁ = р₂ =…= р_n = - випадок найбільшої невизначеності. Варіація Н по р_і за умови дає р_і = const =

3. Якщо А і В - незалежні випадкові об’єкти, то

(А∩В) = Н(А)+Н(В) (7.9)

4. Якщо А і В - залежні випадкові сигнали то:

Н(А∩В)=Н(А)+Н(В|А)=Н(В)+Н(А|В), (7.10)

де умовна ентропія Н(В|А) визначається як математичне сподівання ентропії умовного розподілення.

5. Існує нерівність:

Н(А)Н(А|В), (7.11)

що узгоджується з інтуітивним уявленням про те, що знання стану об’єкта В може лише зменшити невизначеність об’єкта А, а якщо вони незалежні, то залишить її незмінною.

Цікава особливість: для оберненої задачі, тобто при бажаних властивостях міри невизначеності знайти функціонал з вказаними властивостями – лише умови 2 та 4 дозволяють розв’язати задачу однозначно (з точністю до постійного множника).

Диференційна ентропія: дає можливість узагальнити міру невизначеності на неперервні випадкові сигнали:

(7.12)

Це аналог ентропії дискретної величини, але умовний, відносний. Смисл: начебто порівнюється невизначеність випадкової величини з щільністю розподілення р(х) з невизначеністю випадкової величини, рівномірно розподіленої в одиничному інтервалі, тому h(x) на відміну від Н(х) може бути не тільки додатньою. Міняється також h(x) у випадках нелінійних перетворень шкали х, що в дискрентному випадку значення не має, решта - аналогічно.

Практичне використання: якщо при деяких обмеженнях на випадкову величину необхідно задати конкретне розподілення, то використовується принцип максимума ентропії: із всіх розподілень, які відповідають існуючим обмеженням, рекомендується обирати ті, які мають максимальну диференційну ентропію. (Тобто максимум ентропії гарантує найбільшу невизначеність, пов’язану з тим, що ми маємо справу з найгіршим випадком за даних умов).

Для випадкового процесу з дискретним часом та дискретною кінцевою множиною можливих станів ентропія пов’зана з його фундаментальними властивостями.

Назвемо кожен стан процеса символом, множину можливих станів - алфавітом, їх число m-об’ємом алфавіта. Число можливих послідовностей довжини n дорівнює m ⁿ, а появу конкретної послідовності можна розглядати як реалізацію однієї з m ⁿ подій. Знаючи ймовірності символів та умовні ймовірності появи наступного символа, якщо відомий попередній (у випадку їх залежності) можна обчислити ймовірність P(c) для кожної послідовності C. Ентропія множини , за визначенням:

(7.13)

Для стаціонарного випадкового процеса ентропія

(7.14)

На множині можна задати будь-яку числову функцію , яка є випадковою. Визначимо:

(7.15)

а математичне сподівання цієї функції

(7.16)

Тоді,

(7.17) (7.18)

Ця залежність цікава сама по собі, але вона є проявом більш загальної властивості дискрентних ергодичних процесів:

- не лише при має границею Н, а й сама величина f_n(С) Н при . Другими словами - при великих близкість f_n(С) до Н є майже достовірною подією.

Для ергодичних випадкових процесів можна сформулювати ряд наслідків:

1. Незалежно від ймовірності символів і статистичних зв’язків між ними, всі реалізації високоймовірної групи приблизно рівноймірні.

Цю фундаментальну властивість називають “властивістю асимптотичної рівнорозподіленості”. За відомої ймовірності Р(с) однієї з реалізацій групи можна оцінити число N₁ реалізацій в цій групі:

(7.19)

2. Ентропія Н_n з високою точністю дорівнює логарифму числа реалізацій високоймовірній групі:

(7.20)

3. При великих n високоймовірна група звичайно охоплює лиш малу долю всіх х реалізацій (за вийнятком випадку рівноймовірних та незалежних символів, коли всі реалізації рівноймовірні і Н=log m ).

Існують об’єктивні закони змінювання ентропії в складних системах будь-якої природи, одним з яких є зростання та зменшення ентропії - зміна невпорядкованості, хаосу (стану, коли поведінка будь-якого елементу системи не залежить від поведінки решти елементів і кожного зокрема). Цей закон визначає стан організованості системи будь-якої природи, що однозначно пов’яза-но із степенем відкритості системи . В повністю закритій системі (=0) немає взаємодії з іншими системами та зовнішнім середовищем щодо обміну інформації. Це з часом обов’язково призведе до збільшення ентропії, зростання безпорядку, неорганізованості та хаосу.

Повністю відкриті системи (=_max) є лише теоретичною ідеалізацією, реальні системи мають кінцеве значення відкритості (0_max). Коли зростання та зменшення ентропії компенсують один одного, виникає критичний рівень організації Е_к, який тим більший, чим більша степінь відкритості системи. Якщо для конкретної системи рівень організації EE_x (це відповідає більшому значенню ентропії), то організація нижча. В процесі самоорганізації відбуваються структурні зміни в системі, збільшується організо-ваність. Важливе місце займає самоузгодження дії елементів. Системи із самоорганізацією є предметом досліджень наукової дисципліни “синергетика”.

Реальні системи взаємодіють із зовнішнім середовищем та іншими системами, тому їх ентропія постійно змінюється (ентропійні коливання), що залежать від степені їх відкритості. Інтенсивність зовнішнього діяння на систему не повинна перевищувати деякого значення, після якого система руйнується (не встигає самоорганізовуватись достатньою мірою). Для тривалого стабільного функціонування будь-якої системи необхідно забезпечити оптимальне співвідношення таких показників: степені відкритості; початкового рівня організації Е_о; числа елементів та підсистем.