3. Ентропія по Колмогорову та ентропія 3

Більшість технологічних об’єктів, які в даному випадку розглядаються як стохастичні ДІ, формують дані, що підлягають гаусовому закону розподілу імовірностей. Для таких ДІ переважна більшість відліків лежить в діапазоні в околі математичного сподівання. Відповідно, ентропія буде визначатися згідно виразу:

.

При кодуванні неперервних ДІ із заданою точністю квантування по рівню і кроці дискретизації по часу А. Н. Колмогоровим [101] запропонована нова міра інформації – -ентропія, яка визначається кількістю елементів  при переході ДІ в різні стани:

;

де  – крок дискретизації, що забезпечує точність квантування ;

C – діапазон квантування;

 – інтервал часу спостереження ДІ.

Якщо визначити кількість значень, яке може бути отримане в -просторі за час у вигляді:

;

отримаємо:

.

В частковому випадку, коли і

.

4. Ентропія по Шульцу та Мідлтону

Г. Шульц [355] намагався узагальнити шенонівську ентропію і тим самим створити поняття оціночної ентропії. Він видозмінив ентропію як середнє значення об’єму інформації окремих станів, щоб її можна було б використовувати не тільки для передачі, але й для оцінки значимості інформації. Г. Шульц встановив оціночну шкалу, по якій найбільш «несприятливому» стану надавалось найнижче значення, а найбільш сприятливому стану – найвище. Для зручності користування значення шкали вибиралися кратними степеню числа 2.

, , ,..., .

З цих значень утворювалися оціночні коефіцієнти

від до .

Вони еквівалентні послідовності частот .

Для забезпечення додаткової умови, яка вимагає, щоб при однаковій семантичній оцінці всіх станів ДІ утворювалась шенонівська оцінка ентропії, використовується формула:

.

Легко помітити, що функція симетрична відносно змінних і . Для вона приймає вигляд:

,

а для має місце граничний випадок:

,

де – кількість можливих станів ДІ, що співпадає з оцінкою Хартлі. Функцію можна виразити через абсолютні значення і абсолютні частоти

При цьому вираз:

формально відповідає шеннонівській ентропії:

.

Необхідно відмітити, що в виборі оціночних коефіцієнтів існує певна довільність, яка вносить експертну суб’єктивність в дану оцінку ентропії ДІ.

Для дискретного ергодичного ДІ, в якого кореляційні зв’язки існують тільки між двома сусідніми значеннями послідовності ентропія визначається виразом:

або

,

де – умовна імовірність появи значення при умові, що попереднім було значення ;

– сумісна імовірність появи пари символів .

В загальному випадку ентропія ергодичних ДІ визначається виразом:

,

де  – імовірність послідовності станів ;  – загальна кількість станів джерела; – умовна імовірність появи -го стану при умові, що попередніми були стани, при чому -ий передував -му, а  – найбільш віддалений стан, який має кореляційний зв’язок з -м.

Для джерел з незалежними, але нерівноймовірними станами Б.Олівером [56] отримана оцінка загальної кількості можливих комбінацій станів:

або в логарифмічному вигляді:

,

яке на основі наближення Стірлінга

зводиться до виразу:

,

що співпадає з шенонівським визначенням ентропії.

Д. Мідлтон [153] також досліджував дискретні ДІ, які формують послідовність символів довільної довжини, розподілених в визначеному порядку в часі. Для реалізації дискретної випадкової послідовності , кожен із символів якої може приймати одне з різних значень ( ), отримано вираз для апріорної невизначеності

,

де додавання проводиться по всім можливим значенням кожного з символів послідовності.

Для ДІ з статистично залежними станами Д. Мідлтон визначив вираз середньої умовної ентропії

,

де ,  – статистично залежні стани ДІ. З останнього виразу випливає, що для розрахунку ентропії таких ДІ необхідно знати сумісні щільності ймовірностей різного порядку ..., .

При вивченні статистичних моделей показано, що на практиці ДІ не є настільки статистично складними, щоб їх описувати багатомірними розподілами.

Зокрема, для повного опису ергодичних стаціонарних ДІ достатньо знати двомірні розподіли і відповідно статистично середні. Природно, що ентропія і швидкість створення повідомлень такими джерелами, за рахунок кореляційних зв’язків між різними послідовностями символів і нерівномірності розподілу імовірності символів, виявляються меншими в порівнянні з оцінкою інформаційної міри Хартлі (2.30).