3.4Кількість інформації і її надлишковість
Кількість інформації лише тоді дорівнює ентропії коли невизначеність ситуації знімається повністю.
У загальному випадку потрібно вважати, що кількість інформації є зменшення ентропії унаслідок досвіду або якого-небудь іншого акту пізнання.
Якщо невизначеність знімається повністю, то інформація дорівнює ентропії
.
В разі неповного зняття невизначеності має місце часткова інформація, що є різницею між початковою і кінцевою ентропією:
. (2.78)
Найбільша
кількість інформації виходить тоді
коли повністю знімається невизначеність,
причому ця невизначеність була найбільшою
коли ймовірність всіх подій була
однакова. Це відповідає максимально
можливій кількості інформації
,
що оцінюється мірою Хартлі
(2.79)
де - число подій, а р - ймовірність їх реалізації в умовах рівної імовірності всіх подій. Таким чином
.
(2.80)
Абсолютна
надлишковість інформації
є різницею між максимально можливою
кількістю інформації і ентропією
,
або
.
(2.81)
Частіше
використовують поняття відносної
надлишковості:
. (1-29)
Ілюструючи поняття надлишковості, обмежимося розглядом спрощеної моделі: допустимо, що статистичні властивості інформації побічно враховуються через постійні і змінні складові якого-небудь фізичного процесу. Тоді, виражаючи відносну надлишковість, можна визначати інформацію в будь-яких одиницях , наприклад підраховувати кванти в даному комплексі інформації.
Користуючись таким спрощеним підходом, визначимо надлишковість для декількох прикладів інформаційних систем.
Приклад 2.15.
Нехай
повна шкала виміру містить елементарних
одиниць (квантів), але допускається
похибка, що дорівнює приблизно
від повної шкали. Тоді
,
оскільки при похибцы
квантів досить всю шкалу розділити на
50 квантів. В цьому випадку
.
Приклад 2.16.
Якщо
для виміру використовується безперервна
шкала, то
при будь-яких, але кінцевих значеннях
допустимої похибки. Тоді
.
тобто надлишковість інформації досягає максимуму.
Приклад 2.16.
Заданий
процес, що протікає по графіку (рис.
2.8), причому достовірно відомо, що значення
величини X
на відрізку часу
може змінюватися лише в межах
;
значення
містить 11 одиниць, а значення
– 4 одиниці.
Рисунок 2.8 – Графік процесу
В цьому випадку відносна надлишковість буде
.
Ця
надлишковість пояснюється тим, що
постійна складова
не поповнює інформації.
На
ділянці
величина
взагалі не змінюється, і якщо відоме її
початкове значення
,
то вся ынша інформація надлишкова.
Аналогічно,
якщо на ділянці
процес описується постійною складовою
і синусоїдою з відомими амплітудою –
,
фазою і частотою, то інформація про цей
процес не потрібна.
Приклад 2.17.
Процес представляється графіком (рис. 2.9.а). З врахуванням викладеного в прикладі 2.17 віднімається постійна складова (рис.2.9,б), синусоїдальна складова і необхідна інформація без надлишковості зводиться до показаної на рис.2.9,б.
Рисунок 2.9 – Усереднення надлишковості інформації
Приклад 2.18.
Аналіз інформаційної насиченості (приклад 2.13) показав,що у зв'язку з тим, що реальні джерела з одним і тим же розміром алфавіту можуть мати абсолютно різну ентропію (а це не лише тексти, але і мова, музика, зображення і так далі), буде відносна надлишковість інформації:
,
де
H
– ентропія реального джерела,
– максимально досяжна ентропія для
джерела з об'ємом алфавіту
символів.
Наприклад, надлишковість літературного українського тексту складе
.
Іншими словами, при передачі тексту по каналу зв'язку кожні шість букв з десяти, що передаються не несуть ніякої інформації і можуть без всяких втрат просто не передаватися.
Такою
ж, якщо не вищою (
)
надлишковістю володіють і інші джерела
інформації - мова, і особливо музика,
телевізійні зображення і так далі.
З розглянутих прикладів видно, наскільки неекономічно у ряді проводяться передача і реєстрація даних.
Необхідне удосконалення можна провести двома шляхами
1. Якщо весь об'єм інформації заздалегідь заданий або накопичений, то він поділяється на стандартні, заздалегідь зашифровані елементи, а потім передаються і реєструються лише знаки шифрів Так можна робити, наприклад, у тому випадку, коли результати випробування записані на діаграмній стрічці, але їх потрібно передати і відтворити в приймальному пункті найбільш економічним способом.
2. Якщо є поточна інформація, що надходить з давачів, то використовуються аналізуючи прилади, які безперервно визначають частотний спектр функцій, амплітудні переходи заданих рівнів квантування, взаємозв'язок попередніх показів з поточними і т. д., а потім впливають на пристрої оптимального кодування, передачі і реєстрації.