- •4.5 Контрольні питання 87
- •5.5 Контрольні питання 97
- •6.5 Контрольні питання 127
- •2Основні поняття теорії інформації
- •2.1Загальні положення
- •2.2Кругообертання інформації
- •2.3Класифікація інформації
- •2.4Структурні перетворення інформації
- •2.5Фази усунення надлишковості інформації
- •2.6Контрольні питання
- •3Інформаційна метрика
- •3.1Якісні і кількісні оцінки інформації
- •3.2Структурні міри інформації
- •3.2.1Загальна характеристика структурної метрики
- •3.2.2Геометрична міра інформації
- •3.2.3Комбінаторна міра інформації
- •3.2.4Адитивна міра (міра Хартлі)
- •3.2.5Специфіка структурної оцінки кількості інформації
- •3.2.6Інформаційна ємність
- •3.3Статистичні міри інформації
- •3.3.1Відповідність між ймовірністю і інформацією
- •3.3.2Ентропія як міра невизначеності
- •3.3.3Ентропія ансамблю (безумовна ентропія)
- •3.3.4Ентропія об’єднання, умовна ентропія
- •Ентропія безперервного джерела інформації (диференціальна ентропія)
- •3.3.5Кількість інформації як міра зняття невизначеності
- •3.4Кількість інформації і її надлишковість
- •3.5Оцінка якості виміру н контролю
- •3.6Семантичні міри інформації
- •3.6.1Поняття семиотика
- •3.6.2Змістовність інформації
- •3.6.3Доцільність інформації
- •3.6.4Динамічна ентропія
- •3.6.5Істотність інформації
- •3.7Контрольні питання
- •4Характеристики дискретних джерел інформації
- •4.1Продуктивність дискретного джерела та швидкість передачі інформації
- •4.2Інформаційні втрати при передачі інформації по дискретному каналу
- •4.3Пропускна здатність дискретного каналу
- •4.4Теорема Шеннона
- •4.5Контрольні питання
- •5Характеристики неперервних джерел інформації
- •5.1Квантування сигналів
- •5.2Інформаційні втрати при дискретизації неперервних джерел
- •5.3Продуктивність неперервного джерела та швидкість передачі інформації
- •5.4Пропускна здатність неперервного каналу
- •5.5Контрольні питання
- •6Кодування інформації
- •6.1Загальні поняття і визначення
- •6.2Кодування як процес представлення інформації в цифровому вигляді
- •6.3Ефективне кодування
- •6.4Кодування інформації для каналу з завадами
- •6.4.1Загальні поняття теорії завадостійкого кодування
- •6.4.2Різновиди завадостійких код
- •6.4.3Загальні принципи використання надлишковості
- •6.4.4Кодова відстань
- •6.5Контрольні питання
- •Перелік використаних джерел
3.6.4Динамічна ентропія
У тому випадку, коли метою зняття інформації є перетворення на нуль невизначеності ситуації, зручно користуватися поняттям динамічної ентропії.
В ході розпізнавання образів, діагнозу хвороб або розслідування злочинів ентропія (невизначеність) ситуації змінюється в часі, тобто володіє певною динамікою зміни .
Зміна обумовлюється надходженням в певні моменти часу додаткової інформації: позитивна інформація зменшує невизначеність, негативна (дезінформація) – збільшує невизначеність ситуації.
Більшість ситуацій можна представити як множину відношень між наслідками і причинами . Причини спостерігаються, а наслідки розкриваються по ним. Так, наприклад, наслідками і причинами можуть бути: при розпізнаванні образів – образи і ознаки ; при діагнозі хвороб – захворювання і симптоми ; при розкритті злочинів і підозрювані особи .
Відношення між наслідками і причинами оцінюються змінними у часі ймовірностями .
Якщо немає зв'язку між якими-небудь наслідками і причинами, то ймовірність . Якщо ж між ними є найбільший (однозначний і повний) зв'язок, то рц .
Загальну кількість наслідків у момент часу t позначимо , а загальна кількість причин . Тоді окремі наслідки в момент часу отримують нумерацію , а причини – .
Згідно статистичної теорії інформації ентропія (невизначеність) для даної множини відношень
При дискретному надходженні інформації після закінчення одиничного інтервалу часу надходить додаткова інформація, яка може змінити: кількість наслідків від до , кількість причин від до і ймовірність відношень між ними від до .
В результаті цього ентропія (невизначеність) ситуації в момент отримує нове значення:
Як міра інформації, що вплинула на ентропію у вказаному вище сенсі, доцільно прийняти різницю
,
яка може бути як позитивною, так і негативною величиною, залежно від того зменшується або збільшується невизначеність ситуації.
3.6.5Істотність інформації
Параметрична інформація, як було показано у першому розділі, може бути представлена тривимірною моделлю, в якій осями координат є параметр X, простір N і час Т, причому під простором розуміється впорядкована множина джерел інформації, зокрема вимірюваних величин.
Значення величин, точки простору і моменти часу не рівно-суттєві як самі по собі, так і у взаємних відношеннях.
Наприклад, найбільш істотні високі значення тиску і температури в точці виходу газу, у момент відриву ракети від землі. У інших точках і в інші моменти часу ці параметри можуть бути неістотними.
Таким чином, можна розрізняти:
1) істотність самої події;
2) істотність часу здійснення події або його спостереження (рано — пізно — момент);
3) істотність місця, адреси, номера, локалізації, точки простору, координати здійснення події.
Вимір величини X можна характеризувати декількома функціями: ймовірність , похибки виміру і істотності . Кожній з цих функцій можна поставити у відповідність певну міру інформації. Мірою Хартлі оцінюється функція похибки при фіксованих значеннях функцій ймовірності і істотності . Мірою Шенона оцінюється функція ймовірності при фіксованих значеннях функцій похибки і істотності . Міра істотності відноситься до ситуації з фіксованими функціями похибки і ймовірності . Можна ввести функції істотності , які залежать від: величини Х, – залежать від величини часу Т, – залежні від простору (каналу) N.
Функція істотності відображає міру важливості інформації про те або інше значення параметра X з врахуванням часу Т і простору N і повинна задовольняти умові нормування.