- •4.5 Контрольні питання 87
- •5.5 Контрольні питання 97
- •6.5 Контрольні питання 127
- •2Основні поняття теорії інформації
- •2.1Загальні положення
- •2.2Кругообертання інформації
- •2.3Класифікація інформації
- •2.4Структурні перетворення інформації
- •2.5Фази усунення надлишковості інформації
- •2.6Контрольні питання
- •3Інформаційна метрика
- •3.1Якісні і кількісні оцінки інформації
- •3.2Структурні міри інформації
- •3.2.1Загальна характеристика структурної метрики
- •3.2.2Геометрична міра інформації
- •3.2.3Комбінаторна міра інформації
- •3.2.4Адитивна міра (міра Хартлі)
- •3.2.5Специфіка структурної оцінки кількості інформації
- •3.2.6Інформаційна ємність
- •3.3Статистичні міри інформації
- •3.3.1Відповідність між ймовірністю і інформацією
- •3.3.2Ентропія як міра невизначеності
- •3.3.3Ентропія ансамблю (безумовна ентропія)
- •3.3.4Ентропія об’єднання, умовна ентропія
- •Ентропія безперервного джерела інформації (диференціальна ентропія)
- •3.3.5Кількість інформації як міра зняття невизначеності
- •3.4Кількість інформації і її надлишковість
- •3.5Оцінка якості виміру н контролю
- •3.6Семантичні міри інформації
- •3.6.1Поняття семиотика
- •3.6.2Змістовність інформації
- •3.6.3Доцільність інформації
- •3.6.4Динамічна ентропія
- •3.6.5Істотність інформації
- •3.7Контрольні питання
- •4Характеристики дискретних джерел інформації
- •4.1Продуктивність дискретного джерела та швидкість передачі інформації
- •4.2Інформаційні втрати при передачі інформації по дискретному каналу
- •4.3Пропускна здатність дискретного каналу
- •4.4Теорема Шеннона
- •4.5Контрольні питання
- •5Характеристики неперервних джерел інформації
- •5.1Квантування сигналів
- •5.2Інформаційні втрати при дискретизації неперервних джерел
- •5.3Продуктивність неперервного джерела та швидкість передачі інформації
- •5.4Пропускна здатність неперервного каналу
- •5.5Контрольні питання
- •6Кодування інформації
- •6.1Загальні поняття і визначення
- •6.2Кодування як процес представлення інформації в цифровому вигляді
- •6.3Ефективне кодування
- •6.4Кодування інформації для каналу з завадами
- •6.4.1Загальні поняття теорії завадостійкого кодування
- •6.4.2Різновиди завадостійких код
- •6.4.3Загальні принципи використання надлишковості
- •6.4.4Кодова відстань
- •6.5Контрольні питання
- •Перелік використаних джерел
2.5Фази усунення надлишковості інформації
З множини фізичних процесів, що протікають в об'єктах спостереження або управління, згідно поставленої задачі виділяються сигнали, що формують первинну інформацію.
Першою фазою є структурне усунення надлишковості
Друга фаза полягає в усуненні статистичної надлишковості шляхом обліку імовірнісних характеристик інформації.
Третя фаза полягає у виділенні змістовності інформації, тобто здійснюється семантичне її збагачення.
В подальшому може йти фаза формування рішень і дій, після якої видаються одиничні командні сигнали.
Перераховані вище етапи усунення надлишковості показані на рис. 1.3 у вигляді піраміди потоків інформації з послідовним зменшенням їх щільності.
Рисунок 1.2 – Фази усунення надлишковості інформації
2.6Контрольні питання
Що таке інформація?
Що відносять до інформаційної техніки?
Яка специфіка інформаційних систем?
В чому полягає модельна сутність інформації?
В чому полягає кругообертання інформації?
Які основні класифікаційні ознаки інформації?
Визначить поняття подія?
Визначить поняття величина?
Визначить поняття функція?
Визначить поняття комплекс інформації?
Що таке структурне перетворення інформації?
Поняття комплексована інформація?
Поняття декомпонована інформація?
Поняття генералізована інформація?
Поняття дискретна (квантована)інформація?
Поняття безрозмірна інформація?
Поняття кодована інформація?
В чому полягають фази усунення надлишковості інформації?
3Інформаційна метрика
3.1Якісні і кількісні оцінки інформації
Найважливішим питанням теорії інформації є встановлення міри кількості і якості інформації.
Інформаційні міри відповідають трьом основним напрямам в теорії інформації: структурному, статистичному і семантичному.
Структурна теорія розглядає дискретну будову масивів інформації і їх вимір простим підрахунком інформаційних елементів (квантів) або комбінаторним методом, що передбачає просте кодування масивів інформації.
Статистична теорія оперує поняттям ентропії як міри невизначеності, що враховує ймовірність появи, а, отже, і інформативність тих або інших повідомлень.
Семантична теорія враховує доцільність, цінність, корисність або суттєвість інформації.
Вказані три напрями (структурне, семантичне і статистичне) мають свої сфери застосування, кожне з них має право на існування і розвиток. Структурна теорія застосовується для оцінки можливостей апаратури інформаційних систем (каналів зв'язку, запам'ятовуючих і реєструючих пристроїв) незалежно від умов їх застосування. Статистична теорія дає оцінки інформаційних систем у конкретних застосуваннях, наприклад при передачі по системі зв'язку інформації з певними статистичними характеристиками. Семантична теорія дає оцінкиу ефективності логічного досвіду.
Перш ніж переходити до інформаційним мірам, слід вказати, що джерела інформації і створювані ними повідомлення розділяються на дискретні і неперервні (аналогові). Дискретні повідомлення складаються з зліченної множини елементів, що утворюються джерелом послідовно в часі. Набір елементів називається алфавітом джерела, а елементи — буквами. Поняття букви в даному випадку ширше, ніж в писемності, воно включає цифри і інші знаки. Число букв в алфавіті називається об'ємом алфавіту.
Дискретне джерело за кінцевий час створює кінцеву множину повідомлень. Типовими дискретними повідомленнями є текст, записаний за допомогою якого-небудь алфавіту, послідовність чисел, представлених знаками.
Безперервні повідомлення представляються якою-небудь фізичною величиною, що змінюється на заданому прміжку часу. Отримання кінцевої множини повідомлень за кінцевий проміжок часу в даному випадку досягається шляхом дискретизації (у часі) і квантуванню (по рівню).