- •4.5 Контрольні питання 87
- •5.5 Контрольні питання 97
- •6.5 Контрольні питання 127
- •2Основні поняття теорії інформації
- •2.1Загальні положення
- •2.2Кругообертання інформації
- •2.3Класифікація інформації
- •2.4Структурні перетворення інформації
- •2.5Фази усунення надлишковості інформації
- •2.6Контрольні питання
- •3Інформаційна метрика
- •3.1Якісні і кількісні оцінки інформації
- •3.2Структурні міри інформації
- •3.2.1Загальна характеристика структурної метрики
- •3.2.2Геометрична міра інформації
- •3.2.3Комбінаторна міра інформації
- •3.2.4Адитивна міра (міра Хартлі)
- •3.2.5Специфіка структурної оцінки кількості інформації
- •3.2.6Інформаційна ємність
- •3.3Статистичні міри інформації
- •3.3.1Відповідність між ймовірністю і інформацією
- •3.3.2Ентропія як міра невизначеності
- •3.3.3Ентропія ансамблю (безумовна ентропія)
- •3.3.4Ентропія об’єднання, умовна ентропія
- •Ентропія безперервного джерела інформації (диференціальна ентропія)
- •3.3.5Кількість інформації як міра зняття невизначеності
- •3.4Кількість інформації і її надлишковість
- •3.5Оцінка якості виміру н контролю
- •3.6Семантичні міри інформації
- •3.6.1Поняття семиотика
- •3.6.2Змістовність інформації
- •3.6.3Доцільність інформації
- •3.6.4Динамічна ентропія
- •3.6.5Істотність інформації
- •3.7Контрольні питання
- •4Характеристики дискретних джерел інформації
- •4.1Продуктивність дискретного джерела та швидкість передачі інформації
- •4.2Інформаційні втрати при передачі інформації по дискретному каналу
- •4.3Пропускна здатність дискретного каналу
- •4.4Теорема Шеннона
- •4.5Контрольні питання
- •5Характеристики неперервних джерел інформації
- •5.1Квантування сигналів
- •5.2Інформаційні втрати при дискретизації неперервних джерел
- •5.3Продуктивність неперервного джерела та швидкість передачі інформації
- •5.4Пропускна здатність неперервного каналу
- •5.5Контрольні питання
- •6Кодування інформації
- •6.1Загальні поняття і визначення
- •6.2Кодування як процес представлення інформації в цифровому вигляді
- •6.3Ефективне кодування
- •6.4Кодування інформації для каналу з завадами
- •6.4.1Загальні поняття теорії завадостійкого кодування
- •6.4.2Різновиди завадостійких код
- •6.4.3Загальні принципи використання надлишковості
- •6.4.4Кодова відстань
- •6.5Контрольні питання
- •Перелік використаних джерел
2.4Структурні перетворення інформації
Інформація може зазнавати різні структурні перетворення, показані в таблиці 1.4. Послідовність цих перетворень може бути різною в різних інформаційних системах. Отримувані в процесі перетворень структури мають абстрактний характер і не відповідають строго тим або іншим етапам обробки інформації в технічних засобах інформаційних систем.
Натуральна інформація відображає реальні властивості об'єктів. Вона має аналогову форму, засмічена шумами, неоптимальна по діапазонах і початках відліків значень параметрів. Всі ці обмеження обумовлені безпосередньо фізичними властивостями спостережуваного об'єкту. Натуральну інформацію можна умовно представити як сукупності величин X, моментів часу Т і точок простору N у вигляді множин .
Нормалізована інформація відрізняється від натуральної тим, що в ній кожна множина вже зведено до одного масштабу, діапазону, початку відліку та інших загальним уніфікованим характеристикам. Нормалізовану інформацію можна трактувати як результат дії на натуральну інформацію операторів: масштабування М, діапазону D і локалізації L.
Таблиця 1.4- Структури інформації
Структура |
Умовне позначення |
Характеристика структури |
Натуральна |
|
Первинна структура інформації |
Нормалізована |
, ,
|
Приведена до єдиного масштабу (оператор ), діапазону (оператор ), початку відліку (оператор ) |
Комплексована |
|
Приведена до комплексу з узагальненими координатами X, Т, N |
Декомпонована |
|
Перетворені: число вимірів, структура і розташування |
Генералізована |
|
Усунена надлишковість, виділена істотна частина по умові А |
Дискретна (квантована) |
|
Відліки в переривчастій формі |
Безрозмірна |
|
Дискретні відліки приведені до безрозмірної форми |
Кодована |
|
Цифрова форма інформації |
Комплексована інформація утворюється в результаті приведення всієї інформації до повного комплексу, тобто до тривимірної системи XTN, де X – узагальнена координата значень параметрів або уніфікована шкала яких-небудь оцінок; Т – узагальнена координата часу, N – узагальнена координата простору джерел інформації. Комплексована інформація є зв’язаною і координованою множиною .
Декомпонована інформація утворюється зміною кількості вимірів структури і розташування елементів в інформаційних комплексах. Досить часто застосовують два види декомпозиції:
приведення фізичного простору трьох вимірів (об'єму) фізичних полів, об'ємних об'єктів, багатовимірних систем датчиків, векторних і комплексних величин до просторів двох і одного вимірів;
приведення повного комплексу інформації XTN до будь-якої площини XT, XN, NT або осі X, Т, N координат вимірів.
Декомпонована інформація декорельована, в ній порушені або подовжені зв'язку між окремими елементами інформації.
Генералізована інформація утворюється шляхом виключення другорядної її частини, узагальнення і укрупнення даних. Генералізація може охоплювати: номенклатуру параметрів, моменти часу, діапазони виміру, ступінь детальності їх відображення. Вираз
показує, що проводиться генералізацція G по алгоритму А комплексу .
Дискретна (квантована) інформація співпадає з вихідною безперервною інформацією по фізичній розмірності, відрізняючись від неї лише переривчастим характером. Дискретизація може бути здійснена по осях X, Т і N параметричного комплексу. Дискретна інформація зручна для розрахунків і економна в реалізаціях. Дискретизація може бути рівномірною або нерівномірною, проводитися по сталому або змінному у часі закону.
Безрозмірна інформація відрізняється універсальною безрозмірною числовою формою Число, що відображує безрозмірну інформацію, відповідає кількості інформаційних елементів (квантів) і отримується в результаті дискретизації інформаційного комплексу, тобто дорівнює відношенню будь-якої координати до її інтервалу дискретності:
Кодована інформація має форму сукупності чисел, або цифрову форму, засновану на застосуванні якої-небудь системи числення або кодування.