- •4.5 Контрольні питання 87
- •5.5 Контрольні питання 97
- •6.5 Контрольні питання 127
- •2Основні поняття теорії інформації
- •2.1Загальні положення
- •2.2Кругообертання інформації
- •2.3Класифікація інформації
- •2.4Структурні перетворення інформації
- •2.5Фази усунення надлишковості інформації
- •2.6Контрольні питання
- •3Інформаційна метрика
- •3.1Якісні і кількісні оцінки інформації
- •3.2Структурні міри інформації
- •3.2.1Загальна характеристика структурної метрики
- •3.2.2Геометрична міра інформації
- •3.2.3Комбінаторна міра інформації
- •3.2.4Адитивна міра (міра Хартлі)
- •3.2.5Специфіка структурної оцінки кількості інформації
- •3.2.6Інформаційна ємність
- •3.3Статистичні міри інформації
- •3.3.1Відповідність між ймовірністю і інформацією
- •3.3.2Ентропія як міра невизначеності
- •3.3.3Ентропія ансамблю (безумовна ентропія)
- •3.3.4Ентропія об’єднання, умовна ентропія
- •Ентропія безперервного джерела інформації (диференціальна ентропія)
- •3.3.5Кількість інформації як міра зняття невизначеності
- •3.4Кількість інформації і її надлишковість
- •3.5Оцінка якості виміру н контролю
- •3.6Семантичні міри інформації
- •3.6.1Поняття семиотика
- •3.6.2Змістовність інформації
- •3.6.3Доцільність інформації
- •3.6.4Динамічна ентропія
- •3.6.5Істотність інформації
- •3.7Контрольні питання
- •4Характеристики дискретних джерел інформації
- •4.1Продуктивність дискретного джерела та швидкість передачі інформації
- •4.2Інформаційні втрати при передачі інформації по дискретному каналу
- •4.3Пропускна здатність дискретного каналу
- •4.4Теорема Шеннона
- •4.5Контрольні питання
- •5Характеристики неперервних джерел інформації
- •5.1Квантування сигналів
- •5.2Інформаційні втрати при дискретизації неперервних джерел
- •5.3Продуктивність неперервного джерела та швидкість передачі інформації
- •5.4Пропускна здатність неперервного каналу
- •5.5Контрольні питання
- •6Кодування інформації
- •6.1Загальні поняття і визначення
- •6.2Кодування як процес представлення інформації в цифровому вигляді
- •6.3Ефективне кодування
- •6.4Кодування інформації для каналу з завадами
- •6.4.1Загальні поняття теорії завадостійкого кодування
- •6.4.2Різновиди завадостійких код
- •6.4.3Загальні принципи використання надлишковості
- •6.4.4Кодова відстань
- •6.5Контрольні питання
- •Перелік використаних джерел
2.3Класифікація інформації
Інформацію можна розрізняти по галузях знань (біологічна, технічна, економічна і ін. ), по фізичній природі сприйняття (зорова, слухова, смакова і ін. ), а також за метричними властивостями. Остання класифікація (табл.1.2), найбільш придатній для технічних застосувань.
Таблиця 1.2 – Класифікація інформації за метричними властивостями
Форми інформації |
|
Параметрична |
Топологічна |
Подія Ф0 ВеличинаФ1 Функція Ф2 Комплекс Ф3 П - простір Фn |
Точка Ф0 Лінія Ф1 Поверхня Ф2 Об'єм Ф3 T-простір Фn |
До параметричної інформації відносяться набори чисельних оцінок значень яких-небудь параметрів (вимірюваних величин), результати кількісних визначень при дослідженні, аналізі, контролі і обліку.
До топологічної інформації – геометричні образи, карти місцевості, різні зображення та об'ємні об'єкти.
До абстрактної інформації – математичні співвідношення, узагальнені образи і поняття.
У таблиці 1.2 класи інформації можна розділити по потужності інформаційних множин. Назвемо інформацією потужності нульового порядку (нуль вимірна інформація) таку, яка відповідає потужності крапки, першого порядку (одновимірна інформація) – лінії, другого порядку (двовимірна інформація) – поверхні, третього порядку (тривимірна інформація) – об'єму,..., n-го порядку ( n-мірна інформація) — n-мірного простору.
Таким чином, будову інформації можна змінювати, переходячи від одного виду інформації до іншого. Всі види інформації можна інтерпретувати геометричними образами, що буває зручно на практиці.
Параметричною інформацією найчастіше користуються в науці і техніці для представлення результатів виміру.
Топологічною інформацією зручно представляти образи і ситуації, що підлягають розпізнаванню.
Абстрактну інформацію застосовують в дослідженнях на високому теоретичному рівні, коли потрібні узагальнення і символізація.
У інженерній практиці широке поширення має параметрична інформація, яку можна звести до наступних чотирьох основних форм: подія, величина, функція і комплекс.
Подія А (рис.1.3, а). Первинним і неподільним елементом інформації є елементарна двійкова подія — вибір з твердження або заперечення, істини або хибності, згоди або незгоди, наявності або відсутності якого-небудь явища. Прикладом можуть бути відомості про імпульс або паузу в електричному ланцюзі, випуску придатного або непридатного виробу, досягненні або недосягненні вимірюваною величиною одного певного значення, чорному або білому елементах зображення, попаданні або непопаданні в ціль, наявності або відсутності команди і так далі.
а) б) в) г)
Рисунок 1.2 – Види параметричної інформації
Двійкова події дозволяє представляти його умовно в геометричній символіці крапкою і пропуском, в арифметичній символіці – одиницею і нулем (1 і 0), в сигнальній символіці – імпульсом і паузою.
Подія є категорією нульової міри, тобто не має геометричних вимірів. Тому воно і представляється крапкою.
Інші категорії інформації можуть бути представлені як сукупності різних подій.
Величина X (рис.1.3, б). Величина є впорядкована в одному вимірі (за шкалою значень) безліч подій, причому кожне з них відповідає прийняттю величиною якого-небудь одного значення. Величина може бути дискретною, або безперервною; у першому випадку множина подій зліченна, в другому – незліченна. Геометрично величину можна представити лінією.
Функція X(Т) (рис.1.3, в). Функція X(Т), X(N) або Х2(X1) є відповідність між величиною і часом, простором або іншою величиною В цьому змісті функцію можна трактувати як двовимірне поле подій.
Комплекс X(Т, N) (рис.1.3, г). Повний комплекс інформації X(Т, N) є відповідність між величиною, з одного боку, та часом і простором – з іншої. Таким чином, повний комплекс інформації є тривимірне поле подій.
Як вказувалося, інформація може бути представлена моделями з різною розмірністю. Відволікаючись від конкретного вигляду координат (параметр X, час T, простір N) і ввівши узагальнену координату інформації Ф отримуємо наступну класифікацію:
Ф0, Ф1, Ф2, Ф3,..., Фn,
де Ф0 – нульвимірна інформація (подія); Ф1 – одновимірна інформація (величина); Ф2 – двовимірна інформація (функція); Ф3 – тривимірна інформація (комплекс); Фn – n-мірна інформація (n-вимірний простір).
Показник міри вказує розмірність або порядок інформації. Найбільш різновиди наукової і технічної інформації, що часто зустрічаються на практиці, можуть бути представлені структурними інформаційними формулами (табл.1.3), які відрізняються тим, що в них вказуються лише розмірність і компоненти інформації, але не функціональні залежності між компонентами.
Одна подія є нульвимірна категорія, так що сукупність пронумерованих підряд подій займає один вимір N.
Час Т сам по собі не містить інформації. Друга група формул в таблиці описує представлення яких-небудь подій в часі. Безліч подій в часі можна упорядкувати відносно координат N і Т у вигляді функції N(Т).
Найчастіше параметрична інформація повідомляє про різні фізичні величини, що оцінюються по індивідуальних шкалах виміру або приведених до однієї загальної шкали. Ці фізичні величини називатимемо параметрами. Інформація про одну скалярну величину одновимірна. Інформація про функціональну залежність між двома величинами, наприклад Х2=f(Х1), займає два виміри в координатах Х1 і Х2. Складніші співвідношення між багатьма величинами представляються n - вимірними категоріями або образами. Інформація про зміну параметрів в часі займає від двох до n вимірів залежно від кількості окремих параметрів.
Таблиця 1.3 - Структурні інформаційні формули
Події Ф0(А) Ф1(A1, А2, А3,…,Аn)
Події у часі Ф1(А, Т) Ф2(A1, А2, А3 ,..., Ап, Т)
Параметри Ф1(X) Ф2(X1, X2) Ф3(X1, X2, Х3) …………………… Фn (X1, X2, Х3, ..., Хn)
Параметри у часі Ф2 (X, Т) Ф3 (Х1, Х2, Т) ………………………… Фn(X1, X2, Х3,.... Хn-1, Т) |
Простір подій Ф1(N) Ф2(N1, N2 ) Ф3(N1, N2, N3)
Простір подій у часі Ф2(N, Т) Ф3(N1, N2, T) Ф4(N1, N2, N3, T)
Параметричні простори Ф2(X, N) Ф3 (X, N1, N2 ) Ф4(X, N1, N2, N3)
Параметричні простори у часі Ф3(X, N, T) Ф4 (X, N1, N2, T) Ф5 (X, N1, N2, N3, T) |
Геометричні простори (лінія, площина, об'єм) є інформаційними категоріями лише в тих випадках, коли вони визначають місце розташування подій. Простори, віднесені до певного часу, також мають інформаційний сенс лише у зв'язку з описом деяких подій, наприклад появи або переміщення поїздів по колії, кораблів в морі, літаків в повітрі або виявлення дефектів в дроті, листовому матеріалі. Координата N представляє подію на лінії; N1 і N2 є координатами площини; N1, N2, N3 характеризують об'єм.
Параметричні простори можуть містити інформацію про розподіл деяких параметрів по лінії, площині або об'єму. До них відносяться, зокрема, одновимірні, двовимірні і тривимірні фізичні поля або виробничі комплекси, в яких точки контролю описані стовпцем, плоскою матрицею або об'ємним макетом.
Параметричні простори, віднесені до певного часу, можуть містити інформацію про зміну множині величин, впорядкованих відносно однієї (N), два (N1 і N2) або трьох (N1, N2, N3) просторових координат і приведених до однієї загальної уніфікованої шкали виміру. Прикладом може бути зміна фізичних полів у часі.