- •4.5 Контрольні питання 87
- •5.5 Контрольні питання 97
- •6.5 Контрольні питання 127
- •2Основні поняття теорії інформації
- •2.1Загальні положення
- •2.2Кругообертання інформації
- •2.3Класифікація інформації
- •2.4Структурні перетворення інформації
- •2.5Фази усунення надлишковості інформації
- •2.6Контрольні питання
- •3Інформаційна метрика
- •3.1Якісні і кількісні оцінки інформації
- •3.2Структурні міри інформації
- •3.2.1Загальна характеристика структурної метрики
- •3.2.2Геометрична міра інформації
- •3.2.3Комбінаторна міра інформації
- •3.2.4Адитивна міра (міра Хартлі)
- •3.2.5Специфіка структурної оцінки кількості інформації
- •3.2.6Інформаційна ємність
- •3.3Статистичні міри інформації
- •3.3.1Відповідність між ймовірністю і інформацією
- •3.3.2Ентропія як міра невизначеності
- •3.3.3Ентропія ансамблю (безумовна ентропія)
- •3.3.4Ентропія об’єднання, умовна ентропія
- •Ентропія безперервного джерела інформації (диференціальна ентропія)
- •3.3.5Кількість інформації як міра зняття невизначеності
- •3.4Кількість інформації і її надлишковість
- •3.5Оцінка якості виміру н контролю
- •3.6Семантичні міри інформації
- •3.6.1Поняття семиотика
- •3.6.2Змістовність інформації
- •3.6.3Доцільність інформації
- •3.6.4Динамічна ентропія
- •3.6.5Істотність інформації
- •3.7Контрольні питання
- •4Характеристики дискретних джерел інформації
- •4.1Продуктивність дискретного джерела та швидкість передачі інформації
- •4.2Інформаційні втрати при передачі інформації по дискретному каналу
- •4.3Пропускна здатність дискретного каналу
- •4.4Теорема Шеннона
- •4.5Контрольні питання
- •5Характеристики неперервних джерел інформації
- •5.1Квантування сигналів
- •5.2Інформаційні втрати при дискретизації неперервних джерел
- •5.3Продуктивність неперервного джерела та швидкість передачі інформації
- •5.4Пропускна здатність неперервного каналу
- •5.5Контрольні питання
- •6Кодування інформації
- •6.1Загальні поняття і визначення
- •6.2Кодування як процес представлення інформації в цифровому вигляді
- •6.3Ефективне кодування
- •6.4Кодування інформації для каналу з завадами
- •6.4.1Загальні поняття теорії завадостійкого кодування
- •6.4.2Різновиди завадостійких код
- •6.4.3Загальні принципи використання надлишковості
- •6.4.4Кодова відстань
- •6.5Контрольні питання
- •Перелік використаних джерел
3.2.5Специфіка структурної оцінки кількості інформації
Значний інтерес представляє структурна оцінка вимірюваних величин і функцій з використанням адитивної міри. В загальному можна вважати, що будь-яка вимірювальна інформація якось кодована.
Інформація в аналоговій формі (рис. 2.2, а) закодована по нескінченній системі числення яка характеризується тим, що кожен відлік (кожне значення вимірюваної величини) береться одним тактом, тобто одним числом завдовжки I = 1, але глибина h числа вельми велика: вона дорівнює самому числу X, яке відповідає значенню вимірюваної величини, і прагне до нескінченності, якщо інтервали прагнуть до нуля. Інформаційна ємкість аналогової системи згідно (2.7) нескінченно велика.
Інформація в зліченно-імпульсній формі (рис. 2.2, б) є другим граничним випадком кодування. Тут здійснюється кодування по одиничній (унітарншй) системі числення, яка характеризується тим, що глибина h числа стає гранично малою (h =1), але довжина l числа гранично зростає: вона стає рівною самому числу X, яке відповідає значенню вимірюваної величини, і прагне до нескінченності, якщо крок квантування прагне до нуля.
Приклад графіка залежності глибини числа h від його довжини l при фіксовані кількості інформації Q для проміжної системи числення і кодування вимірюваної інформації показані на рис. 2.3.
Рисунок 2.2 – Нескінченна систему числення або кодування
Рисунок 2.3 – Ззакономірності систем числення і кодування
3.2.6Інформаційна ємність
Для розрахунку інформаційної ємкості вимірювальної системи із застосуванням адитивної міри необхідно визначити кількість можливих відліків (враховуючи крок дискретності по осі часу і по осі простору) і скористатися формулою
(2.9)
де – максимальна кількість відліків в часі; – максимальна кількість відліків в просторі; – максимальне число квантів в одному відліку.
Наступним важливим прикладом є визначення інформаційної ємкості документів автоматичної реєстрації. Останні зазвичай накопичують інформацію в графічній, топографічній, цифровій і змішаній формі.
У сучасній техніці автоматичної реєстрації використовуються геометричні ( ), фізичні ( ) і цифрові ( ) символи. До геометричних символів відносяться відрізки ліній, відстані між точками і кути; до фізичних — інтенсивність або колір забарвлення, ступінь електризації або намагнічування і частота відліків; до цифрових – цифри, букви, знаки і їх комбінації, відповідні певним системам числення і кодування.
Із застосуванням вказаних символів і відповідним їм ступенів свободи інструментів реєстрації, проводиться фіксація даних на точкових ( ), лінійчатих ( ), плоских ( ) або об'ємних ( ) носіях.
У носіях реалізується тільки глибинний вимір (точка має глибину), що заповнюється одиничними значеннями X за допомогою або символів.
У носіях реалізуються один глибинний і один геометричний виміри, що заповнюються одиничними функціями із застосуванням , або символів.
У носіях реалізуються одне глибинне і два геометричні виміри , які можна заповнити символічними зображеннями стаціонарних плоских фізичних полів або множиною функцій із застосуванням , або символів
У носіях реалізуються одне глибинне і три геометричні виміри для зображення зміни плоских полів у часі, об'ємних стаціонарних полів і інших чотиривимірних просторів. При цьому можуть бути використані , або символи.
Точковий носій представляє собою накопичуючи комірку з глибиною від до . У останньому випадку використовуються тільки два рівні , позначені на рис. 2.4, а білою і чорною крапками, а також знаками 0 і 1. Ємкість такої комірки складає одну двійкову одиницю інформації:
.
Ємкість носія з десятком рівнів (рис. 2.4, б) складає:
.
При використанні безперервної гамми тональності маємо (рис. 2.4, в) і обчислення кількості інформації в двійкових одиницях стає неможливим (інформаційна ємкість прямує до нескінченності).
Якщо замінити фізичні стани знаками (рис. 2.4, г), то елементарна накопичувальна комірка приймає розміри , не пов'язані з геометричною символікою . Мінімальні розміри (0,005 мм) визначаються роздільною здатністю сітківки ока.
а) б) в) г)
Рисунок 2.4 – Інформаційні характеристики реєстрації на точкових носіях
Глибинний вимір лінійчатого носія (рис.2.5) також може змінюватися від (рис. 2.5,а) до (рис.2.5,в), розмір елементу - від до і кількість елементів – від до . На рис.2.5,б показано випадок десяткової системи.
При використанні цифрової символіки (рис.2.5,г) розмір відповідає просторовому періоду нанесення знаків. Тоді щільність знаків, або роздільна здатність носія, відповідає просторовій частоті елементів на 1 см.
Якщо, наприклад (рис.2.6), значення величини X лежать у діапазоні від 000 до 127 і реєструються в цифровій символіці за двійковою системою числення ( ), то для одного значення використовується довжина носія , а на довжині L розміщуються значень. Додатковий елемент відповідає роздільному проміжку.
Інформаційна ємкість лінійчатого носія L для всіх випадків кодування дорівнює:
. (2.10)
Аналогічно, для плоского носія інформаційна ємкість:
, (2.11)
і об’ємного
. (2.12)
а) б)
в) г)
Рисунок 2.5 – Інформаційні характеристики реєстрації на лінійчатих носіях
Рисунок 2.6 – Цифрова реєстрації інформації на лінійчатих носіях
Наглядним прикладом є кодування зорових образів і обчислення структурної кількості інформації, що міститься в них.
До зорових образів відносяться картини, портрети, плоскі і об'ємні фігури, натуральні об'єкти зорового сприйняття. Зупинимося на зображеннях портретного типа.
Для того, щоб закодувати і розрахувати таке зображення, необхідно його дискретизацію, а саме, зробити мозаїчним по поверхні і квантово-тональним або квантово-барвистим в глибину. Тоді елементи мозаїки гратимуть роль числових гнізд. Їх кількість l має бути не менше з умови, щоб не втрачалося враження цілого, якщо не ставляться більш строгі вимоги деталізації або естети. Глибина h кожного гнізда визначається кількістю дискретних елементів гамми фарб і тонів. У такий спосіб, наприклад, була закодована для вічного зберігання картина Леонардо та Вінчі «Мона Ліза».
Якщо розміри площі картини дорівнюють і задані інтервали дискретизації і , то загальна кількість дискретних елементів-гнізд дорівнює:
,
звідки загальна кількість інформації буде:
.