- •4.5 Контрольні питання 87
- •5.5 Контрольні питання 97
- •6.5 Контрольні питання 127
- •2Основні поняття теорії інформації
- •2.1Загальні положення
- •2.2Кругообертання інформації
- •2.3Класифікація інформації
- •2.4Структурні перетворення інформації
- •2.6Контрольні питання
- •3Інформаційна метрика
- •3.1Якісні і кількісні оцінки інформації
- •2.5Фази усунення надлишковості інформації
- •3.2Структурні міри інформації
- •3.2.1Загальна характеристика структурної метрики
- •3.2.2Геометрична міра інформації
- •3.2.3Комбінаторна міра інформації
- •3.2.4Адитивна міра (міра Хартлі)
- •3.2.5Специфіка структурної оцінки кількості інформації
- •3.2.6Інформаційна ємність
- •3.3Статистичні міри інформації
- •3.3.1Відповідність між ймовірністю і інформацією
- •3.3.2Ентропія як міра невизначеності
- •3.3.3Ентропія ансамблю (безумовна ентропія)
- •3.3.4Ентропія об’єднання, умовна ентропія
- •Ентропія безперервного джерела інформації (диференціальна ентропія)
- •3.3.5Кількість інформації як міра зняття невизначеності
- •3.4Кількість інформації і її надлишковість
- •3.5Оцінка якості виміру н контролю
- •3.6Семантичні міри інформації
- •3.6.1Поняття семиотика
- •3.6.2Змістовність інформації
- •3.6.3Доцільність інформації
- •3.6.4Динамічна ентропія
- •3.6.5Істотність інформації
- •3.7Контрольні питання
- •4Характеристики дискретних джерел інформації
- •4.1Продуктивність дискретного джерела та швидкість передачі інформації
- •4.2Інформаційні втрати при передачі інформації по дискретному каналу
- •4.3Пропускна здатність дискретного каналу
- •4.4Теорема Шеннона
- •4.5Контрольні питання
- •5Характеристики неперервних джерел інформації
- •5.1Квантування сигналів
- •5.2Інформаційні втрати при дискретизації неперервних джерел
- •5.3Продуктивність неперервного джерела та швидкість передачі інформації
- •5.4Пропускна здатність неперервного каналу
- •5.5Контрольні питання
- •6Кодування інформації
- •6.1Загальні поняття і визначення
- •6.2Кодування як процес представлення інформації в цифровому вигляді
- •6.3Ефективне кодування
- •6.4Кодування інформації для каналу з завадами
- •6.4.1Загальні поняття теорії завадостійкого кодування
- •6.4.2Різновиди завадостійких код
- •6.4.3Загальні принципи використання надлишковості
- •6.4.4Кодова відстань
- •6.5Контрольні питання
- •Перелік використаних джерел
3.2.5Специфіка структурної оцінки кількості інформації
Значний інтерес представляє структурна оцінка вимірюваних величин і функцій з використанням адитивної міри. В загальному можна вважати, що будь-яка вимірювальна інформація якось кодована.
Інформація
в аналоговій формі
(рис. 2.2, а)
закодована по нескінченній системі
числення яка характеризується тим, що
кожен відлік (кожне значення вимірюваної
величини) береться одним тактом, тобто
одним числом завдовжки I
= 1, але глибина h
числа вельми велика: вона дорівнює
самому числу X,
яке відповідає значенню вимірюваної
величини, і прагне до нескінченності,
якщо інтервали
прагнуть до нуля.
Інформаційна ємкість
аналогової системи згідно (2.7) нескінченно
велика.
Інформація в зліченно-імпульсній формі (рис. 2.2, б) є другим граничним випадком кодування. Тут здійснюється кодування по одиничній (унітарншй) системі числення, яка характеризується тим, що глибина h числа стає гранично малою (h =1), але довжина l числа гранично зростає: вона стає рівною самому числу X, яке відповідає значенню вимірюваної величини, і прагне до нескінченності, якщо крок квантування прагне до нуля.
Приклад графіка залежності глибини числа h від його довжини l при фіксовані кількості інформації Q для проміжної системи числення і кодування вимірюваної інформації показані на рис. 2.3.
Рисунок 2.2 – Нескінченна систему числення або кодування
Рисунок 2.3 – Ззакономірності систем числення і кодування
3.2.6Інформаційна ємність
Для
розрахунку інформаційної ємкості
вимірювальної системи із застосуванням
адитивної міри необхідно визначити
кількість можливих відліків (враховуючи
крок дискретності
по осі часу і
по осі простору) і скористатися формулою
(2.9)
де
– максимальна кількість відліків в
часі;
– максимальна кількість відліків в
просторі;
– максимальне число квантів в одному
відліку.
Наступним важливим прикладом є визначення інформаційної ємкості документів автоматичної реєстрації. Останні зазвичай накопичують інформацію в графічній, топографічній, цифровій і змішаній формі.
У сучасній
техніці автоматичної реєстрації
використовуються геометричні (
),
фізичні (
)
і цифрові (
)
символи. До геометричних символів
відносяться відрізки ліній, відстані
між точками і кути; до фізичних —
інтенсивність або колір забарвлення,
ступінь електризації або намагнічування
і частота відліків; до цифрових – цифри,
букви, знаки і їх комбінації, відповідні
певним системам числення і кодування.
Із
застосуванням вказаних символів і
відповідним їм ступенів свободи
інструментів реєстрації, проводиться
фіксація даних на точкових (
),
лінійчатих (
),
плоских (
)
або об'ємних (
)
носіях.
У носіях
реалізується тільки глибинний вимір
(точка має глибину), що заповнюється
одиничними значеннями X
за допомогою
або
символів.
У носіях
реалізуються один глибинний
і один геометричний
виміри, що заповнюються одиничними
функціями
із застосуванням
,
або
символів.
У носіях
реалізуються одне глибинне
і два геометричні виміри
,
які можна заповнити символічними
зображеннями стаціонарних плоских
фізичних полів
або множиною
функцій
із застосуванням
,
або
символів
У носіях
реалізуються одне глибинне
і три геометричні виміри
для зображення зміни плоских полів у
часі, об'ємних стаціонарних полів
і інших чотиривимірних просторів. При
цьому можуть бути використані
,
або
символи.
Точковий
носій
представляє собою накопичуючи комірку
з глибиною від
до
.
У останньому випадку використовуються
тільки два рівні
,
позначені на рис. 2.4, а
білою і чорною крапками, а також знаками
0 і 1. Ємкість такої комірки складає одну
двійкову одиницю інформації:
.
Ємкість носія з десятком рівнів (рис. 2.4, б) складає:
.
При використанні безперервної гамми тональності маємо (рис. 2.4, в) і обчислення кількості інформації в двійкових одиницях стає неможливим (інформаційна ємкість прямує до нескінченності).
Якщо
замінити фізичні стани знаками
(рис. 2.4, г),
то елементарна накопичувальна комірка
приймає розміри
,
не пов'язані з геометричною символікою
.
Мінімальні розміри (0,005 мм) визначаються
роздільною здатністю сітківки ока.
а) б) в) г)
Рисунок 2.4 – Інформаційні характеристики реєстрації на точкових носіях
Глибинний
вимір лінійчатого носія
(рис.2.5) також може змінюватися від
(рис. 2.5,а)
до
(рис.2.5,в),
розмір
елементу - від
до
і кількість елементів – від
до
.
На рис.2.5,б
показано випадок десяткової системи.
При
використанні цифрової символіки
(рис.2.5,г)
розмір
відповідає просторовому періоду
нанесення знаків. Тоді щільність знаків,
або роздільна здатність носія, відповідає
просторовій частоті
елементів на 1 см.
Якщо,
наприклад (рис.2.6), значення величини X
лежать у діапазоні від 000 до 127 і
реєструються в цифровій символіці
за двійковою системою числення (
),
то для одного значення використовується
довжина носія
,
а на довжині L
розміщуються
значень. Додатковий елемент
відповідає роздільному проміжку.
Інформаційна ємкість лінійчатого носія L для всіх випадків кодування дорівнює:
. (2.10)
Аналогічно, для плоского носія інформаційна ємкість:
, (2.11)
і об’ємного
. (2.12)
а) б)
в) г)
Рисунок 2.5 – Інформаційні характеристики реєстрації на лінійчатих носіях
Рисунок 2.6 – Цифрова реєстрації інформації на лінійчатих носіях
Наглядним прикладом є кодування зорових образів і обчислення структурної кількості інформації, що міститься в них.
До зорових образів відносяться картини, портрети, плоскі і об'ємні фігури, натуральні об'єкти зорового сприйняття. Зупинимося на зображеннях портретного типа.
Для того, щоб закодувати і розрахувати таке зображення, необхідно його дискретизацію, а саме, зробити мозаїчним по поверхні і квантово-тональним або квантово-барвистим в глибину. Тоді елементи мозаїки гратимуть роль числових гнізд. Їх кількість l має бути не менше з умови, щоб не втрачалося враження цілого, якщо не ставляться більш строгі вимоги деталізації або естети. Глибина h кожного гнізда визначається кількістю дискретних елементів гамми фарб і тонів. У такий спосіб, наприклад, була закодована для вічного зберігання картина Леонардо та Вінчі «Мона Ліза».
Якщо
розміри площі картини дорівнюють
і задані інтервали дискретизації
і
,
то загальна кількість дискретних
елементів-гнізд дорівнює:
,
звідки загальна кількість інформації буде:
.
