
- •4.5 Контрольні питання 87
- •5.5 Контрольні питання 97
- •6.5 Контрольні питання 127
- •2Основні поняття теорії інформації
- •2.1Загальні положення
- •2.2Кругообертання інформації
- •2.3Класифікація інформації
- •2.4Структурні перетворення інформації
- •2.5Фази усунення надлишковості інформації
- •2.6Контрольні питання
- •3Інформаційна метрика
- •3.1Якісні і кількісні оцінки інформації
- •3.2Структурні міри інформації
- •3.2.1Загальна характеристика структурної метрики
- •3.2.2Геометрична міра інформації
- •3.2.3Комбінаторна міра інформації
- •3.2.4Адитивна міра (міра Хартлі)
- •3.2.5Специфіка структурної оцінки кількості інформації
- •3.2.6Інформаційна ємність
- •3.3Статистичні міри інформації
- •3.3.1Відповідність між ймовірністю і інформацією
- •3.3.2Ентропія як міра невизначеності
- •3.3.3Ентропія ансамблю (безумовна ентропія)
- •3.3.4Ентропія об’єднання, умовна ентропія
- •Ентропія безперервного джерела інформації (диференціальна ентропія)
- •3.3.5Кількість інформації як міра зняття невизначеності
- •3.4Кількість інформації і її надлишковість
- •3.5Оцінка якості виміру н контролю
- •3.6Семантичні міри інформації
- •3.6.1Поняття семиотика
- •3.6.2Змістовність інформації
- •3.6.3Доцільність інформації
- •3.6.4Динамічна ентропія
- •3.6.5Істотність інформації
- •3.7Контрольні питання
- •4Характеристики дискретних джерел інформації
- •4.1Продуктивність дискретного джерела та швидкість передачі інформації
- •4.2Інформаційні втрати при передачі інформації по дискретному каналу
- •4.3Пропускна здатність дискретного каналу
- •4.4Теорема Шеннона
- •4.5Контрольні питання
- •5Характеристики неперервних джерел інформації
- •5.1Квантування сигналів
- •5.2Інформаційні втрати при дискретизації неперервних джерел
- •5.3Продуктивність неперервного джерела та швидкість передачі інформації
- •5.4Пропускна здатність неперервного каналу
- •5.5Контрольні питання
- •6Кодування інформації
- •6.1Загальні поняття і визначення
- •6.2Кодування як процес представлення інформації в цифровому вигляді
- •6.3Ефективне кодування
- •6.4Кодування інформації для каналу з завадами
- •6.4.1Загальні поняття теорії завадостійкого кодування
- •6.4.2Різновиди завадостійких код
- •6.4.3Загальні принципи використання надлишковості
- •6.4.4Кодова відстань
- •6.5Контрольні питання
- •Перелік використаних джерел
3.5Оцінка якості виміру н контролю
Виміром називається сукупність експериментальних і в деяких випадках обчислювальних операцій, що мають на меті визначення значення вимірюваної величини (фізичної величини, параметра), вираженого в прийнятих одиницях.
Фізична величина, вимірювана величина (параметр) є об'єктивна властивість фізичного об'єкту (фізичного тіла, стану або процесу), загальна в якісному відношенні множині різних об'єктів, але індивідуальне в кількісному відношенні.
Значення фізичної величини є інформація про фізичну величину, властиву об'єкту, виражена в прийнятих одиницях.
Одиницею фізичної величини називається фізична величина, прийнята за угодою за основу для кількісної оцінки величин, однорідних з нею в якісному відношенні.
Розрізняють прямі, непрямі і сукупні виміри.
Прямі виміри є виміри, при яких експериментальна операція проводиться над величиною, що підлягає виміру.
Непрямі виміри є виміри, при яких прямим вимірам піддають величини, пов'язані з величиною, що підлягає виміру, відомою залежністю.
Частковим випадком непрямих вимірів є сукупні виміри, коли величина, що підлягає виміру, пов'язана відомою залежністю з декількома величинами, що виходять в результаті прямих вимірів.
Контроль є винесення судження про те, що величина відноситься до однієї з декількох областей, що не перетинаються, на які розбита вся область визначення контрольованої величини. Якість операції виміру або контролю часто доцільно оцінювати не лише по кількості інформації, яка при цьому надходить, але також помилкою, з якою операція виконується.
Помилка
виміру
визначається як різниця між результатом
виміру
і дійсним значенням вимірюваної
величини
:
.
Чинники,
що приводять до помилки виміру, мають
випадковий характер, змінюючи помилку
з часом або від одного виміру до іншого.
Тому помилку виміру слід розглядати як
випадкову величину, і якщо представляє
інтерес поведінка помилки в часі – то
як випадковий процес
.
У якості чисельних характеристик помилки використовують моменти випадкової величини або випадкового процесу , тобто математичне очікування (систематичну помилку) і середній квадрат помилки, що комплексно відображує властивості систематичної і випадкової складових. Може представляти інтерес кореляційна функція процесу помилки і її кореляція з вимірюваною величиною (процесом).
При контролі помилка є подія, що полягає в помилковому віднесенні контрольованої величини не до тієї області, якій ця величина насправді належить. Це подія в загальному випадку випадкова і її також можна вивчати статистичними методами.
3.6Семантичні міри інформації
3.6.1Поняття семиотика
Під семантикою розуміється сенс, вміст інформації. Місце семантики в системі понять семіотики (науки про знаки, слова і мови) вказане в таблиці 2.4., де використані наступні позначення: Z – знак, Z' – знак, що співвідноситься, С – сенс, О – об'єкт, Л – людина.
Знаком називається умовне зображення елементу повідомлення, словом – сукупність знаків, що має смислове (предметне) значення, мовою – словник і правила користування ним.
Відповідно приведеній вище структурі в семіотиці розрізняються синтактичний, семантичний, сигматичний і прагматичний аспекти теорії інформації.
Таблиця 2.4 – Структура семіотики
Семіотика Семеіон (грецьке) —знак, ознака. Наука про знаки, слова і мови |
|||
Синтактика Синтаксис –(грецьке): складання |
Семантика Семантікос – (грецьке): позначаючий |
Сигматика Сигматіка – (грецьке) вчення про знаки |
Прагматика Прагма – (грецьке) дія, практика |
Відношення між знаками і словами |
Значення знаків і слів |
Відношення між знаками (словами) і об'єктами відображення |
Практична корисність знаків і слів |
Структурна сторона мови
|
Смислова сторона мови
|
Словарна сторона мови
|
Споживча сторона мови
|
Що пов’язує знаки |
Що виражає знак |
Що позначає знак |
Що робить знак |
Розглянуті в попередніх розділах структурна і статистична оцінки інформації відносяться до синтактичного аспекту.
Сигматичний аспект відображується теорією сигналів і кодів, що розглядає умовні позначення елементів інформації. Сигнали є фізичними носіями позначених елементів, а коди – позначеннями цих елементів. Сигматичні оцінки не мають прямого відношення до мір інформації. Тому залишається розглянути семантичні і прагматичні оцінки інформації.
Тут розглядаються оцінки, що відповідають як семантичному, так і прагматичному аспектам теорії інформації: у інженерних застосуваннях прагматичні оцінки зливаються з семантичними, оскільки відомості що не мають сенсу непотрібні.
Оцінка ефективності логічного виводу, ступеня наближення до істини вимагає деякій формалізації, в даному випадку – формалізації сенсу. Одна з шляхів такої формалізації пропонується семантичною теорією інформації.
Карнап і Бар-Хиллел запропонували використовувати для цілей виміру сенсу функції істинності і хибності логічних висловів (пропозицій).
За основу дискретного опису об'єкту береться атомарна (неподільна) пропозиція, подібна до елементарної події теорії ймовірності і яка відповідає неподільному кванту повідомлення.
Отримана таким чином оцінка отримала назву змістовність інформації.