Структурна оцінка інформації.

Значний інтерес представляє структурна оцінка вимірюваних величин і функцій з використанням адитивної міри. В загальному можна вважати, що будь-яка вимірювальна інформація якось кодована. Інформація в аналоговій формі закодована по нескінченній системі числення яка характеризується тим, що кожен відлік (кожне значення вимірюваної величини) береться одним тактом, тобто одним числом завдовжки I = 1, але глибина h числа вельми велика: вона дорівнює самому числу X, яке відповідає значенню вимірюваної величини, і прагне до нескінченності, якщо інтервали прагнуть до нуля. Інформаційна ємкість аналогової системи нескінченно велика. Інформація в зліченно-імпульсній формі є другим граничним випадком кодування. Тут здійснюється кодування по одиничній (унітарншй) системі числення, яка характеризується тим, що глибина h числа стає гранично малою (h =1), але довжина l числа гранично зростає: вона стає рівною самому числу X, яке відповідає значенню вимірюваної величини, і прагне до нескінченності, якщо крок квантування прагне до нуля.

Адитивна міра Хартлі.

У теорії інформації важливу роль грає комбінаторика чисел і кодів. Введемо поняття глибини h і довжини l числа Глибиною числа h називається кількість різних елементів (знаків), що міститься в прийнятому алфавіті. Глибина числа відповідає основі системи числення і кодування. Один повний алфавіт займає одне числове гніздо, глибина якого також дорівнює h. У кожен момент реалізується тільки один який-небудь знак з h можливих. Довжиною числа l називається кількість числових гнізд, тобто кількість повторень алфавіту, необхідних і достатніх для представлення чисел потрібної величини. Довжина числа відповідає розрядності системи числення і кодування. Один набір з l гнізд-алфавітів складає одну числову гряду, здатну представляти і зберігати одне повне число завдовжки l. Деяка кількість чисел N представляється числовим полем. При глибині h і довжині l кількість чисел, яку можна представити за допомогою числової гряди, визначається формулою:

, (2.6)

тобто ємкість гряди експоненціально залежить від довжини числа l.

Статистична міра інформації.

Очевидно, що, принаймні з точки зору одержувача інформації, повідомлення є випадковими подіями. Тому при імовірнісному підході інформація розглядається як повідомлення про результат випадкових подій, реалізації випадкових величі і функцій, а кількість інформації ставиться в залежність від апріорної ймовірності цих подій, величин, функцій. Коли надходить повідомлення про події, що часто зустрічаються, ймовірність появи яких прямує до одиниці, тобто до показника повної достовірності, то таке повідомлення є мало інформативним. Настільки ж мало інформативні повідомлення про протилежні події (анти події), ймовірність яких прагне до нуля і які, тому, майже неможливі. Наприклад, подія «годинник йде» має ймовірність , тоді як анти подія «годинник не йде» має ймовірність . Подія і антиподія складають одну двійкову однопредметну подію. Може бути також двійкова двохпредметна подія, що полягає у виборі одного з двох можливих предметів, наприклад, чорної або білої кулі з урни, герба або решки на монеті. Більшість видів інформації можна звести до двійкових явищ «так – ні» і до пари: «подія — анти подія». Саме ця пара явищ є простим і неподільним елементом (квантом) інформації. Події можна розглядувати як можливі результати деякого досліду, причому всі результати складають ансамбль, або повну групу подій. Остання характеризується тим, що сума ймовірностей подій в ній дорівнює одиниці:

.

Дослідом може бути і зміна значення випадкової величини X, що приймає різні значення. Тоді кожне визначене значення має зміст результату, або елементарної події. Ансамблем називається повна група подій, або сукупність станів дискретної випадкової величини , інакше, поле неспільних подій з відомим розподілом ймовірностей , що складають в сумі одиницю. Тут мається на увазі кінцева множина подій і, отже, дискретна система станів, значень, положень і так далі. Взагалі подіями можуть бути можливих дискретних станів якої-небудь фізичної системи, наприклад значень вимірюваної величини, положень регулюючого органу, стан елементів виробничого устаткування і так далі. Їм поставлена у відповідність множина їх ймовірностей . Формально ансамбль можна визначити як трійку , де значення випадкової величини із фіксованої множини елементів ,яким відповідає сукупність ймовірностей , таких що , . В іншому трактуванні можна записати як . У найпростішому випадку ці події несумісні. Вони складають повну групу, у якій обов'язково реалізується одна з подій і має місце умова

.