Кількісна оцінка інформація

Розглянемо такий практичний приклад. Допустимо, що необхідно передати місце знаходження шахматної фігури на шахматній дошці. Тоді поставлену задачу можна розв’язати 2 способами:

1. кожній клітинці дошки присвоїти номер від 1 до 64 . Для того можна використати двійкову систему числення і використати 6 двійкових розрядів присвоївши 64-ій клітинці код із усіх нулів.

2. Ввести нумерацію рядків та стовпців і використати двійкову систему числення також можна використати 3 двійкових розряди номера по горизонталі і 3 двійкових розряди номера по вертикалі. Отже і в другому способі потрібно використати 6 двійкових розрядів.

Відповідно кількість інформації за 1 -2 способами буде однаковою. Отже на основі даного і інших прикладів можна зробити висновок: кількість інформації, яка є в джерелі передачі інформації . Довжина повідомлення для передачі повної інформації щодо координати максимальної клітинки буде однаковою і становитиме 6 двійкових розрядів. Довжина повідомлення при різних способах обміну інформації може би бути різною якщо б були різними кількісні ознаки вторинного алфавіту, кількість інформації природно збільшується при збільшенні числа повідомлень, тобто кількість інформації відповідає

умові адитивності, тобто кількість інформації при передаванні поодному і тому ж каналу зв’язку при обміні повідомленнями одним і тим же методом, однією і тією же самою апаратурою тим більша чим більше повідомлень ми передаєм, чим більше символів ми передаєм.

Отже кількість інформації є важливою його характеристикою. Будь-яке відображення навколо середовища, яке може бути зафіксоване людиною або пристороєм несе в собі інформацію. А відображення результатів діяльності людей, розуміння навколишнього світу переважно подається у формалізованому вигляді через символи, які найбільш часто подаються через букви та цифри. Такі формалізовані набори називають даними. Певна сукупність даних отриманих користувачем від джерела інформації називається повідомленням. Дані стають інформацією в момент їх використання. Тому не усі дані стають інформацією. Інформацією стають ті повідомлення, які знімають невизначеність, яка існувала до їх поступлення. Повідомлення передаються за допомогою сигналів, які мають певні фізичні властивості. Найбільш властиво використовувати електричні сигнали для яких основними є амплітудна, частотна та фазова характеристики. В окремих випадках спосіб обміну інформації впливає на кількість прийнятої інформації. Одне і теж саме повідомлення можна передавати через канали зв’язку без надлишкового кодуванням. Зрозуміло у 2-му випадку кількість прийнятої інформації збільшується. Кількість інформації, яка міститься у джерелі інформації обчислюється за формулою:

І=Н*К

де І – кількість інформації;

Н - усунення невизначеності;

К – кількість повідомлень.

Це базова формула на основі якої досліджується кількість інформації.

Мірою невизначеності в теорії інформації є ентропія. Якщо первинний ансамбль повідомлень А , який подається скінченною множиною символів абстрактного алфавіту а_1…а_і розподілом ймовірностей їх появи в цьому ансамблі р_1…р_і.

У 1928 американський вчений Хартлі показав, що для кількісної оцінки інформації найкраще підходить логарифмічна міра. Він доказав це наступним міркуваннями: