9.3. Цифровий сигнал. Кількість інформації

Представлення повідомлень у вигляді комбінацій з невеликого числа вихідних знаків (наприклад точка, тире і пауза в коді Морзе) називається кодуванням інформації. Число різних символів (знаки, елементи, сигнали), які використовуються при кодуванні, називаються основою коду, а число елементів, що утворюють кодову комбінацію - значимістю коду. Код, всі комбінації якого мають однакову значимість, називається рівномірним.

Кодування дозволяє представити різні повідомлення в стандартній формі, що має деякі властивості чисел. Кодований сигнал, так як і число, дискретний і складається з обмеженого набору елементів. Тому кодовані сигнали прийнято називати цифровими сигналами.

У своїй діяльності людина сприймає, аналізує, зберігає, передає багаточисельні відомості про різні предмети, явища і події.

Відомості про любу подію, явище називається інформацією. Інформація є об`єктом передачі, розподілу, претворення і безпосереднього використання. Потоки інформації поділяють на частини великого або меншого об`єму, які називають повідомленнями.

Для відтвореня інформації, її передачі і зберігання використовують різні символи або знаки. Вони можуть бути визначені положенням предметів, малюнки, букви, цифри, колір або яскравість предмету чи його елементів, значення фізичної величини (довжина предмету, величина або напрям струму, значення напруги, хімічний склад речовини і ін.).

Інформація появляється, коли протікає процес зміни символів або знаків. Повідомлення відбудеться, якщо підняти руку, замінити цифру або букву чи запис на папері, збільшити чи зменшити струм і т. д.

Робота сучасних електронно-обчислювальних машин неможлива без інформаційного обміну між її окремими пристроями. Тому ми повинні вияснити, що ми розуміємо під інформацією в технічних системах.

Складність поняття "інформація" в тому, що воно має ряд аспектів. В змістовному аспекті це поняття первинне і відповідає термінам "відомості", "знання". Перешкодою для використання даної трактовки поняття в технічних системах, є неможливість вказати кількість змістовної інформації. Не менш важко визначити кількість інформації і в практичному аспекті, так як тут вона вводиться на основі визначення важливості цієї інформації для користувача.

На відміну від попередніх в математичному (операційному) аспекті кількісна міра інформації легко вводиться на основі імовірнісної трактовки інформаційного обміну. Цей метод вимірювання кількості інформації вперше запропонований К.Шенноном у 1948 р. За Шенноном, інформація - це повідомлення які зменшують існуючу до їх отримання неозначеність. Ступінь неозначеності характеризують за допомогою ймовірності яка, як відомо, може приймати значення від 0 до 1. Кількість інформації, яка вміщується у повідомленні, рівна: І=Н₀-Н₁, тут Н₀ і Н₁ - функції, що характеризують розподіл ймовірності до приходу (Н₀) і після приходу (Н₁) повідомлення. Для дискретної системи, що може знаходитись в одному з n різних станів, кожне із яких реалізується із ймовірністю Р_і(і=1,2,...,n), мірою неозначеності стану системи є функція

яку називають ентропією системи. В окремому, але досить важливому випадку, коли кожний стан рівноймовірний, тобто

ентропія системи буде максимальною і рівною:

Ще раз спростимо ситуацію і розглянемо просту систему, яка може знаходитись тільки в одному із двох рівноймовірних станів, наприклад електричне коло з біметалічною пластиною у термостаті - замкнуту або розімкнуту. Повідомлення про дійсний стан системи в даний час несе інформацію:

Це кількість інформації, яка виділяє одне із двох рівноймовірних станів системи, називається двійковою одиницею кількості інформації - бітом (від англ. binari digit - двійковий розряд).

Повернемося до більш складних систем з n>2 і розглянемо клавіатуру персонального комп`ютера із 64 клавіш. Максимальна кількість інформації, яка створює дана система при натисканні однієї клавіші, рівна, очевидно, максимальній ентропії при рівноймовірній частоті натискання любої клавіші (випадок, коли за клавіатурою сидить дитина, яка не вміє читати, і в змістовному тексті поява різних букв і знаків різна):

біт

Припустимо, що нам повідомили: "натиснута цифрова клавіша" Так як таких клавіш всього 10 (0, 1,...,9) і ймовірність натискання кожної із них однакова, то після повідомлення ентропія системи рівна:

біт

і, відповідно, у переданому нам повідомленні вміщувалось

І=Н₀-Н₁=6-3,32=2,68 біт інформації.

При натисканні чотирьох клавіш із 64 загальна кількість можливих варіантів n=644=264=16777216; відповідно, чотири символи можуть вміщувати log₂2²⁴=24 біт інформації.

Якщо при послідовному натисканні на чотири клавіші випадково отримається змістовне слово (а чотирибуквених слів у словнику біля тисячі), то повідомлення про це зменшить ентропію системи до Н₁=log₂1000log₂10=10 біт, і, відповідно повідомлення вміщує в собі

І=Н₀-Н₁=24-10=14 біт інформації.