Кількість інформації.

Кількість інформації в повідомленні (символі) визначається в бітах - одиницях виміру кількості інформації. Чим менше ймовірність появи того або іншого повідомлення, тим більшу кількість інформації ми витягаємо при його одержанні. Якщо в пам‘яті джерела є два незалежних повідомлення (а₁ і а₂) і перше з них видається з імовірністю , то повідомлення а₁ не несе інформації, тому що воно заздалегідь відомо одержувачеві.

Було запропоновано визначати кількість інформації, що доводиться на одне повідомлення a_і, виразом:

Середня кількість інформації Н(А), що доводиться на одне повідомлення, що надходить від джерела без пам‘яті, одержимо, застосувавши операцію усереднення по всьому обсязі алфавіту:

. (1)

Вираз (1) відомий як формула Шеннона для ентропії джерела дискретних повідомлень.

Ентропія - міра невизначеності в поводженні джерела дискретних повідомлень.

Ентропія дорівнює нулю, якщо з імовірністю одиниця джерелом видається завжди те саме повідомлення (у цьому випадку невизначеність у поводженні джерела повідомлень відсутній). Ентропія максимальна, якщо символи джерела з незалежно й з однаковою ймовірністю.

Визначимо ентропію джерела повідомлень, якщо К=2 і . Тоді

Звідси 1 біт - це кількість інформації, що переносить один символ джерела дискретних повідомлень у тому випадку, коли алфавіт джерела складається із двох рівноймовірних символів.

Якщо в попередньому прикладі взяти , то Н(А)<1 біт/повідомлення. Таким чином, один біт - максимальна середня кількість інформації, що переносить один символ джерела дискретних повідомлень у тому випадку, коли алфавіт джерела включає два незалежних символи.

Середня кількість інформації, видавана джерелом в одиницю часу, називають продуктивністю джерела

. (2)

де Т - середній час, що відводиться на передачу одного символу (повідомлення).

Швидкість передачі інформації

Для визначення кількості одиничних елементів, переданих в одну секунду ввели поняття швидкість модуляції (телеграфування):

В=1/t (Бод)

Для каналів передачі дискретних повідомлень вводять аналогічну характеристику - швидкість передачі інформації по каналу R (біт/с). Вона визначається кількістю біт, переданих за секунду. Максимально можливе значення швидкості передачі інформації з каналу називається пропускною здатністю каналу:

де - смуга пропускання каналу,

- потужність сигналу,

- потужність перешкоди.

Повідомлення, що надходить від джерела, перетвориться в сигнал, що є його переносником у системах електрозв‘язку.

Система електрозв‘язку забезпечує доставку сигналу з однієї точки простору в іншу із заданими якісними показниками. Схема передачі повідомлень, до складу якої входять перетворювачі повідомлення, наведена на рис. 1.

Під джерелом повідомлення розуміється пристрій, який відбирає (в відповідності зі своїми властивостями) тільки ту частину можливих повідомлень, яка цікавить людину. Людина використовує її безпосередньо, або через застосування створених ним пристроїв з метою управління іншими об‘єктами (матеріальними системами). Для того, щоб передати повідомлення на відповідну відстань, необхідно скористатися яким небудь матеріальним носієм (папером, магнітною стрічкою) або фізичним процесом (звуковими хвилями, електромагнітними хвилями, струмом в кабелі).

Фізична величина, яка змінюється (струм, напруга, електромагнітне поле) і відображує в процесі передачі повідомлення, називається сигналом.

Так, наприклад, при проводовому телеграфному зв‘язку повідомленням є зміст тексту, написаний на відповідному бланку, а сигналом – струм в лінії.

Часто повідомленням, яке потребує передачі, може бути також фізичний процес. Наприклад, звуковий тиск, який створюється людиною, яка розмовляє по телефоному зв‘язку, або зміна температури в телеметричній системі зв‘язку.

В технічних системах зв‘язку таке повідомлення перш за все перетворюється в пропорційний йому електричний процес, який називають первинним сигналом. Електричний процес (струм, напруга) зручно піддавати послідуючим перетворюванням, чим процеси іншої фізичної природи.

Суть перетворення повідомлення в сигнал, а також різноманітних перетворень однієї множини сигналів в іншу заключається в тому, що по яким небудь заздалегідь обумовленим правилам встановлюється взаємна відповідність між кожним можливим повідомленням і деяким сигналом (або між кожним сигналом першої множини і деяким сигналом другої множини. Коли на вхід передавального пристрою надходить повідомлення, то на його виході виникає відповідний йому сигнал.

Часто безперервні сигнали використовуються для передачі дискретних повідомлень, а іноді і навпаки – безперервні повідомлення перетворюються в дискретні сигнали.

Наглядна ілюстрація дискретних та безперервних сигналів наведена на рис.2.

Рисунок 2. Ілюстрація дискретних та безперервних сигналів

а) сигнал безперервний за станом та в часі; б) дискретний за станом, безперервний у часі; в) безперервний за станом, дискретний у часі; г) дискретний за станом і часом

Сигнал (у теорії інформації й зв'язку) - матеріальний носій інформації, використовуваний для передачі повідомлень у системі зв'язку. Сигнал, на відміну від повідомлення, може генеруватися, але його прийом не обов'язковий (повідомлення повинне бути прийняте приймаючою стороною, інакше воно не є повідомленням, а всього лише сигналом). Сигналом може бути будь-який фізичний процес, параметри якого змінюються відповідно до переданого повідомлення.

Сигнали розподіляються

По фізичній природі носія інформації:

електричні,

електромагнітні,

оптичні,

акустичні

По способу завдання сигналу:

регулярні (детерміновані), задані аналітичною функцією;

нерегулярні (випадкові), що приймають довільні значення в будь-який момент часу. Для опису таких сигналів використається апарат теорії ймовірностей.

Залежно від функції, що описує параметри сигналу, виділяють аналогові, дискретні, квантовані й цифрові сигнали.