1. Типові повідомлення. Охарактеризуйте їхні властивості.
Повідомлення – це форма представлення інформації. Типові повідомлення – це повідомлення в яких відносна частота появи окремих елементів xi , тобто
відношення числа даних елементів |
ni до |
загального числа елементів у |
|||
m |
|
|
|
||
повідомленні n ni прямує до ймовірності появи цих елементів, тобто: |
|||||
i 1 |
|
|
|
||
|
ni |
|
ni |
|
p |
|
|
m |
|||
|
n |
i |
|||
|
ni |
|
|||
|
|
|
|
||
|
|
|
i 1 |
|
|
Таким чином, в типове повідомлення досить великої довжини n буде входити ni pi n елементів виду хі, а ймовірності появи типових повідомлень р будуть однакові і можуть бути знайдені:
m
p pinpi i 1
Оскільки сумарна ймовірність всіх типових повідомлень прямує до одиниці при збільшенні довжини повідомлень, число типових повідомлень L можна визначити за формулою:
L |
|
1 |
|
1 |
|
|
|
|
m |
|
|||
|
|
p |
|
|||
|
|
pinpi |
|
|||
|
|
|
|
i 1 |
|
|
Кількість інформації в одному повідомленні: |
|
|||||
m |
|
|
|
m |
m |
|
I log L log pi ni |
ni log pi |
n pi log pi |
||||
i 1 |
|
|
|
i 1 |
i 1 |
|
13. Структурний та ймовірнісні підходи до вимірювання інформації. Поясніть, в чому схожість і в чому різниця між ними.
Структурне — розглядає дискретну будову масивів інформації і їх вимірювання простим підрахунком інформаційних елементів або комбінаторним методом, що припускає просте кодування масивів.
Якщо маємо об’єкт, який може знаходитися в одному з N рівноймовірних станів кількість інформації І в повідомленні про те, що об’єкт знаходиться у будьякому одному стані, визначається формулою:
Статистичний напрям оперує поняттям ентропії як невизначеності, що враховує вірогідність появи тих або інших повідомлень. Згідно з ним, кількість інформації, яка міститься у повідомленні про те, що відбулася одна будь-яка подія Ai з кількох можливих, тим більша, чим менша ймовірність появи цієї події
[P(Ai)].
Основною перевагою статистичної міри кількості інформації є її універсальність. Важливою перевагою статистичної міри кількості інформації є її об'єктивність.
Якщо маємо джерело з алфавітом m, при цьому імовірність появи символів однакова ( ), то формула кількості інформації для статистичного підходу
( ∑ ( )) ( ∑ ( ))
перетворюється в міру Хартлі (для структурного підходу).
24. Як визначити швидкість передавання інформації каналами зв'язку за наявності завад.
Якщо за рахунок впливу шуму був прийнятий елемент повідомлення j, в той
час, як був переданий елемент i, то збільшення інформації можна визначити:
( )
|
|
|
( ) |
|
|
|
|
де – апріорна імовірність передавання елемента |
; |
|
|||||
( ) – умовна імовірність приймання елемента в той час, як був |
|||||||
переданий елемент . |
|
|
|
|
|
|
|
Якщо шуми досить великі |
( ) |
|
|
|
|
, повідомлення, що |
|
приймається, не вміщує інформації і приймання його не |
змінює початкових знань. |
||||
За умови відсутності шуму: ( ) |
, якщо |
, або |
( ) |
, якщо |
. В |
цьому випадку: |
|
|
|
|
|
Для каналу з шумами швидкість передавання інформації (у бітах за секунду):
де S – кількість символів, що передаються за секунду.
( )
Тоді:
( ( ))
Таким чином швидкість передавання інформації під впливом шуму зменшується більш різко, ніж кількість правильно переданих символів.