1. Типові повідомлення. Охарактеризуйте їхні властивості.
Повідомлення – це форма представлення інформації. Типові повідомлення – це повідомлення в яких відносна частота появи окремих елементів xi , тобто
відношення числа даних елементів |
ni до |
загального числа елементів у |
|||
m |
|
|
|
||
повідомленні n ni прямує до ймовірності появи цих елементів, тобто: |
|||||
i 1 |
|
|
|
||
|
ni |
|
ni |
|
p |
|
|
m |
|||
|
n |
i |
|||
|
ni |
|
|||
|
|
|
|
||
|
|
|
i 1 |
|
|
Таким чином, в типове повідомлення досить великої довжини n буде входити ni pi n елементів виду хі, а ймовірності появи типових повідомлень р будуть однакові і можуть бути знайдені:
m
p pinpi i 1
Оскільки сумарна ймовірність всіх типових повідомлень прямує до одиниці при збільшенні довжини повідомлень, число типових повідомлень L можна визначити за формулою:
L |
|
1 |
|
1 |
|
|
|
|
m |
|
|||
|
|
p |
|
|||
|
|
pinpi |
|
|||
|
|
|
|
i 1 |
|
|
Кількість інформації в одному повідомленні: |
|
|||||
m |
|
|
|
m |
m |
|
I log L log pi ni |
ni log pi |
n pi log pi |
||||
i 1 |
|
|
|
i 1 |
i 1 |
|
13. Структурний та ймовірнісні підходи до вимірювання інформації. Поясніть, в чому схожість і в чому різниця між ними.
Структурне — розглядає дискретну будову масивів інформації і їх вимірювання простим підрахунком інформаційних елементів або комбінаторним методом, що припускає просте кодування масивів.
Якщо маємо об’єкт, який може знаходитися в одному з N рівноймовірних станів кількість інформації І в повідомленні про те, що об’єкт знаходиться у будьякому одному стані, визначається формулою:
Статистичний напрям оперує поняттям ентропії як невизначеності, що враховує вірогідність появи тих або інших повідомлень. Згідно з ним, кількість інформації, яка міститься у повідомленні про те, що відбулася одна будь-яка подія Ai з кількох можливих, тим більша, чим менша ймовірність появи цієї події
[P(Ai)].
Основною перевагою статистичної міри кількості інформації є її універсальність. Важливою перевагою статистичної міри кількості інформації є її об'єктивність.
Якщо маємо джерело з алфавітом m, при цьому імовірність появи символів однакова ( ), то формула кількості інформації для статистичного підходу
( ∑ ( )) ( ∑ ( ))
перетворюється в міру Хартлі (для структурного підходу).
21. Пропускна здатність дискретного каналу зв’язку за повної відсутності
завад. Формулювання задачі. Граничні умови.
Пропускну здатність С визначають як найбільшу можливу швидкість передавання інформації, яку можна досягнути в цьому каналі зв’язку.
де |
– швидкість передавання інформації по каналу. |
⁄ ̅ ̅– середня |
тривалість символів джерела. У дискретному каналі:
̅ ̅
– кількість інформації у повідомленнях, що приймаються. Н – ентропія джерела (за відсутності шумів, к-ть інформації на елемент повідомлення дорівнює ентропії) n – число символів повідомлення.
̅