1. Міра Хартлі. Пояснити її властивості. Обґрунтувати застосування для вимірювання інформації.
Міра Хартлі – логарифмічна міра кількості інформації, яка дозволяє оцінити кількість інформації, яка міститься в повідомленні, логарифмом числа можливих повідомлень:
I log L log mn n log m ,
де m – кількість символів алфавіту, n – довжина повідомлення,
L – кількість можливих повідомлень.
Властивості:
При об’єднанні джерел повідомлень кількість можливих повідомлень
дорівнює добутку кількості можливих повідомлень кожного джерела, тобто при об’єднанні k джерел: L L1 L2 ... Lk .
Зі збільшенням числа елементів повідомлення пропорційно збільшується кількість інформації I. Таким чином, логарифмічна міра має властивість адитивності по відношенню кількості елементів повідомлення. Якщо загальне число джерел інформації дорівнює k, то кількість інформації від всіх джерел:
I I1 I2 ... Ik
Таким чином, логарифмічна міра володіє адитивністю по відношенню до кількості елементів повідомлення і по відношенню до кількості джерел повідомлень.
Вибір 
в якості міри кількості інформації незручний тим, що при додаванні
кількості інформації декількох незалежних джерел повідомлень не виконується умова лінійного додавання кількостей інформації, тобто умова адитивності.
Застосування логарифмічної міри кількості інформації є більш зручним. Так, як, в такому випадку, зберігається властивість адитивності.
10. Встановити зв’язок між оцінками кількості інформації за наявності та відсутності статистичних зв’язків між повідомленнями джерел.
Ентропія – це кількість інформації, що приходиться на один елемент
|
|
I |
m |
|
|
повідомлення. |
H |
pi |
log pi , [á³ò ] |
||
n |
|||||
|
|
i 1 |
|
||
|
|
|
|
||
Взаємний статистичний зв'язок між повідомленнями X та Y характеризується |
|||||
умовними ймовірностями |
, що визначають ймовірність появи елементів |
||||
за умови, що став відомий елемент повідомлення .
Інформативність повідомлення Y після того, як став відомий елемент , характеризується частковою умовною ентропією, яка визначається виразом:
n
H Y
xi p y j 
xi log p y j 
xi .
j 1
Загальна умовна ентропія повідомлень Y відносно повідомлень X:
|
|
m |
n |
|
xi . |
H Y |
X p xi p y j xi log p y j |
||||
|
|
i 1 |
j 1 |
|
|
Використовуючи відомі співвідношення для ймовірності спільної появи двох |
|||||
залежних повідомлень |
( |
) |
|
|
отримаємо: |
|
|
|
m |
n |
|
H Y |
X p xi , y j log p y j xi . |
|
|||
|
|
|
i 1 |
j 1 |
|
Зміст умовної ентропії |
|
в тому, що вона являється мірою кількості |
|||
інформації в повідомленнях Y, коли відомо, що передаються повідомлення X.
Використовуючи співвідношення теорії ймовірностей, можна показати, що умовна ентропія повідомлень Y відносно повідомлень X при жорсткій статистичній залежності (тобто, коли одна із ймовірностей в строці таблиці рівна одиниці, а всі решта – нулю) рівна нулю, тобто в повідомленнях Y немає ніякої нової інформації. При статистичній незалежності повідомлень X та Y умовна ентропія рівна безумовній ентропії повідомлень .
21. Пропускна здатність дискретного каналу зв’язку за повної відсутності
завад. Формулювання задачі. Граничні умови.
Пропускну здатність С визначають як найбільшу можливу швидкість передавання інформації, яку можна досягнути в цьому каналі зв’язку.
де |
– швидкість передавання інформації по каналу. |
⁄ ̅ ̅– середня |
тривалість символів джерела. У дискретному каналі:
̅ ̅
– кількість інформації у повідомленнях, що приймаються. Н – ентропія джерела (за відсутності шумів, к-ть інформації на елемент повідомлення дорівнює ентропії) n – число символів повідомлення.
̅