18 Які основні властивості взаємної ентропії?

1) при статистичній незалежності джерел X і Y їх взаємна ентропія дорівнює сумі ентропій кожного з джерел, тобто H(X, Y)=H(X)+H(Y);

2) при повній статистичній залежності джерел X і Y їх взаємна ентропія дорівнює безумовній ентропії одного з джерел, тобто H(X,Y)=H(X)=H(Y);

3) взаємна ентропія статистично залежних джерел X і Y менша суми безумовних ентропій кожного з них, тобто H(X, Y)  H(X)+H(Y).

---------------------------------------------------------------------------------------------------

19 Як знаходиться кількість інформації на одне повідомлення двох статистично залежних джерел?

Кількість інформації, що припадає на одне повідомлення, передане по каналу зв'язку джерелом X спостерігачу Y (рис.1.3), за наявності завад і статистичного взаємозв'язку ансамблів X і Y з урахуванням виразів (1.27), (1.28) і властивості 4 кількості інформації і ентропії знаходиться за формулою

I(X,Y)=H(Y)+H(X)-H(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X). (1.31)

---------------------------------------------------------------------------------------------------

(1.39)

---------------------------------------------------------------------------------------------------

27 Що таке продуктивність джерела інформації?

Нехай дискретне джерело X видає послідовність повідомлень {x_i}, заданих рядом ймовірностей {p_i}.

Якщо джерелом вибирається одне повідомлення x_i, то ним виробляється певна кількість інформації (1.1). Тоді швидкість утворення джерелом інформації повідомлень - продуктивність джерела щодо конкретного повідомлення можна визначити так:

, (1.32)

де через _i позначено проміжок часу вибору повідомлення x_i.

---------------------------------------------------------------------------------------------------

28 Що таке швидкість передачі інформації по каналу зв'язку та як вона визначається?

Оскільки на вибір кожного повідомлення y_j джерелом Y витрачається час , то швидкість передачі інформації по каналу зв'язку знаходиться за формулою

. (1.34)

---------------------------------------------------------------------------------------------------

29 Що таке пропускна здатність каналу зв'язку та чим вона визначається за відсутності завад у каналі.

Максимально можлива швидкість передачі інформації по каналу називається пропускною здатністю, або ємністю каналу зв'язку С.

Виходячи з виразів (1.34) і (1.43), дістанемо формулу

.

. (1.50)

Вираз (1.50) визначає пропускну здатність за відсутності завад.

---------------------------------------------------------------------------------------------------

30 Як формулюється теорема Шеннона про кодування дискретного джерела за відсутності завад?

Теорема Шеннона про кодування дискретного джерела за відсутності завадError: Reference source not found стверджує про таке.

Якщо пропускна здатність каналу без шуму перевищує швидкість створення джерелом повідомлень - його продуктивність, тобто

,

то існує спосіб кодування/ декодування повідомлень джерела з ентропією H(X), що забезпечує скільки завгодно високу надійність зіставлення прийнятих кодових комбінацій переданим, інакше - такого способу немає.

---------------------------------------------------------------------------------------------------

31

???????????

---------------------------------------------------------------------------------------------------