1. Охарактеризувати логіку структурного підходу до вимірювання кількості інформації.
Структурний підхід - розглядає дискретну побудову масивів інформації та їх вимірювання простим підрахунком інформаційних елементів або комбінаторним методом, що передбачає просте кодування масивів.
Структурний напрямок розглядає дискретне повідомлення як слово, яке складається з n елементів з алфавіту, який складається у свою чергу з m елементів. Р. Хартлі запропонував у якості міри інформації використовувати логарифм числа можливих послідовностей символів:
I log L log mn n log m
де L – число повідомлень, яке можна отримати, комбінуючи m символів алфавіту за n елементами у повідомленні.
Структурний підхід використовується для оцінки можливостей технічних засобів різних систем переробки інформації незалежно від конкретних умов їх застосування.
Якщо маємо k джерел повідомлень, то кількість можливих повідомлень від
усіх |
джерел L L1 L2 ... Lk . |
Щоб зберігалася властивість адитивності, |
|||
використовують |
логарифмічну |
міру Хартлі |
I log L log mn n log m . |
Якщо |
|
маємо |
декілька |
джерел, то |
кількість |
інформації від усіх |
джерел |
I I1 |
I2 ... Ik . |
|
|
|
|
16. Поняття «умовна ентропія». Пояснити сутність поняття. Навести приклади.
Взаємно статистичний зв'язок між повідомленнями Х і Y характеризується
умовною ймовірністю |
, що визначає ймовірність появи елементів |
за |
умови, що стало відомо елемент повідомлення . |
|
|
Інформативність повідомлення Y після того, як став відомим елемент |
, |
|
характеризується частковою |
умовною ентропією, яка визначається виразом |
|
( ⁄ ) ∑ |
. |
|
Проведемо усереднення по всім можливим елементам та знайдемо повну умовну ентропію повідомлення Y відносно повідомлення X:
( ⁄ ) ∑ ∑
Використовуючи відомі співвідношення для ймовірності загальної появи
двох подій ( |
) |
, отримаємо: |
|
( ⁄ ) |
∑ ∑ |
Зміст умовної ентропії ( ⁄ ) заключається в тому, що вона являється
мірою кількості інформації в повідомленні Y, коли відомо, що передаються повідомлення X.
Умовна ентропія повідомлення Y відносно повідомлення X при жорсткій статистичній залежності рівна 0, тобто в повідомленнях Y немає ніякої нової інформації.
27. Вплив спектрального розподілу завад на швидкість передавання інформації. Виведення основного співвідношення, трактування результату.
Вплив розподілення шумів по спектру на швидкість передачі інформації:
∫ ∫
S(f) – спектральна щільність потужності сигналу
N(f)- спектральна щільність потужності шуму
Якщо значення сигналу і шуму розподілені за нормальним законом, то швидкість:
∫
Вид функції S(f) за якої швидкість передачі максимальна:
∫ { [ |
|
] |
} |
|
В результаті швидкість передачі інформації визначається за формулою:
∫
Графік представлений на рисунку: