шпори / теорія / 11-20

11. Кількість інформації як міра різноманітності станів джерела повідомлень. Пояснити тезу.

Існують різні підходи до виміру інформації. Один із них – структурний, використовує міри різноманітності станів джерела повідомлень.

В багатьох випадках дискретне повідомлення можна розглядати як слово,

Чим більше , тим більша кількість можливих різноманітних станів і тим

Із збільшенням станів джерела (числа елементів повідомлення та алфавіту) пропорціонально зростає кількість інформації .

Тобто, використовуючи міру Хартлі можна побачити, що кількість інформації визначається різноманітністю станів джерела. Чим більше алфавіт джерела і чим більша кількість елементів, тим більша кількість інформації.

12. Ентропія об’єднання двох статистично залежних джерел. Вивести основне співвідношення.

Для визначення інформативності повідомлень об’єднання двох джерел,

1)Якщо повідомлення повністю незалежні, то, як слідує із розгляду властивостей H X ,Y H X H Y

2)У випадку жорсткої статистичної залежності H X ,Y H X H Y

13. Структурний та ймовірнісні підходи до вимірювання інформації. Поясніть, в чому схожість і в чому різниця між ними.

Структурне — розглядає дискретну будову масивів інформації і їх вимірювання простим підрахунком інформаційних елементів або комбінаторним методом, що припускає просте кодування масивів.

Якщо маємо об’єкт, який може знаходитися в одному з N рівноймовірних станів кількість інформації І в повідомленні про те, що об’єкт знаходиться у будьякому одному стані, визначається формулою:

Статистичний напрям оперує поняттям ентропії як невизначеності, що враховує вірогідність появи тих або інших повідомлень. Згідно з ним, кількість інформації, яка міститься у повідомленні про те, що відбулася одна будь-яка подія Ai з кількох можливих, тим більша, чим менша ймовірність появи цієї події

[P(Ai)].

Основною перевагою статистичної міри кількості інформації є її універсальність. Важливою перевагою статистичної міри кількості інформації є її об'єктивність.

Якщо маємо джерело з алфавітом m, при цьому імовірність появи символів однакова ( ), то формула кількості інформації для статистичного підходу

перетворюється в міру Хартлі (для структурного підходу).

14. Охарактеризувати властивості завади типу «білий шум».

Білий шум - стаціонарний шум, спектральні складові якого рівномірно розподілені по всьому діапазону задіяних частот. На практиці білим шумом називають шум, спектральна щільність якого однакова (або слабко змінюється) у розглянутому діапазоні частот. Математично білим шумом називають сигнал, автокореляційна функція якого є дельта-функцією Дірака. Це статистичне властивість є основним для сигналів такого типу.

Основні властивості наведені нижче.

Властивість 1. Коваріаційна функція білого шуму являє собою -функцію, точніше

перерізи, які відстоять як завгодно мало один від одного, між собою некорельовані, тобто інтервал кореляції

Властивість 2. Ефективна смуга частот білого шуму дорівнює нескінченності.

Властивість 3. Дисперсія білого шуму дорівнює нескінченності.

15. Пояснити основні властивості та навести характеристики завади типу «надлишковий шум» або «флікер ефект»

Флікер-шум ( 1f - шум) спостерігають у електронних лампах та транзисторах.

Уелектронних лампах – це широко відомий ефект мерехтіння катода.

Унапівпровідниках 1f - шум виникає через повільні флуктуації концентрації

носіїв заряду поблизу p-n-переходу. Шумові процеси, викликані цими ефектами, відрізняються повільністю протікання, спектральна щільність

потужності 1f - шуму зворотно пропорційна частоті S c , де с – константа,

що не залежить від частоти.

Умовно вважається, що 1f - шум починає проявлятись на частотах порядку 103 – 102 Гц та нижче, на вищих частотах 1f - шум маскують теплові та дробові шуми.

16. Поняття «умовна ентропія». Пояснити сутність поняття. Навести приклади.

Взаємно статистичний зв'язок між повідомленнями Х і Y характеризується

Проведемо усереднення по всім можливим елементам та знайдемо повну умовну ентропію повідомлення Y відносно повідомлення X:

( ⁄ ) ∑ ∑

Використовуючи відомі співвідношення для ймовірності загальної появи

Зміст умовної ентропії ( ⁄ ) заключається в тому, що вона являється

мірою кількості інформації в повідомленні Y, коли відомо, що передаються повідомлення X.

Умовна ентропія повідомлення Y відносно повідомлення X при жорсткій статистичній залежності рівна 0, тобто в повідомленнях Y немає ніякої нової інформації.

17. «Дробовий шум» , пояснити сутність поняття.

Дробовий шум виникає в результаті випадкових змін кількості носіїв, які утворюють електричний струм. Так, за постійного середнього значення струму, що протікає через електровакуумний прилад у відсутності сигналу, число електронів, які досягають анода в рівні проміжки часу, не залишається постійним. Так само у транзисторах середня кількість дірок, що проникають до бази з емітера, не є постійною, а змінюється випадковим чином.

Для кількісної оцінки шумів зазвичай вимірюють квадрати шумових напруг або струмів. Ця величина характеризує потужність шуму, якщо допустити, що опір навантаження 1 Ом.

Для дробового шуму середній квадрат шумового струму в смузі частот f

_

визначається: i2 2I0e f Г 2 , е – заряд електрона, І0 – струм через напівпровідник, Г2 – коефіцієнт згладжування для врахування додаткових шумів.

18. Чи завжди можна стверджувати, що «нормальний» шум є «білим». Ваша думка?

Білий шум – стаціонарний шум, спектральні складові якого рівномірно розподілені по всьому діапазону задіяних частот.

Поняття «білий шум» засновано на спектральній властивості випадкового процесу і абсолютно не пов'язано з законами розподілу щільності ймовірності. Зокрема, якщо білий шум має нормальний закон розподілу, то його називають нормальним білим шумом.

Іноді помилково вважається, що гаусівський шум (тобто шум з гауссовским розподілом) обов'язково є білим шумом. Однак ці поняття нееквівалентні. Гаусівський шум передбачає розподіл значень сигналу у вигляді нормального розподілу, тоді як термін «білий» має відношення до кореляції сигналу в два різних моменту часу (ця кореляція не залежить від розподілу амплітуди шуму). Білий шум може мати будь-який розподіл – як Гауса, так і розподіл Пуассона, Коші і т. д.

19. Охарактеризувати способи оцінювання інформаційної продуктивності неперервних та дискретних джерел інформації.

Одиниця виміру продуктивності залежить від вибору одиниці кількості інформації . Наприклад, це може бути біт за секунду.

Як правило, джерело вибирає досить велику кількість повідомлень протягом певного часу. Тому природно як загальну характеристику джерела прийняти

середню за ансамблем продуктивність, користуючись методом статистичного усереднення:

∑

Коли i≠ j при i≠ j вираз після усереднення за часом можна перетворити до вигляду: ∑

де cep — середній час вибору джерелом одного повідомлення. Продуктивність дискретного джерела, визначається його середніми

показниками: ентропією та часом утворення повідомлення.

∑ ∑

НЕПЕРЕРВНЕ ДЖЕРЕЛО

Виходячи з того, що ентропія Н(х) неперервного джерела за абсолютним значенням є нескінченною, продуктивність такого джерела також нескінченна.

Про продуктивність неперервного джерела доцільно говорити лише в диференціальному відношенні, допускаючи похибку або порівнюючи диференціальну ентропію h1(х) і h2(x) сусідніх відліків повідомлення, взятих з інтервалом часу t=t2–t1.

Відповідно до теореми відліків неперервні повідомлення х, у можуть бути подані сукупностями їх відліків хi та yj, в дискретні моменти часу з кроком

t.

20. Оцінити інформаційні втрати при передаванні інформації дискретним каналом.

Якщо завад нема, або їх рівень настільки малий, що вони не можуть заглушити корисних сигнал, то при передачі аi ми будемо впевнені, що отримаємо bj – сигнал, що відповідає переданому сигналу ai . Події А та В статистично жорстко

кількість інформації у прийнятому ансамблі повідомлень В, дорівнює ентропії передаваємих повідомлень ансабля А, т. е. I (B, A) H (A) .

При високом рівні завад, будь-який із прийнятих сигналів bj може відповідати будь-якому переданому аi, статистичний зв’язок відсутній.

В цьому випадку p(bj / ai ) p(bj ); p(ai / bj ) p(ai ) .

H ( A / B) p(bj ) p(ai / bj ) log p(ai / bj )

ij

p(bj ) p(ai ) log p(ai ) p(bj )H ( A) H ( A) ,

інформації, що містить В, відносно А дорівнює нулю: I (A, B) H (A) H (A / B) 0 . Інформаційні характеристики реальних каналів зв’язку лежать між цими двома

граничними випадками. При цьому втрати інформації при передачі k символів по даному каналу зв’язку I kH (A / B) .

Якщо рівень завад настільки високий, що з рівною імовірністю можна очікувати перехід будь-якого символу джерела у довільних символ алфавіту, то

ентропія каналу зв’язку log2 m , а кількість інформації I H (A) . log2 m 0 , при цьому

значенні I може бути від’ємною величиною, що означає, що канал зв’язку вносить дезінформацію.