1. Охарактеризувати властивості ентропії двійкових повідомлень
Ентропія – величина матеріальна та додатна. Для будь-якої кількості символів ентропія досягає максимуму за умови однакової ймовірності появи цих символів у повідомленні.
Ентропія бінарних (двійкових) повідомлень може змінюватися від нуля до одиниці (двійковий алфавіт, отже m=2).
|
|
2 |
|
|
|
|
|
|
|
|
H |
|
P log P P log P P log P |
|
|
||||
|
|
i |
i |
1 |
1 2 |
2 |
|
|
|
|
|
i 1 |
|
|
|
|
|
|
|
|
|
|
|
m |
|
|
1 |
|
|
|
|
|
i |
|
|
P , |
|
||
|
Використовуючи умову |
|
P 1 |
та |
позначивши |
P |
отримаємо |
||
|
|
|
|
i 1 |
|
|
|
|
|
P 1 P 1 P , а ентропія визначиться виразом: |
|
|
|
||||||
2 |
1 |
|
|
|
|
|
|
|
|
|
H Plog P (1 P)log(1 P) |
|
|
|
|||||
|
Ентропія досягає максимуму, котрий дорівнює одиниці, при P P 0.5 . |
||||||||
|
|
|
|
|
|
|
|
1 |
2 |
Рис – Графік функції H Plog P (1 P)log(1 P)
30. Визначити та охарактеризувати оцінки ефективності та достовірності методів кодування, застосованих у ТК системах
Оптимальне кодування. Достовірність передачі даних відображає ступінь відповідності прийнятого повідомлення переданому. Оцінкою достовірності служить коефіцієнт помилок. Оцінимо ефективність методу Шеннона - Фано, визначивши ентропію отриманого коду. Для цього визначимо ймовірності появи символів коду
|
( |
) |
∑ |
( |
) |
|
|
|
|
|
|
|
|
|
|
||
|
∑ |
( |
) |
|
|
|
||
|
|
|
|
|
|
|||
де |
— число символів zjв кодовій комбінації, відповідає літері xi, |
— |
||||||
загальна кількість символів в комбінації. |
|
∑ ( ) |
( ( )) |
|
||||
(Наприклад, в коді Шеннона - Фано використовуються символи 1 або 0, з цього H |
||||||||
= —p(0)log(p(0)) — p(1)log(p(1)) |
|
|
|
|
|
|
|
|
|
Завадостійке кодування. |
Оцінимо |
достовірність |
обнаруживающего |
||||
коду. Для передачі інформації використовуються не всі можливі комбінації в кількості N =mn, а лише деяка їх частинаN0. При тому N0<N. Комбінації, використовуються для передачі інформації, називаються дозволеними, решта N
— Na комбінацій є забороненими, їх поява на виході каналу розглядається як наявність помилки. Таким чином, всі помилки, що призводять до переходу дозволених комбінацій у заборонені, можуть бути виявлені. У загальному випадку в результаті помилок дозволена комбінація може перейти в будь-яку з можливих у даному коді, тобто загальне число можливих помилок визначиться добутком NN0. З цього числа помилок буде виявлено
N0(N —N0). Відношення числа виявлених помилок до загального числа
можливих помилок називають коефіцієнтом виявлення коду:
( )
Ефективність використання того чи іншого коду визначається знанням характеру помилок у використовуваному каналі передачі. Застосування коригувальних кодів не гарантує безпомилковість прийому переданої інформації, підвищуючи лише вірогідність отримання достовірної інформації. Головне - це щоб характеристики реального каналу відповідали моделі побудові коду, тоді зростає ефективність його використання.
17. «Дробовий шум» , пояснити сутність поняття.
Дробовий шум виникає в результаті випадкових змін кількості носіїв, які утворюють електричний струм. Так, за постійного середнього значення струму, що протікає через електровакуумний прилад у відсутності сигналу, число електронів, які досягають анода в рівні проміжки часу, не залишається постійним. Так само у транзисторах середня кількість дірок, що проникають до бази з емітера, не є постійною, а змінюється випадковим чином.
Для кількісної оцінки шумів зазвичай вимірюють квадрати шумових напруг або струмів. Ця величина характеризує потужність шуму, якщо допустити, що опір навантаження 1 Ом.
Для дробового шуму середній квадрат шумового струму в смузі частот f
_
визначається: i2 2I0e f Г 2 , е – заряд електрона, І0 – струм через напівпровідник, Г2 – коефіцієнт згладжування для врахування додаткових шумів.