1. Ентропія дискретних повідомлень. Дати визначання. Пояснити різницю між «ентропія джерела» та «часткова ентропія».
Дискретним називаються повідомлення, що складаються з окремих елементів (символів, букв, імпульсів), що приймають кінцеве число різних значень.
Ентропія - це кількість інформації, що припадає на один символ повідомлення. Ентропія характеризує джерело повідомлень із заданим алфавітом і є мірою невизначеності, яка є в ансамблі повідомлень цього джерела. Чим більше ентропія, тим більше інформації несе в собі повідомлення джерела, тим більша невизначеність знімається при отриманні повідомлення. Ентропія дискретного джерела інформації визначається виразом:
|
I |
m |
m |
1 |
|
H |
pi log pi |
pi log |
|||
n |
pi |
||||
|
i 1 |
i 1 |
де pi - ймовірність появи і-го символу.
Ця величина також називається середньої ентропією повідомлення.
Величина log |
1 |
називається частковою ентропією, і характеризує тільки і-й |
|
pi |
|||
|
|
||
стан. |
|
|
11. Кількість інформації як міра різноманітності станів джерела повідомлень. Пояснити тезу.
Існують різні підходи до виміру інформації. Один із них – структурний, використовує міри різноманітності станів джерела повідомлень.
В багатьох випадках дискретне повідомлення можна розглядати як слово,
що складається із деякої кількості елементів |
, заданих алфавітом, що складається |
із елементів-букв. |
|
Якщо повідомлення складається із |
елементів, то число можливих різних |
повідомлень L (станів джерела) визначиться: |
. |
Чим більше , тим більша кількість можливих різноманітних станів і тим
сильніше може відрізнятися кожне повідомлення від решти. |
|
Використавши міру Хартлі, отримаємо: |
. |
Із збільшенням станів джерела (числа елементів повідомлення та алфавіту) пропорціонально зростає кількість інформації .
Тобто, використовуючи міру Хартлі можна побачити, що кількість інформації визначається різноманітністю станів джерела. Чим більше алфавіт джерела і чим більша кількість елементів, тим більша кількість інформації.
25. Визначити залежність пропускної здатності каналу зв'язку за наявності завад для випадків малого та великого співвідношень сигнал-завада.
Пропускна здатність тим більша, чим ширша полоса пропускання частот каналу і більше відношення сигнал/шум на вході приймача каналу зв’язку. Зв’язок швидкості передачі і відношення сигнал/шум знаходиться по т. Шенона:
ширина каналу у Гц.
Якщо відношення сигнал/шум дорівнює 1, то пропускна здатність каналу дорівнює , а якщо 3, то 2 ,тобто подвоюється. Таким чином, при збільшенні відношення сигнал/шум збільшується пропускна здатність каналу зв’зку.