Практичне заняття № 1
Інформаційні характеристики джерел повідомлень
Усачов Ілля Олександрович КУІБ-20-2
Варіант 21
Задача 1.
Джерело повідомлень видає символи з
ансамблю 
.
знаків з
ймовірностями p(x1) = 0.2;
p(x2) = 0.2; p(x3) = 0.3;
p(x4) = 0.3. (Сума всіх
p(xi) = 1, як повної групи несумісних подій).
Знайти кількість інформації, що міститься
в кожному з символів джерела при їх
незалежному виборі (джерело без пам'яті).
Обчислити ентропію і надмірність
джерела.
Рішення:
Кількість інформації, що міститься в кожному з символів джерела:
,
[біт].
[біт],
[біт],
[біт],
[біт].
Ентропія джерела
Надмірність джерела
.
Для визначення надмірності
визначимо 
.
- кільість символів.
4
= 2
.
.
Задача 2.
Пам'ять двійкового стаціонарного дискретного джерела з символами «0» і «1» тягнеться лише на 2 сусідніх символів і отже дискретна послідовність символів, які видаються джерелом, описується простим ланцюгом Маркова з матрицею перехідних ймовірностей
,
де 
- ймовірність символу 
за умови, що йому
передував символ
.
Вважаючи, що 
,
знайти умовну ентропію джерела і його
надмірність.
Знайти ентропію і надмірність двійкового джерела без пам'яті, але з тими ж значеннями ймовірностей передачі символів.
Рішення
Перш за все знайдемо безумовні ймовірності передачі символів зі співвідношення
Тоді
.
Ентропія джерела
Надмірність джерела
=1.
.
Для джерела без пам'яті при тих же безумовних ймовірностях передачі символів
=1-1=0.
Задача 3
Передається текст «АВРАМЕНКО АРТЕМ ОЛЕКСАНДРОВИЧ».
Вважати, що джерело повідомлення містить тільки ці символи враховуючи пробіл. Обчислити ентропію і надмірність джерела.
Рішення
Всього в тексті 29 символів
.
В алфавіті даного джерела 15 символів
,
а саме
А, В, Д, Е, И, К, Л, М, Н, О, Р, С, Т, Ч, «пробіл».
Розраховуємо ймовірності появи символів як відношення кількості появи даного символу до кількості символів в тексті.
Для розрахунку я скористався програмою «InfReporter» яку ми вивчали на лабораторній роботу. Результакт зображений на рискунку 1:
Рисунок 1 – Результат розрахунку.
Ентропія такого джерела
+
0,034
+
0,034+
0,034+
0,034+
0,034
Максимальна ентропія
= 15 = 3,9.
Надмірність джерела
3,745/3,9=
0,039.