ТИ - Практическая №2
.docПрактическое занятие №2
Задание №1. Определение энтропии.
Сообщение состоит из N символов. Имеется m1 типов символов (количество букв алфавита). Определить энтропию пакета сообщения: а) если вероятности появлений каждого символа одинаковы (данные варианта приведены в таблице 1) , б) если заданы вероятности появления каждого из символов (данные варианта приведены в таблице 2) .
Задание №2. Определение информационных потерь при передаче сообщений по каналам связи с шумами.
Определить среднее количество информации, содержащееся в принятом пакете сообщений относительно первичного алфавита, если сообщение составлено из алфавита . При этом вероятность появления символов алфавита на выходе источника (Приведены в таблице 3). Условные вероятности приёма символов алфавита выглядят следующим образом (приведены в таблице 3): (сумма вероятностей по строкам равна 1).
-
Определяем количество информации, при передаче пакета сообщений ;
-
Определить безусловные вероятности совместного появления символов алфавита и событий:
-
Заполняется вторая матрица безусловных вероятностей совместного появления символов алфавита. Сумма элементов в главной диагонали должна быть равна 1;
-
Вероятность появления каждого из символов входе приемника будет равна сумме элементов каждого из столбцов матрицы безусловных вероятностей совместного появления символов алфавита.
-
Определяем среднее количество информации в принятом пакете сообщений.
-
Определяем условную энтропию
-
Определяем энтропию сообщений на выходе канала связи .
-
Определяем энтропию объединения
-
Определяем потери информации в канале связи:
Таблица 1.
Варианты заданий для выполнения п. а) задачи №1
№ варианта |
Количество символов алфавита |
Количество символов в сообщении |
1 |
5 |
20 |
2 |
7 |
30 |
3 |
9 |
40 |
4 |
10 |
50 |
5 |
12 |
60 |
6 |
15 |
70 |
7 |
18 |
80 |
8 |
20 |
90 |
9 |
25 |
100 |
10 |
28 |
110 |
11 |
5 |
120 |
12 |
7 |
150 |
13 |
9 |
180 |
14 |
10 |
200 |
15 |
12 |
250 |
16 |
15 |
20 |
17 |
18 |
30 |
18 |
20 |
40 |
19 |
25 |
50 |
20 |
28 |
60 |
21 |
5 |
70 |
22 |
7 |
80 |
23 |
9 |
90 |
24 |
10 |
100 |
25 |
12 |
110 |
26 |
15 |
120 |
27 |
18 |
150 |
28 |
20 |
180 |
29 |
25 |
200 |
30 |
28 |
250 |
Таблица 2.
Варианты к выполнению п. б) задачи №1
№ варианта |
Количество сообщений в пакете |
Количество символов алфавита |
Вероятности появления символов алфавита |
|||||||
1 |
50 |
4 |
0,3 |
0,1 |
0,5 |
0,1 |
|
|
|
|
2 |
100 |
5 |
0,2 |
0,3 |
0,1 |
0,15 |
0,25 |
|
|
|
3 |
150 |
6 |
0,15 |
0,2 |
0,25 |
0,1 |
0,1 |
0,2 |
|
|
4 |
200 |
7 |
0,4 |
0,2 |
0,1 |
0,05 |
0,03 |
0,02 |
0,2 |
|
5 |
250 |
8 |
0,1 |
0,15 |
0,18 |
0,12 |
0,05 |
0,2 |
0,15 |
0,05 |
6 |
300 |
4 |
0,2 |
0,5 |
0,1 |
0,2 |
|
|
|
|
7 |
350 |
5 |
0,1 |
0,15 |
0,25 |
0,3 |
0,2 |
|
|
|
8 |
400 |
6 |
0,12 |
0,29 |
0,09 |
0,3 |
0,18 |
0,02 |
|
|
9 |
450 |
7 |
0,1 |
0,2 |
0,4 |
0,26 |
0,01 |
0,02 |
0,01 |
|
10 |
500 |
8 |
0,05 |
0,08 |
0,26 |
0,21 |
0,25 |
0,05 |
0,06 |
0,04 |
11 |
600 |
4 |
0,25 |
0,5 |
0,2 |
0,05 |
|
|
|
|
12 |
50 |
5 |
0,3 |
0,1 |
0,5 |
0,07 |
0,03 |
|
|
|
13 |
100 |
6 |
0,26 |
0,45 |
0,15 |
0,05 |
0,06 |
0,03 |
|
|
14 |
150 |
7 |
0,6 |
0,02 |
0,08 |
0,2 |
0,03 |
0,06 |
0,01 |
|
15 |
200 |
8 |
0,3 |
0,2 |
0,1 |
0,05 |
0,24 |
0,06 |
0,02 |
0,03 |
16 |
250 |
4 |
0,3 |
0,1 |
0,5 |
0,1 |
|
|
|
|
17 |
300 |
5 |
0,2 |
0,3 |
0,1 |
0,15 |
0,25 |
|
|
|
18 |
350 |
6 |
0,15 |
0,2 |
0,25 |
0,1 |
0,1 |
0,2 |
|
|
19 |
400 |
7 |
0,4 |
0,2 |
0,1 |
0,05 |
0,03 |
0,02 |
0,2 |
|
20 |
450 |
8 |
0,1 |
0,15 |
0,18 |
0,12 |
0,05 |
0,2 |
0,15 |
0,05 |
21 |
500 |
4 |
0,2 |
0,5 |
0,1 |
0,2 |
|
|
|
|
22 |
600 |
5 |
0,1 |
0,15 |
0,25 |
0,3 |
0,2 |
|
|
|
23 |
300 |
6 |
0,12 |
0,29 |
0,09 |
0,3 |
0,18 |
0,02 |
|
|
24 |
350 |
7 |
0,1 |
0,2 |
0,4 |
0,26 |
0,01 |
0,02 |
0,01 |
|
25 |
400 |
8 |
0,05 |
0,08 |
0,26 |
0,21 |
0,25 |
0,05 |
0,06 |
0,04 |
26 |
450 |
4 |
0,25 |
0,5 |
0,2 |
0,05 |
|
|
|
|
27 |
500 |
5 |
0,3 |
0,1 |
0,5 |
0,07 |
0,03 |
|
|
|
28 |
600 |
6 |
0,26 |
0,45 |
0,15 |
0,05 |
0,06 |
0,03 |
|
|
29 |
350 |
7 |
0,6 |
0,02 |
0,08 |
0,2 |
0,03 |
0,06 |
0,01 |
|
30 |
400 |
8 |
0,3 |
0,2 |
0,1 |
0,05 |
0,24 |
0,06 |
0,02 |
0,03 |
Таблица 3.
Варианты к выполнению задачи №2
№ варианта |
Количество символов алфавита |
Вероятности появления символов |
Условные вероятности принятия символов |
||||||
1 |
3 |
0,2 |
0,95 |
0,02 |
0,03 |
|
|||
0,4 |
0,01 |
0,97 |
0,02 |
||||||
0,4 |
0,007 |
0,003 |
0,99 |
||||||
2 |
4 |
0,23 |
0,97 |
0,01 |
0,015 |
0,005 |
|
||
0,45 |
0,01 |
0,96 |
0,02 |
0,01 |
|||||
0,12 |
0,05 |
0,05 |
0,89 |
0,01 |
|||||
0,2 |
0,04 |
0,03 |
0,03 |
0,9 |
|||||
3 |
5 |
0,2 |
0,95 |
0,02 |
0,01 |
0,005 |
0,015 |
|
|
0,3 |
0,01 |
0,93 |
0,02 |
0,03 |
0,01 |
||||
0,1 |
0,01 |
0,005 |
0,97 |
0,012 |
0,003 |
||||
0,25 |
0,01 |
0,02 |
0,01 |
0,94 |
0,02 |
||||
0,05 |
0,05 |
0,03 |
0,02 |
0,05 |
0,85 |
||||
4 |
6 |
0,36 |
0,89 |
0,01 |
0,02 |
0,03 |
0,035 |
0,015 |
|
0,26 |
0,05 |
0,85 |
0,05 |
0,02 |
0,026 |
0,004 |
|||
0,18 |
0,01 |
0,005 |
0,96 |
0,005 |
0,015 |
0,005 |
|||
0,12 |
0,01 |
0,02 |
0,01 |
0,95 |
0,007 |
0,003 |
|||
0,05 |
0,01 |
0,02 |
0,026 |
0,0004 |
0,94 |
0,0036 |
|||
0,03 |
0,02 |
0,03 |
0,03 |
0,006 |
0,004 |
0,91 |
|||
5 |
7 |
0,21 |
0,9 |
0,03 |
0,03 |
0,01 |
0,015 |
0,005 |
0,01 |
0,31 |
0,03 |
0,95 |
0,005 |
0,005 |
0,003 |
0,004 |
0,003 |
||
0,25 |
0,02 |
0,01 |
0,93 |
0,01 |
0,02 |
0,005 |
0,005 |
||
0,07 |
0,03 |
0,01 |
0,01 |
0,92 |
0,002 |
0,008 |
0,02 |
||
0,04 |
0,03 |
0,01 |
0,03 |
0,015 |
0,91 |
0,002 |
0,003 |
||
0,08 |
0,01 |
0,005 |
0,002 |
0,004 |
0,006 |
0,97 |
0,003 |
||
0,04 |
0,01 |
0,005 |
0,001 |
0,002 |
0,001 |
0,001 |
0,98 |
||
6 |
3 |
0,3 |
0,95 |
0,02 |
0,03 |
|
|||
0,5 |
0,01 |
0,97 |
0,02 |
||||||
0,2 |
0,007 |
0,003 |
0,99 |
||||||
7 |
4 |
0,5 |
0,97 |
0,01 |
0,015 |
0,005 |
|
||
0,1 |
0,01 |
0,96 |
0,02 |
0,01 |
|||||
0,2 |
0,05 |
0,05 |
0,89 |
0,01 |
|||||
0,2 |
0,04 |
0,03 |
0,03 |
0,9 |
|||||
8 |
5 |
0,3 |
0,95 |
0,02 |
0,01 |
0,005 |
0,015 |
|
|
0,4 |
0,01 |
0,93 |
0,02 |
0,03 |
0,01 |
||||
0,1 |
0,01 |
0,005 |
0,97 |
0,012 |
0,003 |
||||
0,15 |
0,01 |
0,02 |
0,01 |
0,94 |
0,02 |
||||
0,05 |
0,05 |
0,03 |
0,02 |
0,05 |
0,85 |
||||
9 |
6 |
0,18 |
0,89 |
0,01 |
0,02 |
0,03 |
0,035 |
0,015 |
|
0,26 |
0,05 |
0,85 |
0,05 |
0,02 |
0,026 |
0,004 |
|||
0,35 |
0,01 |
0,005 |
0,96 |
0,005 |
0,015 |
0,005 |
|||
0,07 |
0,01 |
0,02 |
0,01 |
0,95 |
0,007 |
0,003 |
|||
0,04 |
0,01 |
0,02 |
0,026 |
0,0004 |
0,94 |
0,0036 |
|||
0,1 |
0,02 |
0,03 |
0,03 |
0,006 |
0,004 |
0,91 |