ТИ - Практическая №2

Практическое занятие №2

Задание №1. Определение энтропии.

Сообщение состоит из N символов. Имеется m₁ типов символов (количество букв алфавита). Определить энтропию пакета сообщения: а) если вероятности появлений каждого символа одинаковы (данные варианта приведены в таблице 1) , б) если заданы вероятности появления каждого из символов (данные варианта приведены в таблице 2) .

Задание №2. Определение информационных потерь при передаче сообщений по каналам связи с шумами.

Определить среднее количество информации, содержащееся в принятом пакете сообщений относительно первичного алфавита, если сообщение составлено из алфавита . При этом вероятность появления символов алфавита на выходе источника (Приведены в таблице 3). Условные вероятности приёма символов алфавита выглядят следующим образом (приведены в таблице 3): (сумма вероятностей по строкам равна 1).

1. Определяем количество информации, при передаче пакета сообщений ;

2. Определить безусловные вероятности совместного появления символов алфавита и событий:

3. Заполняется вторая матрица безусловных вероятностей совместного появления символов алфавита. Сумма элементов в главной диагонали должна быть равна 1;

4. Вероятность появления каждого из символов входе приемника будет равна сумме элементов каждого из столбцов матрицы безусловных вероятностей совместного появления символов алфавита.

5. Определяем среднее количество информации в принятом пакете сообщений.

6. Определяем условную энтропию

7. Определяем энтропию сообщений на выходе канала связи .

8. Определяем энтропию объединения

9. Определяем потери информации в канале связи:

Таблица 1.

Варианты заданий для выполнения п. а) задачи №1

№ варианта	Количество символов алфавита	Количество символов в сообщении
1	5	20
2	7	30
3	9	40
4	10	50
5	12	60
6	15	70
7	18	80
8	20	90
9	25	100
10	28	110
11	5	120
12	7	150
13	9	180
14	10	200
15	12	250
16	15	20
17	18	30
18	20	40
19	25	50
20	28	60
21	5	70
22	7	80
23	9	90
24	10	100
25	12	110
26	15	120
27	18	150
28	20	180
29	25	200
30	28	250

Таблица 2.

Варианты к выполнению п. б) задачи №1

№ варианта	Количество сообщений в пакете	Количество символов алфавита	Вероятности появления символов алфавита
1	50	4	0,3	0,1	0,5	0,1
2	100	5	0,2	0,3	0,1	0,15	0,25
3	150	6	0,15	0,2	0,25	0,1	0,1	0,2
4	200	7	0,4	0,2	0,1	0,05	0,03	0,02	0,2
5	250	8	0,1	0,15	0,18	0,12	0,05	0,2	0,15	0,05
6	300	4	0,2	0,5	0,1	0,2
7	350	5	0,1	0,15	0,25	0,3	0,2
8	400	6	0,12	0,29	0,09	0,3	0,18	0,02
9	450	7	0,1	0,2	0,4	0,26	0,01	0,02	0,01
10	500	8	0,05	0,08	0,26	0,21	0,25	0,05	0,06	0,04
11	600	4	0,25	0,5	0,2	0,05
12	50	5	0,3	0,1	0,5	0,07	0,03
13	100	6	0,26	0,45	0,15	0,05	0,06	0,03
14	150	7	0,6	0,02	0,08	0,2	0,03	0,06	0,01
15	200	8	0,3	0,2	0,1	0,05	0,24	0,06	0,02	0,03
16	250	4	0,3	0,1	0,5	0,1
17	300	5	0,2	0,3	0,1	0,15	0,25
18	350	6	0,15	0,2	0,25	0,1	0,1	0,2
19	400	7	0,4	0,2	0,1	0,05	0,03	0,02	0,2
20	450	8	0,1	0,15	0,18	0,12	0,05	0,2	0,15	0,05
21	500	4	0,2	0,5	0,1	0,2
22	600	5	0,1	0,15	0,25	0,3	0,2
23	300	6	0,12	0,29	0,09	0,3	0,18	0,02
24	350	7	0,1	0,2	0,4	0,26	0,01	0,02	0,01
25	400	8	0,05	0,08	0,26	0,21	0,25	0,05	0,06	0,04
26	450	4	0,25	0,5	0,2	0,05
27	500	5	0,3	0,1	0,5	0,07	0,03
28	600	6	0,26	0,45	0,15	0,05	0,06	0,03
29	350	7	0,6	0,02	0,08	0,2	0,03	0,06	0,01
30	400	8	0,3	0,2	0,1	0,05	0,24	0,06	0,02	0,03

Таблица 3.

Варианты к выполнению задачи №2

№ варианта	Количество символов алфавита	Вероятности появления символов	Условные вероятности принятия символов
1	3	0,2	0,95	0,02	0,03
		0,4	0,01	0,97	0,02
		0,4	0,007	0,003	0,99
2	4	0,23	0,97	0,01	0,015	0,005
		0,45	0,01	0,96	0,02	0,01
		0,12	0,05	0,05	0,89	0,01
		0,2	0,04	0,03	0,03	0,9
3	5	0,2	0,95	0,02	0,01	0,005	0,015
		0,3	0,01	0,93	0,02	0,03	0,01
		0,1	0,01	0,005	0,97	0,012	0,003
		0,25	0,01	0,02	0,01	0,94	0,02
		0,05	0,05	0,03	0,02	0,05	0,85
4	6	0,36	0,89	0,01	0,02	0,03	0,035	0,015
		0,26	0,05	0,85	0,05	0,02	0,026	0,004
		0,18	0,01	0,005	0,96	0,005	0,015	0,005
		0,12	0,01	0,02	0,01	0,95	0,007	0,003
		0,05	0,01	0,02	0,026	0,0004	0,94	0,0036
		0,03	0,02	0,03	0,03	0,006	0,004	0,91
5	7	0,21	0,9	0,03	0,03	0,01	0,015	0,005	0,01
		0,31	0,03	0,95	0,005	0,005	0,003	0,004	0,003
		0,25	0,02	0,01	0,93	0,01	0,02	0,005	0,005
		0,07	0,03	0,01	0,01	0,92	0,002	0,008	0,02
		0,04	0,03	0,01	0,03	0,015	0,91	0,002	0,003
		0,08	0,01	0,005	0,002	0,004	0,006	0,97	0,003
		0,04	0,01	0,005	0,001	0,002	0,001	0,001	0,98
6	3	0,3	0,95	0,02	0,03
		0,5	0,01	0,97	0,02
		0,2	0,007	0,003	0,99
7	4	0,5	0,97	0,01	0,015	0,005
		0,1	0,01	0,96	0,02	0,01
		0,2	0,05	0,05	0,89	0,01
		0,2	0,04	0,03	0,03	0,9
8	5	0,3	0,95	0,02	0,01	0,005	0,015
		0,4	0,01	0,93	0,02	0,03	0,01
		0,1	0,01	0,005	0,97	0,012	0,003
		0,15	0,01	0,02	0,01	0,94	0,02
		0,05	0,05	0,03	0,02	0,05	0,85
9	6	0,18	0,89	0,01	0,02	0,03	0,035	0,015
		0,26	0,05	0,85	0,05	0,02	0,026	0,004
		0,35	0,01	0,005	0,96	0,005	0,015	0,005
		0,07	0,01	0,02	0,01	0,95	0,007	0,003
		0,04	0,01	0,02	0,026	0,0004	0,94	0,0036
		0,1	0,02	0,03	0,03	0,006	0,004	0,91