Министерство цифрового развития и массовых коммуникаций
Российской Федерации
Ордена Трудового Красного Знамени федеральное государственное
бюджетное образовательное учреждение
высшего образования
«Московский технический университет связи и информатики»
(МТУСИ)
Кафедра Сетевых информационных технологий и сервисов (СИТиС)
Дисциплина «Мультимедийные информационные системы»
Отчет по практической работе №5
Выполнил:
студент группы БСТ2104
Вариант №17
Проверил:
к.т.н., доц. Гадасин Д. В.
Москва, 2024 г.
Задание
Выполнить кодирование методом Шеннона-Фано. Найти энтропию, К-среднее, среднее количество информации на один символ, общее количество информации в сообщении для следующих случаев:
Символы упорядочены по убыванию частоты появления. Если равенство частот, то символы сортируются по алфавиту;
Обратное упорядочивание символов появления. Если равенство частот, то символы сортируются по алфавиту;
Символы упорядочены в алфавитном порядке, с пробелом в начале;
Обратный алфавитный порядок, с пробелом в конце.
Символы располагаются так, что самый левый элемент параболы соответствует символу с наивысшей вероятностью. По мере перемещения к правой части параболы вероятность символов снижается, и в центре располагаются символы с минимальной вероятностью;
Символы организованы таким образом, что самый левый элемент соответствует символу с наименьшей вероятностью, а самый правый — символу с второй по величине вероятностью. Ближе к центру параболы находятся символы с более высокими вероятностями.
Сделать вывод о том, в каком случае стоимость дерева будет минимальной.
Таблица 1 – Вариант задания
Номера варианта |
Строка |
|
Начальная |
Конечная |
|
17 |
17 |
24 |
Итоговый текст:
ГЕОМЕТРИЧЕСКОЙ ИНТЕРПРЕТАЦИИ ТЕОРИИ ОТНОСИТЕЛЬНОСТИ КАЖДОЕ СОБЫТИЕ ХАРАКТЕРИЗУЕТСЯ ПОЛОЖЕНИЕМ КООРДИНАТАМИ И ВРЕМЕНЕМ ПОЭТОМУ МНОЖЕСТВО ВСЕВОЗМОЖНЫХ СОБЫТИЙ ОКАЗЫВАЕТСЯ ЧЕТЫРЁХМЕРНЫМ ПРОСТРАНСТВОМ ГДЕ ТОЧКА СОБЫТИЕ ОПРЕДЕЛЯЕТСЯ ЧЕТЫРЬМЯ КООРДИНАТАМИ ПРОСТРАНСТВО СВЯЗАНО СО ВРЕМЕНЕМ ЧЕРЕЗ СОБЫТИЕ А ИСХОДЯ ИЗ ТОГО ЧТО ПРОСТРАНСТВО И ВРЕМЯ ВСЕОБЩИЕ ФОРМЫ СУЩЕСТВОВАНИЯ МАТЕРИИ И ПРОСТРАНСТВО И
Содержание
1. Ход выполнение задания 4
2. Вывод 17
Ход выполнение задания
Таблица 2 – Кодирование каждого символа для первого случая
Символ |
Кол-во |
Вероятность |
Кодирование символа |
Код |
|||||||||||||||
“ ” |
44 |
0,1122449 |
0 |
0 |
0 |
000 |
|||||||||||||
О |
43 |
0,1096939 |
1 |
001 |
|||||||||||||||
Е |
38 |
0,0969388 |
1 |
0 |
010 |
||||||||||||||
Т |
34 |
0,0867347 |
1 |
0 |
0110 |
||||||||||||||
И |
28 |
0,0714286 |
1 |
0111 |
|||||||||||||||
Р |
26 |
0,0663265 |
1 |
0 |
0 |
100 |
|||||||||||||
С |
26 |
0,0663265 |
1 |
0 |
1010 |
||||||||||||||
А |
19 |
0,0484694 |
1 |
0 |
10110 |
||||||||||||||
М |
18 |
0,0459184 |
1 |
10111 |
|||||||||||||||
Н |
17 |
0,0433673 |
1 |
0 |
0 |
1100 |
|||||||||||||
В |
15 |
0,0382653 |
1 |
0 |
11010 |
||||||||||||||
Ы |
10 |
0,0255102 |
1 |
0 |
110110 |
||||||||||||||
Я |
9 |
0,0229592 |
1 |
110111 |
|||||||||||||||
П |
8 |
0,0204082 |
1 |
0 |
0 |
11100 |
|||||||||||||
К |
7 |
0,0178571 |
1 |
0 |
111010 |
||||||||||||||
Д |
6 |
0,0153061 |
1 |
0 |
1110110 |
||||||||||||||
З |
6 |
0,0153061 |
1 |
1110111 |
|||||||||||||||
Ч |
6 |
0,0153061 |
1 |
0 |
0 |
111100 |
|||||||||||||
Б |
5 |
0,0127551 |
1 |
0 |
1111010 |
||||||||||||||
Ж |
4 |
0,0102041 |
1 |
1111011 |
|||||||||||||||
Х |
4 |
0,0102041 |
1 |
0 |
0 |
1111100 |
|||||||||||||
Г |
3 |
0,0076531 |
1 |
0 |
11111010 |
||||||||||||||
Л |
3 |
0,0076531 |
1 |
11111011 |
|||||||||||||||
У |
3 |
0,0076531 |
1 |
0 |
0 |
11111100 |
|||||||||||||
Й |
2 |
0,005102 |
1 |
11111101 |
|||||||||||||||
Щ |
2 |
0,005102 |
1 |
0 |
11111110 |
||||||||||||||
Ь |
2 |
0,005102 |
1 |
0 |
111111110 |
||||||||||||||
Ё |
1 |
0,002551 |
1 |
0 |
1111111110 |
||||||||||||||
Ф |
1 |
0,002551 |
1 |
0 |
11111111110 |
||||||||||||||
Ц |
1 |
0,002551 |
1 |
0 |
111111111110 |
||||||||||||||
Э |
1 |
0,002551 |
1 |
111111111111 |
|||||||||||||||
Рисунок 2 – Расчеты для первого случая
Для изначального случая получилось:
Энтропия
= 4,25595632530529;К-среднее
= 4,35459183673469;Количество информации в битах, приходящаяся на 1 элементарный символ,
= 0,977349079976376;Количество информации в битах в сообщении,
= 1668,33487951967.
Таблица 3 – Кодирование каждого символа для второго случая
Символ |
Кол-во |
Вероятность |
Кодирование |
Код |
||||||||
Э |
1 |
0,002551 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0000000 |
||
Ц |
1 |
0,002551 |
1 |
0000001 |
||||||||
Ф |
1 |
0,002551 |
1 |
0 |
0000010 |
|||||||
Ё |
1 |
0,002551 |
1 |
0 |
00000110 |
|||||||
Ь |
2 |
0,005102 |
1 |
00000111 |
||||||||
Щ |
2 |
0,005102 |
1 |
0 |
0 |
0000100 |
||||||
Й |
2 |
0,005102 |
1 |
0000101 |
||||||||
У |
3 |
0,0076531 |
1 |
0 |
0000110 |
|||||||
Л |
3 |
0,0076531 |
1 |
0000111 |
||||||||
Г |
3 |
0,0076531 |
1 |
0 |
0 |
000100 |
||||||
Х |
4 |
0,0102041 |
1 |
000101 |
||||||||
Ж |
4 |
0,0102041 |
1 |
0 |
000110 |
|||||||
Б |
5 |
0,0127551 |
1 |
0 |
0001110 |
|||||||
Ч |
6 |
0,0153061 |
1 |
0001111 |
||||||||
З |
6 |
0,0153061 |
1 |
0 |
0 |
00100 |
||||||
Д |
6 |
0,0153061 |
1 |
0 |
001010 |
|||||||
К |
7 |
0,0178571 |
1 |
001011 |
||||||||
П |
8 |
0,0204082 |
1 |
0 |
00110 |
|||||||
Я |
9 |
0,0229592 |
1 |
0 |
001110 |
|||||||
Ы |
10 |
0,0255102 |
1 |
001111 |
||||||||
В |
15 |
0,0382653 |
1 |
0 |
0 |
0100 |
||||||
Н |
17 |
0,0433673 |
1 |
0101 |
||||||||
М |
18 |
0,0459184 |
1 |
0 |
0110 |
|||||||
А |
19 |
0,0484694 |
1 |
0 |
01110 |
|||||||
С |
26 |
0,0663265 |
1 |
01111 |
||||||||
Р |
26 |
0,0663265 |
1 |
0 |
0 |
100 |
||||||
И |
28 |
0,0714286 |
1 |
0 |
1010 |
|||||||
Т |
34 |
0,0867347 |
1 |
1011 |
||||||||
Е |
38 |
0,0969388 |
1 |
0 |
110 |
|||||||
О |
43 |
0,1096939 |
1 |
0 |
1110 |
|||||||
“ ” |
44 |
0,1122449 |
1 |
1111 |
||||||||
Рисунок 2 – Расчеты для второго случая
Для обратного порядка получилось:
Энтропия = 4,25595632530529;
К-среднее = 4,42091836734694;
Количество информации в битах, приходящаяся на 1 элементарный символ, = 0,962686023958265;
Количество информации в битах в сообщении, = 1668,33487951967.
Таблица 4 – Кодирование каждого символа для третьего случая
Символ |
Кол-во |
Вероятность |
Кодирование |
Код |
|||||||||
“ ” |
44 |
0,112244898 |
0 |
0 |
0 |
000 |
|||||||
А |
19 |
0,048469388 |
1 |
0 |
0010 |
||||||||
Б |
5 |
0,012755102 |
1 |
0 |
00110 |
||||||||
В |
15 |
0,038265306 |
1 |
0 |
001110 |
||||||||
Г |
3 |
0,007653061 |
1 |
001111 |
|||||||||
Д |
6 |
0,015306122 |
1 |
0 |
0 |
0100 |
|||||||
Е |
38 |
0,096938776 |
1 |
0 |
01010 |
||||||||
Ё |
1 |
0,00255102 |
1 |
01011 |
|||||||||
Ж |
4 |
0,010204082 |
1 |
0 |
0 |
01100 |
|||||||
З |
6 |
0,015306122 |
1 |
01101 |
|||||||||
И |
28 |
0,071428571 |
1 |
0 |
01110 |
||||||||
Й |
2 |
0,005102041 |
1 |
0 |
011110 |
||||||||
К |
7 |
0,017857143 |
1 |
0 |
0111110 |
||||||||
Л |
3 |
0,007653061 |
1 |
0111111 |
|||||||||
М |
18 |
0,045918367 |
1 |
0 |
0 |
0 |
1000 |
||||||
Н |
17 |
0,043367347 |
1 |
1001 |
|||||||||
О |
43 |
0,109693878 |
1 |
0 |
1010 |
||||||||
П |
8 |
0,020408163 |
1 |
1011 |
|||||||||
Р |
26 |
0,066326531 |
1 |
0 |
0 |
1100 |
|||||||
С |
26 |
0,066326531 |
1 |
1101 |
|||||||||
Т |
34 |
0,086734694 |
1 |
0 |
1110 |
||||||||
У |
3 |
0,007653061 |
1 |
0 |
0 |
0 |
1111000 |
||||||
Ф |
1 |
0,00255102 |
1 |
1111001 |
|||||||||
Х |
4 |
0,010204082 |
1 |
0 |
0 |
11110100 |
|||||||
Ц |
1 |
0,00255102 |
1 |
11110101 |
|||||||||
Ч |
6 |
0,015306122 |
1 |
0 |
11110110 |
||||||||
Щ |
2 |
0,005102041 |
1 |
11110111 |
|||||||||
Ы |
10 |
0,025510204 |
1 |
0 |
111110 |
||||||||
Ь |
2 |
0,005102041 |
1 |
0 |
0 |
11111100 |
|||||||
Э |
1 |
0,00255102 |
1 |
11111101 |
|||||||||
Я |
9 |
0,022959184 |
1 |
1111111 |
|||||||||
Рисунок 3 – Расчеты для третьего случая
Для алфавитного порядка получилось:
Энтропия = 4,25595632530529;
К-среднее = 4,58928571428571;
Количество информации в битах, приходящаяся на 1 элементарный символ, = 0,92736791524162;
Количество информации в битах в сообщении, = 1668,33487951967.
Таблица 5 – Кодирование каждого символа для четвертого случая
Символ |
Кол-во |
Вероятность |
Кодирование |
Код |
||||||||||
Я |
9 |
0,022959184 |
0 |
0 |
0 |
0 |
0 |
00000 |
||||||
Э |
1 |
0,00255102 |
1 |
0 |
000010 |
|||||||||
Ь |
2 |
0,005102041 |
1 |
000011 |
||||||||||
Ы |
10 |
0,025510204 |
1 |
0 |
00010 |
|||||||||
Щ |
2 |
0,005102041 |
1 |
0 |
000110 |
|||||||||
Ч |
6 |
0,015306122 |
1 |
0 |
0001110 |
|||||||||
Ц |
1 |
0,00255102 |
1 |
0 |
00011110 |
|||||||||
Х |
4 |
0,010204082 |
1 |
00011111 |
||||||||||
Ф |
1 |
0,00255102 |
1 |
0 |
0 |
00100 |
||||||||
У |
3 |
0,007653061 |
1 |
00101 |
||||||||||
Т |
34 |
0,086734694 |
1 |
0011 |
||||||||||
С |
26 |
0,066326531 |
1 |
0 |
0 |
0100 |
||||||||
Р |
26 |
0,066326531 |
1 |
0101 |
||||||||||
П |
8 |
0,020408163 |
1 |
0 |
0110 |
|||||||||
О |
43 |
0,109693878 |
1 |
0 |
01110 |
|||||||||
Н |
17 |
0,043367347 |
1 |
01111 |
||||||||||
М |
18 |
0,045918367 |
1 |
0 |
0 |
0 |
1000 |
|||||||
Л |
3 |
0,007653061 |
1 |
0 |
10010 |
|||||||||
К |
7 |
0,017857143 |
1 |
0 |
100110 |
|||||||||
Й |
2 |
0,005102041 |
1 |
100111 |
||||||||||
И |
28 |
0,071428571 |
1 |
0 |
1010 |
|||||||||
З |
6 |
0,015306122 |
1 |
0 |
10110 |
|||||||||
Ж |
4 |
0,010204082 |
1 |
0 |
101110 |
|||||||||
Ё |
1 |
0,00255102 |
1 |
101111 |
||||||||||
Е |
38 |
0,096938776 |
1 |
0 |
0 |
1100 |
||||||||
Д |
6 |
0,015306122 |
1 |
0 |
0 |
110100 |
||||||||
Г |
3 |
0,007653061 |
1 |
110101 |
||||||||||
В |
15 |
0,038265306 |
1 |
11011 |
||||||||||
Б |
5 |
0,012755102 |
1 |
0 |
0 |
11100 |
||||||||
А |
19 |
0,048469388 |
1 |
11101 |
||||||||||
“ ” |
44 |
0,112244898 |
1 |
1111 |
||||||||||
Рисунок 4 – Расчеты для четвертого случая
Для обратного алфавитного порядка получилось:
Энтропия = 4,25595632530529;
К-среднее = 4,57397959183674;
Количество информации в битах, приходящаяся на 1 элементарный символ, = 0,93047120999424;
Количество информации в битах в сообщении, = 1668,33487951967.
Таблица 6 – Кодирование каждого символа для пятого случая
Символ |
Кол-во |
Вероятность |
Кодирование |
Код |
|||||||||||||
_ |
44 |
0,112244898 |
0 |
0 |
0 |
000 |
|||||||||||
Е |
38 |
0,096938776 |
1 |
001 |
|||||||||||||
И |
28 |
0,071428571 |
1 |
0 |
0 |
0100 |
|||||||||||
С |
26 |
0,066326531 |
1 |
0101 |
|||||||||||||
М |
18 |
0,045918367 |
1 |
0 |
0110 |
||||||||||||
В |
15 |
0,038265306 |
1 |
0 |
01110 |
||||||||||||
Я |
9 |
0,022959184 |
1 |
0 |
011110 |
||||||||||||
К |
7 |
0,017857143 |
1 |
0 |
0111110 |
||||||||||||
З |
6 |
0,015306122 |
1 |
0111111 |
|||||||||||||
Б |
5 |
0,012755102 |
1 |
0 |
0 |
0 |
0 |
0 |
100000 |
||||||||
Х |
4 |
0,010204082 |
1 |
100001 |
|||||||||||||
Л |
3 |
0,007653061 |
1 |
0 |
0 |
1000100 |
|||||||||||
Й |
2 |
0,005102041 |
1 |
1000101 |
|||||||||||||
Ь |
2 |
0,005102041 |
1 |
0 |
|
1000110 |
|||||||||||
Ф |
1 |
0,00255102 |
1 |
0 |
10001110 |
||||||||||||
Э |
1 |
0,00255102 |
1 |
0 |
100011110 |
||||||||||||
Ц |
1 |
0,00255102 |
1 |
0 |
1000111110 |
||||||||||||
Ё |
1 |
0,00255102 |
1 |
1000111111 |
|||||||||||||
Щ |
2 |
0,005102041 |
1 |
0 |
0 |
100100 |
|||||||||||
У |
3 |
0,007653061 |
1 |
0 |
1001010 |
||||||||||||
Г |
3 |
0,007653061 |
1 |
1001011 |
|||||||||||||
Ж |
4 |
0,010204082 |
1 |
0 |
100110 |
||||||||||||
Ч |
6 |
0,015306122 |
1 |
0 |
1001110 |
||||||||||||
Д |
6 |
0,015306122 |
1 |
1001111 |
|||||||||||||
П |
8 |
0,020408163 |
1 |
0 |
0 |
10100 |
|||||||||||
Ы |
10 |
0,025510204 |
1 |
10101 |
|||||||||||||
Н |
17 |
0,043367347 |
1 |
0 |
10110 |
||||||||||||
А |
19 |
0,048469388 |
1 |
10111 |
|||||||||||||
Р |
26 |
0,066326531 |
1 |
0 |
110 |
||||||||||||
Т |
34 |
0,086734694 |
1 |
0 |
1110 |
||||||||||||
О |
43 |
0,109693878 |
1 |
1111 |
|||||||||||||
Рисунок 5 – Расчеты для пятого случая
Для параболы получилось:
Энтропия = 4,25595632530529;
К-среднее = 4,36734693877551;
Количество информации в битах, приходящаяся на 1 элементарный символ, = 0,974494672616632;
Количество информации в битах в сообщении, = 1668,33487951967.
Таблица 7 – Кодирование каждого символа для шестого случая случая
Символ |
Кол-во |
Вероятн. |
Кодирование |
Код |
||||||||||||||
Э |
1 |
0,00255102 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0000000 |
||||||||
Ф |
1 |
0,00255102 |
1 |
0000001 |
||||||||||||||
Ь |
2 |
0,005102041 |
1 |
0 |
0000010 |
|||||||||||||
Й |
2 |
0,005102041 |
1 |
0000011 |
||||||||||||||
Л |
3 |
0,007653061 |
1 |
0 |
000010 |
|||||||||||||
Х |
4 |
0,010204082 |
1 |
000011 |
||||||||||||||
Б |
5 |
0,012755102 |
1 |
0 |
00010 |
|||||||||||||
З |
6 |
0,015306122 |
1 |
0 |
000110 |
|||||||||||||
К |
7 |
0,017857143 |
1 |
000111 |
||||||||||||||
Я |
9 |
0,022959184 |
1 |
0 |
0010 |
|||||||||||||
В |
15 |
0,038265306 |
1 |
0 |
00110 |
|||||||||||||
М |
18 |
0,045918367 |
1 |
00111 |
||||||||||||||
С |
26 |
0,066326531 |
1 |
0 |
010 |
|||||||||||||
И |
28 |
0,071428571 |
1 |
0 |
0110 |
|||||||||||||
Е |
38 |
0,096938776 |
1 |
0111 |
||||||||||||||
" " |
44 |
0,112244898 |
1 |
0 |
0 |
100 |
||||||||||||
О |
43 |
0,109693878 |
1 |
101 |
||||||||||||||
Т |
34 |
0,086734694 |
1 |
0 |
0 |
1100 |
||||||||||||
Р |
26 |
0,066326531 |
1 |
1101 |
||||||||||||||
А |
19 |
0,048469388 |
1 |
0 |
0 |
11100 |
||||||||||||
Н |
17 |
0,043367347 |
1 |
11101 |
||||||||||||||
Ы |
10 |
0,025510204 |
1 |
0 |
0 |
111100 |
||||||||||||
П |
8 |
0,020408163 |
1 |
111101 |
||||||||||||||
Д |
6 |
0,015306122 |
1 |
0 |
0 |
1111100 |
||||||||||||
Ч |
6 |
0,015306122 |
1 |
1111101 |
||||||||||||||
Ж |
4 |
0,010204082 |
1 |
0 |
1111110 |
|||||||||||||
Г |
3 |
0,007653061 |
1 |
0 |
11111110 |
|||||||||||||
У |
3 |
0,007653061 |
1 |
0 |
111111110 |
|||||||||||||
Щ |
2 |
0,005102041 |
1 |
0 |
1111111110 |
|||||||||||||
Ё |
1 |
0,00255102 |
1 |
0 |
11111111110 |
|||||||||||||
Ц |
1 |
0,00255102 |
1 |
11111111111 |
||||||||||||||
Рисунок 6 – Расчеты для шестого случая
Для обратной параболы получилось:
Энтропия = 4,25595632530529;
К-среднее = 4,39795918367347;
Количество информации в битах, приходящаяся на 1 элементарный символ, = 0,967711647053175;
Количество информации в битах в сообщении, = 1668,33487951967.
Найдем распределение с самой минимальной стоимостью (K-Среднее):
Способ распр. |
Изначальный |
Обратный изначальному |
Алфавитный порядок |
Обратный алфавитный порядок |
Парабола |
Обратная парабола |
К-Средняя |
4,354591837 |
4,420918367 |
4,589285714 |
4,573979592 |
4,367346939 |
4,397959184 |
Вывод
Закодировали текст разными способами, посчитали необходимые параметры и сделали вывод, что минимальная стоимость в изначальном распределении.