8363_НерсисянАС_ПР-5
.docx
МИНОБРНАУКИ РОССИИ
Санкт-Петербургский государственный
электротехнический университет
«ЛЭТИ» им. В.И. Ульянова (Ленина)
Кафедра информационных систем
отчет
по практической работе №5
по дисциплине «Теория информации»
Тема: Эффективное кодирование. Код Шеннона-Фано.
Студент гр. 8363 |
|
Нерсисян А. С. |
Преподаватель |
|
Писарев И. А. |
Санкт-Петербург
2020
Цель работы
Изучить основную теорему Шеннона о эффективном кодировании и решить задачи по данной теме.
Задание на практическую работу
2.1. Письменно ответить на вопросы
2.1.1. Дайте определение методов эффективного (оптимального) кодирования.
2.1.2. Основная теорема Шеннона о эффективном кодировании.
2.1.3. Опишите метод Шеннона-Фано.
2.2. Решить задачи
2.2.1. Закодировать сообщение методом Шеннона-Фано.
сообщение |
a |
b |
c |
d |
e |
f |
g |
вероятность |
0,4 |
0,2 |
0,2 |
0,05 |
0,05 |
0,05 |
0,05 |
2.2.2. Алфавит содержит 7 букв, которые встречаются с вероятностями 0,4; 0,2; 0,1; 0,1; 0,1; 0,05; 0,05. Осуществите кодирование по методу Шеннона-Фано.
Выполнение работы
2.1.1. Дайте определение методов эффективного (оптимального) кодирования.
Эффективное кодирование – это процедуры направленные на устранение избыточности.
Основная задача эффективного кодирования – обеспечить, в среднем, минимальное число двоичных элементов на передачу сообщения источника. В этом случае, при заданной скорости модуляции обеспечивается передача максимального числа сообщений, а значит максимальная скорости передачи информации.
2.1.2. Основная теорема Шеннона о эффективном кодировании.
При любой производительности источника сообщений, меньшей пропускной способности канала, существует способ кодирования, позволяющий передавать по каналу все сообщения, вырабатываемые источником.
Не существует способа кодирования, обеспечивающего передачу сообщений без их неограниченного накопления, если производительность источника сообщений больше пропускной способности канала.
2.1.3. Опишите метод Шеннона-Фано.
На вход приходят упорядоченные по не возрастанию частот данные.
Находится середина, которая делит алфавит примерно на две части. Эти части (суммы частот алфавита) примерно равны. Для левой части присваивается «1», для правой «0», таким образом мы получим листья дерева
Шаг 2 повторяется до тех пор, пока мы не получим единственный элемент последовательности, т.е. листок.
2.2. Решить задачи
2.2.1. Энтропия рассчитывается по формуле:
После
записи исходных сообщения в таблицу в
порядке убывания их вероятностей
разделим на две группы так, чтобы значения
сумм вероятностей в каждой группы были
близкими. Вероятность первой группы
,
вероятность второй
.
Проведем данную операцию с каждой
полученную в процессе деления группой
до тех пор, пока в результате очередного
деления в каждой группе не останется
по одному знаку, как показано в таблице
1.
Таблица 1. Решение задачи кодированием Шеннона-Фано
Сообщение |
Вероятность |
Процесс кодирования |
Итоговый код |
|||
a |
0,4 |
0 |
0 |
00 |
||
b |
0,2 |
1 |
01 |
|||
c |
0,2 |
1 |
0 |
10 |
||
d |
0,05 |
1 |
0 |
0 |
1100 |
|
e |
0,05 |
1 |
1101 |
|||
f |
0,05 |
1 |
0 |
1110 |
||
g |
0,05 |
1 |
1111 |
|||
2.2.2. Алфавит содержит 7 букв, которые встречаются с вероятностями 0,4; 0,2; 0,1; 0,1; 0,1; 0,05; 0,05. Осуществите кодирование по методу Шеннона-Фано.
Таблица 2. Решение задачи кодированием Шеннона-Фано
|
|
Процесс кодирования |
Итоговый код |
|||
|
0,4 |
0 |
0 |
00 |
||
|
0,2 |
1 |
01 |
|||
|
0,1 |
1 |
0 |
0 |
100 |
|
|
0,1 |
1 |
101 |
|||
|
0,1 |
1 |
0 |
110 |
||
|
0,05 |
1 |
0 |
1110 |
||
|
0,05 |
1 |
1111 |
|||
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
Гошин Е.В. Теория информации и кодирования: учеб, пособие / Е.В. Гошин – Самара: Изд-во Самарского университета, 2018. - 124 с.
Лидовский В.В. Основы теории информации и криптографии. Учебное пособие. — Изд. 2-е, исп. — М.: Интернет-университет информационных технологий, 2016. — 142 с.