Практическая работа 5

МИНОБРНАУКИ РОССИИ

Санкт-Петербургский государственный

электротехнический университет

«ЛЭТИ» им. В.И. Ульянова (Ленина)

Кафедра информационных систем

отчет

по практической работе №5

по дисциплине «Теория информации, данные, знания»

Тема: Эффективное кодирование. Код Шеннона-Фан

Студент(ка) гр.
Преподаватель

Санкт-Петербург

2020

Цель работы

Изучить метода эффективного кодирования сообщений.

Вопросы по теме 5:

1. Дайте определение методов эффективного (оптимального) кодирования

2. Основная теорема Шеннона о эффективном кодировании

3. Опишите метод Шеннона-Фано.

Задание по теме 5:

1. Закодировать сообщение методом Шенона-Фано

сообщение a b c d e f g

вероятность 0,4 0,2 0,2 0,05 0,05 0,05 0,05

Приведите в отчете полученный код и покажите, как он был получен в виде таблицы с последовательностью расчетов.

2. Алфавит содержит 7 букв, которые встречаются с вероятностями 0,4; 0,2; 0,1; 0,1; 0,1; 0,05; 0,05. Осуществите кодирование по методу Шенона-Фано

Выполнение работы

Вопросы.

1. Оптимальное кодирование - кодирование с целью уменьшения избыточности кода. Процедуру оптимального кодирования часто называют сжатием данных. Тогда задача сжатия данных есть минимизация технических затрат на хранение или передачу информации путем оптимального кодирования.

2. Пусть источник имеет энтропию H (бит на символ), а канал имеет пропускную способность C (бит в секунду). Тогда можно закодировать сообщения на выходе источника таким образом, чтобы передавать символы (элементы) по каналу со средней скоростью C/H-E символов в одну секунду, где E – сколь угодно мало. Передавать элементы сообщения со средней скоростью, больше чем C/H, невозможно.

3. Шаг 1. Упорядочиваем символы исходного алфавита в порядке убывания их вероятностей

Шаг 2. Не меняя порядка символов, делим их на две группы так, чтобы суммарные вероятности символов в группах были по возможности равны.

Шаг 3. Приписываем группе вверху «0», а группе внизу «1» в качестве элементов их кодов.

Шаг 4. Просматриваем группы. Если число элементов в группе более одного, идём на Шаг 2. Если в группе один элемент, построение кода для него завершено

Задачи.

		Процесс кодирования					Код
a	0,4	0	0				00
b	0,2		1				01
c	0,2	1	0				10
d	0,05		1	0	0	1100
e	0,05				1	1101
f	0,05			1	0	1110
g	0,05				1	1111

Закодируем сообщение «abcdefg»: 0001101100110111101111

		Процесс кодирования					Код
a	0,4	0	0				00
b	0,2		1				01
c	0,1	1	0	0		100
d	0,1			1		101
e	0,1		1	0		110
f	0,05			1	0		1110
g	0,05				1		1111

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Лидовский В.В. Основы теории информации и криптографии. Учебное пособие. — Изд. 2-е, 2016. — 142 с.

2. Гошин Е.В. Теория информации и кодирования. Самара: Самарский университет, 2018 – 124 с.

3. https://studopedia.ru/3_205834_teorema-ob-effektivnom-kodirovanii.html

4. https://studopedia.su/15_62620_metodi-optimalnogo-kodirovaniya.html

5. https://helpiks.org/7-2607.html