Содержание отчёта
1 Цель работы.
2 Исходное сообщение.
Расчёт энтропии сообщения.
Таблица кодов.
Расчёт параметров кода.
Декодированное сообщение при определённой вероятности одиночной ошибки в канале.
Подсчитанное количество ошибочных разрядов, а также их доля от общего числа бит сообщения.
Подсчитанное количество ошибочных символов, а также их доля от общего числа символов сообщения, а так же число и доля обнаруживаемых ошибок.
Подсчитанное количество ошибочных символов, а также число и доля обнаруживаемых ошибок при разных значения кратности ошибки и её вероятности, не менее 5 разных значений.
График зависимости числа ошибочных символов от вероятности одиночной ошибки в канале связи.
Вывод.
Контрольные вопросы
1 Что понимают под информацией?
2 Расскажите о структуре системы передачи информации?
3 Какие цели преследует кодирование информации?
4 Дайте определение количества информации по Хартли?
5 Что такое энтропия источника дискретных сообщений?
Какой источник обладает максимальной энтропией?
Расскажите об избыточности источника сообщений.
Приведите классификацию кодов.
Каковы причины возникновения ошибок при передаче сообщений в виде кодовых комбинаций?
Возможно ли обнаружение ошибок при простом кодировании?
Возможно ли исправление ошибок при простом кодировании?
Лабораторная работа № 2 Эффективное кодирование. Метод Шеннона-Фано
1 Цель работы
Получение навыков по разработке кодов Шеннона-Фано. Оценка эффективности кодирования.
2 Основные теоретические положения
2.1 Эффективное кодирование
2.1.1 Общие положения
Обычно эффективными кодами, т. е. кодами безизбыточными, осуществляющими сжатие (компрессию) данных называют, неравномерные коды Шеннона-Фано и Хаффмана. На основании теоремы Шеннона для прохождения сигналов по каналам без шумов можно ставить вопрос о построении такого неравномерного кода, в котором часто встречающимся сообщениям присваиваются более короткие кодовые комбинации, а редко встречающимся символам — более длинные. Учет статистических закономерностей сообщения позволяет построить более экономичные коды.
Задача эффективного кодирования заключается в устранении избыточности сообщения.
Пусть множество сообщений источника равно
X = {x1, x2, ... , xn} . (16)
Элементами множества X могут быть буквы алфавита естественного языка, пары, тройки и вообще блоки символов любой длины какого-либо алфавита, слова, предложения, в общем — любые знаки.
Будем рассматривать X в качестве входного алфавита некоторого кодирующего отображения Г (кода), выходным алфавитом которого является множество B с числом символов, равным m. Кодирующее отображение Г сопоставляет с каждым сообщением xi из множества X кодовую комбинацию, составленную из ni символов алфавита.
Энтропию сообщений x можно определить по известной формуле
(17)
При кодировании сообщения X каждому элементу xi сопоставляется кодовая комбинация длины ni и, следовательно, средняя длина кодовой комбинации для сообщений составит
nср
=
. (18)
Максимальная энтропия, которую может иметь сообщение из символов алфавита В равна
Hmax = nср log m . (19)
Очевидно, что для обеспечения передачи информации, содержащейся в сообщении X, с помощью кодовых комбинаций в алфавите В должно выполняться неравенство
(20)
или
nср
(21)
Если Hmax строго больше H(x), это означает, что закодированное сообщение обладает избыточностью. Для численной оценки избыточности сообщения пользуются коэффициентом избыточности R, определяемым по формуле
(22)
Формулы (20), (21) позволяют оценить минимальную среднюю длину кодовой комбинации при которой возможна передача сообщения X без потери информации. Из них следует, что
nср
(23)
Отсюда
(24)
Формула (22) эквивалентна следующей
(25)
Для эффективных кодов
nср = nmin . (26)
Подставив в выражение (21) формулу (18), получим для эффективного кода, что
(27)
Из (27) находим:
(28)
Отношение (28) не всегда дает целочисленный результат, однако, всегда выполняется неравенство
(29)
Умножая все части неравенства (9) на P(xi) и суммируя по i, получим
1
(30)