Указания по выполнению контрольной работы по дисциплине «Теория информации». Учебно-методическое пособие

каналу максимально передается N сигналов в единицу времени, тогда пропуск-

мое по каналу связи одним сигналом. В формуле (11) максимум берется по всем возможным вероятностным распределениям источника сообщений p(x) , H(Y / X ) – условная энтропия, определяемая помехами в данном канале (9).

Шеннона, максимальное значение функции энтропии Шеннона для источника с

Решение. Сначала определим частные условные энтропии в силу симметрии

C0 = L max{H (Y ) − 0,72} =10 (1− 0,72) = 2,8 бит/сек

P( X )

Ответ 2,8 бит/сек.

Важнейшими результатами теории информации являются теоремы Шеннона о передаче сообщений по каналу связи (с помехами и без). Теоремы связывают пропускную способность канала передачи информации и существование кода, который возможно использовать для передачи информации по каналу с ошибкой, стремящейся к нулю (при увеличении длины блока). Ниже приведены теоремы Шеннона о пропускной способности каналов без шума и с помехами.

31

рассматривать с перехлестом.

Пример. Пусть имеется такая последовательность ФЫВАФПРО Под парами понимаются пары соседних символов, т.е.

ФЫ ЫВ ВА АФ ФП ПР РО

пары символов и подставить в формулу Шеннона. Полученное значение оценки энтропии следует разделить на 2.

тройки символов и подставить в формулу Шеннона. Полученное значение оценки энтропии следует разделить на 3.

По желанию можно продолжить процесс вычисления оценок с использованием частот четверок, пятерок символов и т.д.

3. После тестирования программы необходимо заполнить таблицу для отчета и в отчете проанализировать полученные результаты, объяснить замеченные эффекты. Для получения теоретических значений энтропии использовать наборы вероятностей, которые использовались при генерации файлов, для файла с текстом на естественном языке не заполнять.

4.Оформить отчет, должен содержать заполненную таблицу и анализ полученных результатов, по желанию в отчет можно включить описание программной реализации. Загрузить отчет в электронную среду.

5.Анализ полученных результатов можно оформить в виде ответов на вопросы

1.Каким образом реализована генерация файлов?

34

2.Как соотносятся между собой полученные оценки для каждого файла? Равны? Не равны? Поясните, в каких случаях получаются примерно равные оценки, а в каких – нет.

3.Если продолжить процесс вычисления оценок энтропии, используя более длинные последовательности символов, то можно получить последовательность значений. Спрогнозируйте поведение такой последовательности – последовательность будет возрастать или убывать? Имеет ли предел такая последовательность оценок?

4.Какие значения энтропии Шеннона, по вашему мнению, имеют тексты из файлов? Обоснуйте свой ответ.

Необходимый теоретический материал к практическому заданию 1

С практической точки зрения оценка количества информации необходима для построения экономичных кодов, оценки свойств каналов связи и их пропускной способности, для определения избыточности кодов и повышения их помехоустойчивости. При анализе каналов связи нужно уметь определять максимальное количество информации, которое может быть передано за единицу времени. Максимальное количество информации на элемент сообщения может быть получено только в случае равновероятных и независимых сообщений. Сообщения, энтропия которых равна максимальному значению Hmax = logm , m

количество состояний элементов сообщения, являются оптимальными сообщениями в смысле наибольшего количества передаваемой информации. Реальные сообщения редко полностью удовлетворяют этому условию, поэтому информационная нагрузка на каждый элемент обычно меньше той, которую они могли бы передавать. Энтропия таких сообщений меньше максимальной, и сообщение обладает информационной избыточностью.

В теории информации избыточность показывает количество «лишней информации», которая определяется структурой множества состояний элементов и обычно заранее известна из статистических данных.

Мерой количественной оценки того, насколько данное реальное сообщение отличается от соответствующего ему оптимального сообщения, служит

коэффициент сжатия или относительная энтропия, которая равна отноше-

нию энтропии реального сообщения к энтропии соответствующего ему опти-

Коэффициент сжатия показывает, какая часть реальных сообщений может быть отброшена при переходе к оптимальному кодированию, т.е. какая доля сообщения является излишней или избыточной. Наряду с коэффициентом сжатия используется и величина избыточности r =1 − .

Для уменьшения избыточности сообщения необходимо увеличить энтропию сообщения, т.е. стремиться к тому, чтобы элементы сообщения были максимально информативны.

Пример. Для русского языка, состоящего из 32 букв (буквы «е» и «ё», «ь» и

35

«ъ» не различаются, добавлен символ пробела « » ), максимальное значение энтропии при условии равновероятности букв составляет

Однако в русском языке появления разных букв алфавита происходит с неравными частотами. В таблице приведены частоты появления отдельных букв русского языка.

Таблица частот букв русского языка

Используя эти частоты в качестве вероятностей появления букв, можно

статистику появления буквенных сочетаний и словесных сочетаний, то исследования показали, что энтропия на букву русского языка не превышает 2 бит.

Таким образом, коэффициент сжатия или относительная энтропия для

36

Практическое задание 2

Побуквенное кодирование текстов

Цель работы: экспериментальное изучение избыточности сжатия текстового файла.

Язык программирования: С, С++, С#, Python.

Результат: программа, тестовые примеры, отчет.

1.Запрограммировать процедуру двоичного кодирования текстового файла побуквенным кодом. В качестве методов сжатия использовать метод Хаффмана и метод Шеннона (или метод Фано). Текстовые файлы использовать те же, что и в практической работе 1.

2.Вычислить среднюю длину кодовых слов и оценить избыточность кодирования для каждого построенного побуквенного кода.

3.После кодирования текстового файла вычислить оценки энтропии файла с

содержит 0 и 1) и заполнить таблицу.

4. Оформить отчет, загрузить отчет в электронную среду. Отчет обязательно должен содержать заполненную таблицу и анализ полученных результатов.

По желанию в отчет можно включить описание программной реализации.

5. Анализ полученных результатов можно оформить в виде ответов на вопросы

1.Какой из реализованных методов побуквенного кодирования более оптимальный? Почему? Обоснуйте ответ, используя полученные результаты значений избыточности.

2.Как соотносятся между собой полученные оценки H1 , H 2 , H 3 для каждого

закодированного файла? Равны? Не равны? Чем объясняется такое поведение оценок?

37

Необходимый теоретический материал к практическому заданию 2

Пусть имеется дискретный вероятностный источник без памяти, порождающий символы алфавита A = {a1 , a2 ,...an } с вероятностями pi = P(ai ) ,

n

pi = 1. Основной характеристикой источника информации является его эн-

i=1

тропия, которая представляет собой среднее значение количества информации одного символа сообщения источника и определяется выражением (для двоич-

n ного случая) H ( p1 , , pn ) = − pi log2 pi . Энтропия характеризует меру неопреде-

i=1 ленности выбора для данного источника. Например, если A = {a1 , a2 }, p1 = 0 ,

p2 =1, то неопределенности для данного источника нет, поскольку источник может породить только символ a2 , H(0,1) = 0 .

Для практических применений важно, чтобы коды сообщений имели по возможности наименьшую длину. Основной характеристикой неравномерного кода является среднее количество символов, затрачиваемых на кодирование одного сообщения. Пусть имеется однозначно декодируемый (разделимый) побуквенный код для источника с алфавитом A = {a1 , a2 ,...an } с вероятностями

n

те {0,1}. Средней длиной кодового слова называется величина Lcp = pi Li или

i =1

среднее число кодовых букв на одну букву источника.

Побуквенный разделимый код называется оптимальным, если средняя длина кодового слова минимальна для данного разделения вероятностей символов. Избыточностью кода называется разность между средней длиной кодового слова и энтропией источника сообщений r = Lcp − H ( p1,..., pn ) . Избыточ-

ность кода является показателем качества кода. Задача эффективного неискажающего сжатия заключается в построении кодов с наименьшей избыточностью, у которых средняя длина кодового слова близка к энтропии источника. К таким кодам относятся классические коды Хаффмана, Шеннона, Фано, Гиль- берта-Мура.

Связь между энтропией источника и средней длиной кодовых слов разделимого кода утверждается в фундаментальных теоремах Шеннона.

Обратная теорема Шеннона. Для источника без памяти с алфавитом

Пример построения кода Хаффмана. Метод Хаффмана позволяет построить оптимальный префиксный код, т.е. код с наименьшей средней длиной кодовых слов среди всех побуквенных кодов для данного источника.

Для построения кода Хаффмана необходимо упорядочить символы источника в порядке убывания их вероятностей. Далее два символа с наименьшими вероятностями сливаются в один, причем вероятность нового символа – это сумма вероятностей слитых символов. Обновленный список символов упорядочивается по убыванию вероятностей, и процесс повторяется до тех пор, пока в списке не останется два символа. В этом заключается прямой ход метода Хаффмана, процесс построения приведен на рисунке 5. Наименьшие вероятности выделены желтым цветом, объединенная вероятность на каждом шаге – зеленым. Перемещения символов при упорядочивании указаны стрелками.

39

Рисунок 5 – Прямой ход метода Хаффмана

Обратный ход метода Хаффмана заключается в построении кодовых слов для символов. Двухсимвольный источник кодируется 0 и 1. Далее если символ s

Д00111

Рисунок 6 – Обратный ход метода Хаффмана

ятностное распределение на символах алфавита A . Символы алфавита источника и их вероятности приведены в таблице 10.

Метод кодирования, предложенный К. Шенноном, позволяет построить почти оптимальный двоичный префиксный код, который удовлетворяет теореме Шеннона. Пусть имеется дискретный вероятностный источник, порождаю-

n

щий символы алфавита A ={a1,a2 ,...,an} с вероятностями pi = P(ai ) , pi =1,

i =1

40