Московский государственный технический университет

имени Н.Э. Баумана

Факультет «Информатики и систем управления»

Кафедра «Информационная безопасность»

Э.Н.Гордеев теория информации и сложность алгоритмов

Электронное учебное издание

Учебное пособие

по дисциплине «Основы теории информации».

Москва

(С) 2012 МГТУ им. Н.Э. БАУМАНА

УДК 519.7

Рецензенты: проф, д.ф.-м.н., Кузюрин Н.Н..

проф., д.ф.-м.н.,

Гордеев Э.Н.

Теория информации и сложность алгоритмов. - М.: МГТУ имени Н.Э. Баумана, 2012. 68 с.

Издание содержит дополнительные главы к курсу лекций «Основы теории информации», предусмотренного учебным планом МГТУ им. Н.Э.Баумана для студентов-математиков. Основной курс представлен в пособии «Основы теории информации», предназначенном для студентов инженерных специальностей. Так как объем курса для студентов математической специальности в полтора раза превышает объем курса для студентов инженерной специальности, то Дополнение и призвано заполнить это разницу. Кроме того, математическая подготовка позволяет включить в курс подробные доказательства классических результатов. Для придания тексту целостности и его увязки с первой частью он структурно соответствует первой части, поэтому имеются совпадение фрагментов текста.

Для студентов математической специальности факультета «Информатики и систем управления» МГТУ имени Н.Э. Баумана.

Рекомендовано учебно-методической комиссией НУК «Информатики и систем управления» МГТУ им. Н.Э. Баумана

Электронное учебное издание

Гордеев Эдуард Николаевич теория информации и сложность алгоритмов.

© 2012 МГТУ имени Н.Э. Баумана

Содержани

Раздел 1. Информация и Алгоритм. Коды объектов. 6

1 Введение 6

1.1 Предмет курса 6

1.2 Основная цель курса 6

2 Что такое информация? 6

2.1 Подходы к определению информации. 7

2.1.1 Описательный подход 7

2.1.2 Использование аналогии и эквивалентности 8

2.2 Основной вывод: информация и алгоритм – взаимообусловленные понятия. 8

3 Представление (кодирование) информации. 9

Раздел 2. Сжатие информации. 11

4 Кодирование информации. Количество информации. Сжатие информации. 11

4.1 Энтропия по Хартли. 11

4.2 Энтропия по Шеннону. 12

4.2.1 Математическая модель: алфавитное кодирование случайного источника. 12

4.3 Энтропия по Шеннону и энтропия по Хартли. 14

4.4 Свойства энтропии. 16

4.5 Алгоритмы кодирования 18

4.5.1 Алгоритм Шеннона (Фано). 18

4.5.2 Алгоритм Хаффмана 18

4.5.3 Блочное кодирование Хаффмена. 19

4.5.4 Замечание. О длине блока и сложности кодирования. 19

4.6 Блочное кодирование и теорема Шеннона. 20

5 Передача информации по каналу с шумом. 22

5.1 Передача информации по двоичному симметричному каналу с шумом 23

5.1.1 Корректирующие способности кодов. Границы мощности. 24

5.2 Теорема Шеннона для канала с шумом. 29

5.2.1 Факты из теории вероятности. 29

5.2.2 Схема кодирования и декодирования. Вспомогательные утверждения. 30

5.2.3 Вероятностное доказательство теоремы. 34

5.2.4 Комбинаторное доказательство теоремы. 37

5.3 Примеры кодов, исправляющих ошибки. Линейные коды. 42

5.3.1 Спектр кода. 42

5.3.2 Линейные коды. 43

5.3.3 Теорема об эквидистнантных кодах 49

5.3.4 БЧХ – коды 50

6 Рекомендованная литература 55