Московский государственный технический университет

имени Н.Э. Баумана

Факультет «Информатики и систем управления»

Кафедра «Информационная безопасность»

Э.Н.Гордеев основы теории информации

Учебное пособие

по дисциплине «Теория информации».

Москва

(С) 2016 МГТУ им. Н.Э. БАУМАНА

УДК 519.7

Гордеев Э.Н.

Основы теории информации. - М.: МГТУ имени Н.Э. Баумана, 2016. 123 с.

Издание содержит конспект лекций по курсу «Основы теории информации», предусмотренного учебным планом МГТУ им. Н.Э.Баумана для студентов инженерных специальностей. Представлены результаты классической теории информации, относящиеся к представлению информации, сжатию информации и защите информации от помех при ее передаче.

Для студентов инженерных специальностей факультета «Информатики и систем управления» МГТУ имени Н.Э. Баумана.

Рекомендовано учебно-методической комиссией НУК «Информатики и систем управления» МГТУ им. Н.Э. Баумана

© 2016 МГТУ имени Н.Э. Баумана

Оглавление

Введение. 9

Раздел 1. Информация и Алгоритм. Коды объектов. 12

1 Информация и алгоритм. 12

1.1 Задачи, алгоритмы 12

1.1.1 Задача 12

1.1.2 Алгоритм 14

2 Представление (кодирование) информации. 18

2.1.1 Примеры кодировок 20

2.1.2 Свойства кодировок 23

2.2 Способы представления (кодирования) информации. 24

2.2.1 Кодирование слов и поиск минимального кода 25

2.2.2 Признаковое кодирование. 26

Раздел 2. Сжатие информации. 30

3 Кодирование информации. Количество информации. Сжатие информации. 30

3.1.1 Сериальное кодирование 30

3.1.2 Алфавитное кодирование. 32

3.1.3 Кодирование натурального ряда. 37

4 Количество информации. Энтропия. 41

4.1.1 Энтропия по Хартли. 41

4.1.2 Энтропия по Шеннону. 41

5 Теорема Шеннона 44

6 Алгоритмы кодирования 46

6.1 Алгоритм Шеннона (Фано). 46

6.2 Алгоритм Хаффмана 49

6.3 Блочное кодирование Хаффмена. 50

6.4 Алгоритм арифметического кодирования 52

7 Блочное кодирование и теорема Шеннона. 54

Раздел 3. Передача информации. Защита от искажений. 56

8 Передача информации по каналу с шумом. 56

8.1 Модели каналов. 57

8.2 Необходимые определения. 60

8.2.1 Пример кода для канала с выпадением. 61

8.3 Передача информации по двоичному симметричному каналу с шумом 63

8.3.1 Схема и принципы кодирования. 63

8.3.2 Принципы построения кодов, исправляющих ошибки. 63

8.3.3 Декодирование на основе таблицы декодирования. 67

8.3.4 Схема кодирования по принципу наибольшего правдоподобия на основе принципа избыточности. 69

8.4 Корректирующие способности кодов. Границы мощности. 72

8.5 Теорема Шеннона для канала с шумом. 78

8.5.1 Факты из теории вероятности. 79

8.5.2 Схема кодирования и декодирования. Вспомогательные утверждения. 80

8.5.3 Вторая теорема Шеннона. 84

8.5.4 Комбинаторное доказательство теоремы. 86

9 Примеры кодов, исправляющих ошибки. Линейные коды. 93

9.1 Линейные коды. 93

1.1.1 Спектр кода. 97

9.2 Код Хэмминга. 99

9.3 БЧХ – коды 104

10 Вопросы для самопроверки. 111

11 Примеры билетов для контрольных работ. 114

11.1 КР №1 114

11.2 КР №2 115

11.3 КР №3 116

Приложение. 118

12 Рекомендованная литература 122

Введение. 7

Раздел 1. Информация и Алгоритм. Коды объектов. 10

1 Информация и алгоритм. 10

1.1 Задачи, алгоритмы 10

1.1.1 Задача 10

1.1.2 Алгоритм 13

2 Представление (кодирование) информации. 16

2.1.1 Примеры кодировок 19

2.1.2 Свойства кодировок 21

2.2 Способы представления (кодирования) информации. 23

2.2.1 Кодирование слов и поиск минимального кода 23

2.2.2 Признаковое кодирование. 25