|
«Московский государственный технический университет имени Н.Э. Баумана» (МГТУ им.Н.Э.Баумана) |
Факультет ИУ
Кафедра ИУ8
Лекции по курсу:
Основы Теории Информации Гордеев э.Н.
Москва
-2011-
Содержание
Факультет ИУ 1
Кафедра ИУ8 1
Основы Теории Информации 1
Гордеев Э.Н. 1
1 Введение 4
1.1 Предмет курса 4
1.2 Основная цель курса 4
1.3 Теория информации и смежные дисциплины 4
1.4 Подходы к определению понятия информация. 5
2 Алфавит. Слово. Язык. Информация. 7
3 Информация и алгоритм. 8
3.1 Задачи, алгоритмы 8
3.1.1 Задача 8
3.2 Алгоритм 13
3.2.1 Нормальные алгорифмы Маркова (НАМ). 17
3.2.2 Машины Тьюринга 19
4 Кодирование информации. Количество информации. Сжатие информации. 23
4.1 Кодирование информации. 24
4.1.1 Примеры кодировок 25
4.1.2 Свойства кодировок 26
4.2 Наиболее распространенные способы кодирования и их свойства. Алгоритмы кодирования. 28
4.2.1 Кодирование слов и поиск минимального кода 28
4.2.2 Признаковое кодирование. 28
4.2.3 Признаковое кодирование и проблема распознавания. 29
4.2.4 Сериальное кодирование 33
4.2.5 Алфавитное кодирование. 34
4.2.6 Кодирование натурального ряда. 37
5 Количество информации. Энтропия. 39
5.1.1 Энтропия по Хартли. 39
5.1.2 Энтропия по Шеннону. 39
6 Теорема Шеннона 43
7 Свойства энтропии. 45
8 Алгоритмы кодирования 47
8.1 Алгоритм Шеннона (Фано) 47
8.2 Алгоритм Хаффмана 48
8.3 Блочное кодирование 49
8.4 Алгоритм арифметического кодирования 51
8.5 Код Элайеса 53
8.6 Код Левенштейна 54
9 Блочное кодирование и теорема Шеннона. 54
10 Канал с шумом. 56
10.1 Модели каналов. 56
10.2 Передача информации по двоичному симметричному каналу с шумом 57
10.2.1 Схема и принципы кодирования. 57
10.3 Корректирующие способности кодов. Границы мощности. 60
10.4 Теорема Шеннона для канала с шумом. 63
10.4.1 Факты из теории вероятности. 63
10.4.2 Схема кодирования и декодирования. Вспомогательные утверждения. 64
10.4.3 Вероятностное доказательство теоремы. 66
10.4.4 Комбинаторное доказательство теоремы. 67
10.5 Линейные коды 69
10.5.1 Пример. Код Хемминга. 72
10.5.2 Замечание. Совершенные коды и теорема Шеннона. 74
10.5.3 БЧХ – коды 74
10.6 Спектр кода. Эквидистантные коды 77
11 Рекомендованная литература 79
1Введение
1.1Предмет курса
Математические модели и методы, используемые при передачи, приеме и храниении информации. Классические результаты Теории информации и результаты последних десятилетий, которые могут быть отнесены к теории информации.
1.2Основная цель курса
Научить студентов ориентироваться в классической теории информации, а также дать представление о тех разделах математики и информатики, которые используются для построения математических моделей задач теории информации.
Это даст возможность будущему специалисту понимать, для каких задач вообще нужна математика, а там, где она нужна, привлекать для работы необходимые определения, понятия и результаты.
1.3Теория информации и смежные дисциплины
Научная дисциплина, имеющая определенное название определяется объектом и методологией исследования.
Информация – нематериальная сущность, не имеющая физических атрибутов.
Информатика, Кибернетика и Теория информации – различные науки, а значит должны отличаться либо объектами, либо методологией.
Кибернетика – наука о:
Получении информации;
Хранении информации;
Передачи информации;
Преобразовании информации;
Использовании информации.
Такое же определение можно дать и двум другим терминам. Ключевым словом для кибернетики является «управление», что расширяет определении кибернетики как науки о том, как в живых и неживых материальных системах используется это слово «управление», указывающее на. появляется процесс, с помощью которого в управляемой системе происходит изменение. который передает некую информацию, на основе которой в системе происходит изменение. Это изменение может, например, привести к существенным энергетическим обменам между системой и средой. В то же время процесс управления, как правило, требует сравнительно малой энергии и использует то, что называется информацией.
В конце 70-х начале 80-х годов появилось понятие «информатика» (англ. “Computer Science”). Это тоже наука о получении, хранении и использовании информации, но ее проблематика связана с появлением и развитием компьютеризации. По сути, и в кибернетике и в информатике ставятся одинаковые задачи.
Теория информации является частью и кибернетики и информатики, но намного старшей по возрасту, хотя ранее в этот термин вкладывался несколько отличный от сегодняшнего смысл. Теория информации выросла из инженерной дисциплины, разрабатывающей системы связи и сигнализации.
В этих дисциплинах используются многие методы классической математики, но наиболее важны здесь методы теории вероятностей, дискретной математики, алгебры и комбинаторики.
Грубую схему дает нижеприведенный рисунок.
Теория информации:
Рис. 1