Раздел 2. Сжатие информации. 29

3 Кодирование информации. Количество информации. Сжатие информации. 29

3.1.1 Сериальное кодирование 29

3.1.2 Алфавитное кодирование. 31

3.1.3 Кодирование натурального ряда. 36

4 Количество информации. Энтропия. 40

4.1.1 Энтропия по Хартли. 40

4.1.2 Энтропия по Шеннону. 40

5 Теорема Шеннона 43

6 Алгоритмы кодирования 45

6.1 Алгоритм Шеннона (Фано). 45

6.2 Алгоритм Хаффмана 47

6.3 Блочное кодирование Хаффмена. 49

6.4 Алгоритм арифметического кодирования 51

7 Блочное кодирование и теорема Шеннона. 53

Раздел 3. Передача информации. Защита от искажений. 55

8 Передача информации по каналу с шумом. 55

8.1 Модели каналов. 56

8.2 Необходимые определения. 59

8.2.1 Пример кода для канала с выпадением. 60

8.3 Передача информации по двоичному симметричному каналу с шумом 62

8.3.1 Схема и принципы кодирования. 62

8.3.2 Принципы построения кодов, исправляющих ошибки. 62

8.3.3 Декодирование на основе таблицы декодирования. 66

8.3.4 Схема кодирования по принципу наибольшего правдоподобия на основе принципа избыточности. 69

8.4 Корректирующие способности кодов. Границы мощности. 71

8.5 Теорема Шеннона для канала с шумом. 78

8.5.1 Факты из теории вероятности. 78

8.5.2 Схема кодирования и декодирования. Вспомогательные утверждения. 79

8.5.3 Вторая теорема Шеннона. 84

8.5.4 Комбинаторное доказательство теоремы. 86

9 Примеры кодов, исправляющих ошибки. Линейные коды. 92

9.1 Линейные коды. 92

9.1.1 Спектр кода. 97

9.2 Код Хэмминга. 99

9.3 БЧХ – коды 104

10 Вопросы для самопроверки. 111

11 Примеры билетов для контрольных работ. 113

11.1 КР №1 113

11.2 КР №2 115

11.3 КР №3 116

Приложение. 118

12 Рекомендованная литература 122

Предисловие.

Предмет курса

Данный текст представляет собой курс лекций, посвященный математическим моделям и методам, используемым при передаче, приеме и хранении информации. В нем отражены основные классические результаты Теории информации, а также некоторые результаты последних десятилетий, которые могут быть отнесены к теории информации.

Основная цель курса

Цель курса - научить студентов ориентироваться в классической теории информации, а также дать представление о тех разделах математики и информатики, которые используются для построения математических моделей задач теории информации.

Это даст возможность будущему специалисту понимать, для каких задач вообще нужна математика, а там, где она нужна, привлекать для работы необходимые определения, понятия и результаты.

Курс лекций предназначен для студентов 3-4 курса. Это именно лекции, а не систематизированный учебник. Автор пытался сохранить в тексте комментарии и пояснения, быть может, не свойственные строгому математическому пособию. Некоторые из них выглядят простыми и очевидными, однако преподавательский опыт показывает, что они полезны для лучшего усвоения материала.

Предполагается, что студент знаком с некоторым базовым набором математических объектов и результатов, что он прослушал хотя бы семестровые курсы по комбинаторике, дискретной математике, теории вероятностей, линейной алгебре, общей алгебре. Курс предшествует таким дисциплинам как: теория массового обслуживания, теория кодирования, теория сложности алгоритмов. Предполагается, что знакомство с данным курсом поможет студентам быстрее и легче освоить эти дисциплины.

Курс состоит из трех разделов. Так как уровень студентов со временем меняется и большинство из них ждет инженерное будущее, то это скорее курс именно для инженеров, а не для математиков, поэтому автор на практике сопровождает лекции большим количеством примеров. В текст включено, как правило, только по одному примеру каждого типа.