Раздел 1. Информация и Алгоритм. Коды объектов. 5

1 Введение 5

1.1 Предмет курса 5

1.2 Основная цель курса 5

2 Что такое информация? 5

2.1 Подходы к определению информации. 6

2.1.1 Описательный подход 7

2.1.2 Использование аналогии и эквивалентности 7

2.2 Основной вывод: информация и алгоритм – взаимообусловленные понятия. 8

3 Представление (кодирование) информации. 9

Раздел 2. Сжатие информации. 11

4 Кодирование информации. Количество информации. Сжатие информации. 11

4.1 Энтропия по Хартли. 11

4.2 Энтропия по Шеннону. 12

4.2.1 Математическая модель: алфавитное кодирование случайного источника. 12

4.3 Энтропия по Шеннону и энтропия по Хартли. 14

4.4 Свойства энтропии. 16

4.5 Алгоритмы кодирования 19

4.5.1 Алгоритм Шеннона (Фано). 19

4.5.2 Алгоритм Хаффмана 19

4.5.3 Блочное кодирование Хаффмена. 20

4.5.4 Замечание. О длине блока и сложности кодирования. 20

4.6 Блочное кодирование и теорема Шеннона. 22

5 Передача информации по каналу с шумом. 23

5.1 Передача информации по двоичному симметричному каналу с шумом 25

5.1.1 Корректирующие способности кодов. Границы мощности. 25

5.2 Теорема Шеннона для канала с шумом. 31

5.2.1 Факты из теории вероятности. 32

5.2.2 Схема кодирования и декодирования. Вспомогательные утверждения. 33

5.2.3 Вероятностное доказательство теоремы. 38

5.2.4 Комбинаторное доказательство теоремы. 40

5.3 Примеры кодов, исправляющих ошибки. Линейные коды. 46

5.3.1 Спектр кода. 46

5.3.2 Линейные коды. 47

5.3.3 Теорема об эквидистнантных кодах 54

5.3.4 БЧХ – коды 55

6 Рекомендованная литература 61

Раздел 1. Информация и Алгоритм. Коды объектов.

1. Введение

   1. Предмет курса

Данный текст представляет собой вторую часть (Дополнение) курса лекций по Теории информации для студентов математической специальности кафедры Информационной безопасности. Предполагается, что это Дополнение к основному тексту курса лекций Основы Теории Информации того же автора. Так как объем курса для студентов математической специальности в полтора раза превышает объем курса для студентов инженерной специальности, то Дополнение и призвано заполнить это разницу. Кроме того, математическая подготовка позволяет включить в курс подробные доказательства классических результатов. Для придания тексту целостности и его увязки с первой частью он структурно соответствует первой части, поэтому имеются совпадение фрагментов текста. На практике обе части читаются параллельно.

2. Основная цель курса

Курс лекций предназначен для студентов 3-4 курса. Это именно лекции, а не систематизированный учебник. Автор пытался сохранить в тексте комментарии и пояснения, быть может, не свойственные строгому математическому пособию. Некоторые из них выглядят простыми и очевидными, однако преподавательский опыт показывает, что они полезны для лучшего усвоения материала.

2. Что такое информация?

Каково место теории информации среди других областей науки? Чтобы ответить на этот вопрос, заметим, что научная дисциплина, имеющая определенное название, определяется объектом и методологией исследования.

Объектом исследования теории информации является информация. Считается, что это «интуитивно очевидное» понятие. Однако в математической дисциплине оперировать интуитивно очевидными понятия нельзя, хотя и приходится. К подобным понятиям относятся, например: единица, число, множество, алгоритм и т.п. Понятие информации из этого же разряда.

На сегодня неизвестно, что это такое. Фраза: « Информация – нематериальная сущность, не имеющая физических атрибутов» - ничего не определяет.

В диалектическом материализме и в позитивизме категорию информации, в той или иной степени, сводили к категории отражение. Такой подход имеет три недостатка.

1. Он связывает себя с конкретной мировоззренческой или философской концепцией, а, став на почву материализма, исследователь ограничивает возможности анализа.

2. Вместо категории отражение можно использовать категорию выражение. Они не сводятся друг другу. Кроме того, категория выражение может быть использована в сложном комплексе с другими категориями, что позволит построить достаточно интересную, с нашей точки зрения, модель.

3. Самое главное, что введение в нашу модель категории отражения повлекло бы за собой следующий вывод: во-первых, не любая информация может быть обусловлена отражением, а, во-вторых, результат отражения может быть никак не связан с информацией.

Такое соотношение этих категорий делает ненужным привлечение отражения к нашему анализу.