Министерство образования и науки рф

Сочинский государственный университет

туризма и курортного дела

Факультет информационных технологий и математики

Кафедра информационных технологий

Мацканюк А.А.

Теория информации и кодирования

Учебное пособие для студентов специальности

080801 Прикладная информатика (по областям применения)

Рекомендовано учебно-методическим объединением в области прикладной информатики как учебное пособие для студентов вузов, обучающихся по специальности 080801 Прикладная информатика (по областям применения)

Сочи, 2010 г.

УДК 007:681.3; 519.72

ББК 24.1

М

Мацканюк А.А. Основы теории информации и кодирования: учебное пособие для вузов. Сочи:РИО СГУТКД, 2010. -165 с., ил.

ISBN 5-

В учебном пособии рассмотрены основы теории информации и вопросы кодирования-декодирования. В отличие от аналогичных, данное пособие содержит математические доказательства основных положений теории информации и кодирования.

Пособие предназначено для студентов информационных специальностей и рекомендовано учебно-методическим объединением в области прикладной информатики для студентов специальности 080801 Прикладная информатика (по областям применения).

Оглавление

Введение 10

Курс лекций 11

Определение понятия информация 13

Фазы обращения информации 15

Некоторые определения 16

1. Меры информации 20

1.1. Структурные меры количества информации 21

1.1.1. Геометрическая мера 21

1.1.2. Комбинаторная мера 22

1.1.3. Аддитивная мера (мера Хартли) 22

1.2. Статистические меры 23

1.2.1. Энтропия и ее свойства. 23

1.2.1.1. Энтропия и средняя энтропия простого события 24

1.2.1.2. Энтропия сложного события, состоящего из нескольких независимых событий 28

1.2.1.3. Вывод формулы среднего значения энтропии на букву сообщения 28

1.2.1.4. Энтропия сложного события, состоящего из нескольких зависимых событий 29

1.2.2. Некоторые выводы, касающиеся статистической меры количества информации Шеннона 32

1.2.3. Литература 32

1.2.4. Избыточность сообщения 32

1.2.5. Пример оценки количества информации при помощи статистической меры Шеннона 33

1.3. Семантические меры информации 34

1.3.1. Содержательность информации 34

1.3.2. Целесообразность информации 35

1.3.3. Динамическая энтропия 36

1.4. Общие замечания об измерении информации 37

1.5. Энтропия непрерывных сообщений 37

1.5.1. Экстремальные свойства энтропии непрерывных сообщений 41

1.5.1.1. Первый случай (значения сл. величины ограничены интервалом) 41

1.5.1.2. Второй случай (заданы дисперсия и математическое ожидание сл. величины) 42

1.5.1.3. Третий случай (сл. величина принимает только положительные значения) 44

1.5.2. Информативность (ε-энтропия) случайных величин, распределенных по некоторым наиболее известным законам распределения 44

1.5.2.1. Нормальный закон распределения 44

1.5.2.2. Равномерный закон распределения. 45

1.5.2.3. Экспоненциальный закон распределения 45

1.5.3. Энтропия дискретного сообщения, получаемого из непрерывного путем его квантования по уровню 45