Часть 2. Основы прикладной теории информации

8. Энтропия как мера неопределенности………………………………39

8.1. Энтропия…………………………………………………………… 39

8.2. Условная энтропия………………………………………………….42

9. Оценка информационных характеристик дискретных источников.44

9.1. Условные и безусловные вероятности появления символов в виде стохастического вектора и матрицы дискретного источника………..44

9.2. Информационные характеристики дискретного источника……..46

10. Основы теории кодирования и передачи информации…………...49

10.1. Кодирование информации……………………………………..…49

10.2. Формирование экономичного кода алфавита……………………50

10.2.1. Код Шеннона-Фано…………………………………………...…51

10.2.2. Код Хаффмена…………………………………………………...54

Решения и ответы задач для самостоятельной работы……………….57

Дополнительные задачи по курсу «Теория информации»……………70

БИБЛИОГРАФИЧЕСКИЙ СПИСОК………………………………….80

ПРИЛОЖЕНИЯ…………………………………………………………81

Приложение 1. MatLab – программа для расчета цепи Маркова……………………………………………………………….…81

Приложение 2. MatLab – программа для определения энтропии дискретного источника…………………………………………………82

Приложение 3. MatLab – программа для оценки информационных характеристик дискретных источников с памятью……………………83

Приложение 4. Алгоритмы кодирования и декодирования информации дискретного источника………………………………….84

Приложение 5. MatLab – программы неравномерного арифметического кодирования и декодирования информации дискретного источника.............................................................................88

Введение

Теория информации – это наука, которая имеет точную дату своего рождения. Её появление связывают с публикацией работы Клода Шеннона «Математическая теория связи. Работы по теории информации и кибернетике» в 1948 году [1]. Им была определена количественная мера информации и показано, что информационное обеспечение случайного процесса всецело определяется его вероятностными характеристиками.

Сегодня из чисто теоретической науки теория информации трансформировалась в прикладную науку [2]. В настоящее время невозможно представить наш повседневный образ жизни без высокоскоростных модемов телефонных каналов глобальной сети Интернет, лазерных компакт-дисков, флэшек и съемных винчестеров большой емкости для персональных компьютеров, мобильных сотовых телефонов, кредитных карт и много другого, что связано с передачей или хранением информации. Характерно и то, что источники информации являются дискретными, информация кодируется, хранится и декодируется в цифровой форме.

Поэтому дисциплина «Теория информации» для студентов специальности «Информационные системы» всецело ориентирована на учебник Б.Д. Кудряшова [3], в свою очередь, кратко учитывающий основные теоретические разделы Шенноновской теории информации, изложенной в фундаментальном учебнике В.Д. Колесника и Г.Ш. Полтырева [4].

Настоящее пособие является введением в общий курс теории информации. В пособии рассмотрены различные аспекты количественной меры информации объектов с дискретным множеством состояний, информационные характеристики дискретных источников информации и каналов связи, методы и средства кодирования информации.

Отличительной особенностью пособия является то, что методы обработки информации излагаются с позиций теории информации как части общей теории вероятности [5]. Соответственно этой особенности и прикладной направленности дисциплины учебное пособие «Основы теории информации» состоит из двух частей: 1). Вероятностные основы теории информации; 2). Введение в прикладную теорию информации.

Пособие адаптировано к главам 1, 2 лекционного курса [3], учебникам [6, 9] и ориентировано на проведение лабораторных работ со студентами, обучающимися по специальности «Информационные системы» по профилю общеобразовательной дисциплины «Высшая математика».

Наименования лабораторных работ соответствуют названиям параграфов учебного пособия и сведены в таблицу В.1. В каждом параграфе введена своя двойная нумерация примеров, задач, формул, рисунков и таблиц.

Таблица В.1.

№ п/п	№ лабораторной работы	Количество часов	Наименование лабораторной работы
1	1	2	Определение априорной и апостериорной вероятностей дискретного источника
2	2	4	Условная и полная вероятности дискретного источника
3	3	2	Случайные величины дискретных источников
4	4	2	Законы распределения дискретных случайных величин
5	5	2	Системы дискретных случайных величин
6	6	2	Дискретные случайные процессы
7	7	4	Марковские цепи
8	8	6	Энтропия как мера неопределенности
9	9	4	Оценка информационных характеристик дискретных источников
10	10	6	Основы теории кодирования и передачи информации

После изучения дисциплины студенты должны:

– быть ознакомленными с общими принципами построения информационных систем, с процессами и методами исследования процессов в этих системах;

– усвоить вероятностные основы теории информации, ее основные понятия и определения;

– закрепить полученные знания при решении прикладных задач кодирования и декодирования дискретной информации на ЭВМ в системе программирования MatLab.

Настоящее учебное пособие не претендует на полное и оригинальное изложение теории информации. Его основная цель – дать краткий справочный материал по основам этой теории и закрепить знания, полученные студентами на лекциях, решением практических примеров и задач для самостоятельной работы. Все задачи для самостоятельной работы снабжены решениями и ответами. Для более углубленного изучения дисциплины заинтересованным студентам рекомендованы дополнительные задачи по курсу «Теория информации». В приложениях 1–5 представлены программы на MatLab расчета цепей Маркова, информационных характеристик дискретных источников; схемы алгоритмов кодирования и декодирования информации, а также MatLab – программы арифметического неравномерного кодирования и декодирования для стационарного дискретного источника, заимствованные из [3].

Авторы выражают благодарность рецензентам проф. Мухопад Ю.Ф. и доц. Лайкову М.И., а также доц. Огородникову Ю.И. за конструктивные замечания и посильный труд по редактированию рукописи.