Министерство образования и науки РФ

Национальный исследовательский

ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

Н.Н. Куцый, в.Н. Сизых введение в теорию информации учебное пособие

для студентов, обучающихся по специальности

«Автоматизированные системы управления»

ИРКУТСК 2014

УДК 621.391 (075)

ББК 32.811я73

К88

Рецензенты:

Ю.Ф. Мухопад, доктор технических наук, профессор, заслуженный деятель науки РФ, профессор кафедры автоматизации производственных процессов

(Иркутский государственный университет путей сообщения)

М.И. Лайков, кандидат технических наук, доцент кафедры авиационных

электросистем и пилотажно-навигационных комплексов

(Иркутский филиал МГТУ (ГА))

Куцый Н.Н.

К88 Введение в теорию информации: учеб. пособие / Н.Н. Куцый, В.Н. Сизых. – Иркутск: ИрГТУ, 2014. – 90 с.

Учебное пособие предназначено для ознакомления студентов с основами теории информации с позиции прикладной теории вероятности. В первой части пособия кратко описаны вероятностные основы данной теории для дискретных постоянных источников и дискретных источников с памятью (цепи Маркова). Во второй части представлены основы прикладной теории информации дискретных источников с памятью, информационные характеристики этих источников, методы и алгоритмы кодирования и декодирования информации в каналах связи. Приведены примеры и задачи для самостоятельной работы, дополнительные задачи для углубленного изучения курса «Теория информации».

Учебное пособие предназначено для студентов специальности «Автоматизированные системы управления», изучающих дисциплину «Теория информации».

Ил. 23 . Табл. 23 . Библиогр. 10 назв.

© Иркутский государственный технический

университет, 2014

Оглавление

ВВЕДЕНИЕ ……………………………………………………………... 5

Часть 1. Вероятностные основы теории информации

1. Определение априорной и апостериорной вероятностей дискретных источников……………………………………………………………………..8

1.1. Дискретные источники сообщений…………………………………8

1.1.1. Основные определения и оценка случайного события………….8

1.1.2. Определение априорной информации…………………………..10

1.1.3. Определение апостериорной информации……………………...11

2. Условная и полная вероятности дискретного источника…………..13

2.1. Условная вероятность………………………………………………13

2.2. Полная вероятность…………………………………………………15

3. Случайные величины дискретных источников……………………..17

3.1. Случайные величины……………………………………………….17

4. Законы распределения дискретных случайных величин…………..19

4.1. Числовые характеристики дискретных случайных величин…….19

4.2. Типовые законы распределения вероятностей дискретных случайных величин…………………………………………………...…21

5. Системы случайных величин………………………………………..23

5.1. Характеристики систем случайных величин…………… ………23

5.2. Закон распределения систем дискретных случайных величин….26

6. Дискретные случайные процессы……………………………………28

6.1. Случайные процессы……………………………………………….28

6.2. Потоки событий…………………………………………………….29

7. Марковские цепи……………………………………………………..32

7.1. Марковские процессы с дискретными состояниями……………..32

7.2. Марковские цепи……………………………………………………32

7.3. Расчет цепи Маркова для стационарного режима………………..35