- •Введение.
- •. Изложение теоретических глав написано в предположении, что студенты знакомы с основными понятиями из курса высшей математики.
- •Глава 1. Основы теории информации.
- •1.1. Информация. Общие понятия
- •Символ источника сообщений - это любое мгновенное состояние источника сообщений.
- •1.2.Измерение информации
- •1.3.Структурное (комбинаторное) определение количества информации (по Хартли).
- •1.4.Статистическое определение количества информации (по Шеннону).
- •1.5.Свойства функции энтропии источника дискретных сообщений.
- •1.6 Информационная емкость дискретного сообщения.
- •1.7. Информация в непрерывных сообщениях.
- •1.8. Энтропия непрерывных сообщений.
- •1.9. Экстремальные свойства энтропии непрерывных сообщений.
- •1.10. Информация в непрерывных сообщениях при наличии шумов.
- •Глава 2. Основы теории кодирования.
- •2.1. Кодирование. Основные понятия.
- •2.2. Избыточность кодов.
- •2.3. Эффективное кодирование равновероятных символов сообщений.
- •2.4. Эффективное кодирование неравновероятных символов сообщений
- •2.5. Алгоритмы эффективного кодирования неравновероятных взаимнонезависимых символов источников сообщений
- •2.6. Алгоритмы эффективного кодирования неравновероятных взаимозависимых символов сообщений
- •2.7. Недостатки алгоритмов эффективного кодирования.
- •2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия
- •2.9. Теоретические основы помехоустойчивого кодирования
- •2.10. Некоторые методы построения блочных корректирующих кодов
- •2.11. Кодирование как средство защиты информации от несанкционированного доступа.
- •Глава 3. Передача информации по каналам связи.
- •3.1. Канал связи. Общие понятия.
- •3.2. Передача дискретных сообщений по каналам связи.
- •3.3. Передача непрерывных сообщений по каналам связи.
- •3.4. Согласование каналов с сигналами.
- •Глава 4. Использование информационных моделей при анализе систем автоматической обработки изображений и их основных узлов.
- •4.1. Информационные модели систем автоматической обработки изображений
- •4.2. Информационная оценка качества оптических изображений.
- •4.3. Информационная оценка качества фотоизображений.
- •4.4. Информационная оценка датчиков сообщений
- •Лабораторный практикум. Лабораторная работа №1. Информация в дискретных сообщениях.
- •П.1.А. Используя формулу Хартли, найти энтропию указанного источника дискретных сообщений (н1).
- •Лабораторная работа №2. Информация в непрерывных сообщениях.
- •Лабораторная работа № 3. Эффективное кодирование неравновероятных символов источника дискретных сообщений.
- •Лабораторная работа №4. Информационное моделирование источников визуальных сообщений и фотоизображений
- •Случайные события.
- •2. Алгебра событий
- •3. Случайные величины.
- •4.Статистические характеристики случайных величин.
- •5.Случайные функции.
- •Литература.
- •4. Использование информационных моделей при анализе систем
Литература.
1.Журкин И.Г. Шавенько Н.К Сигналы Учебное пособие по курсу «Автоматизированная обработки аэрокосмической информации. –М.: Изд. МИИГАиК, 2007.
2.Дмитриев В.И. Прикладная теория информации.- М.:Изд.«Высшая школа»,1999г.
3.Хэмминг Р.В. Теория кодирования и теория инфорции.―М.:Изд. «Радио и связь»,1998г.
4.Колесник В.Д., Полтырев Г.Ш. Курс теории информации. -М.: Изд.»Наука», 1994г.
5.Мощиль В.И., Шавенько Н.К. Основы теории информации. Учебное пособие. –М.: Изд. МИИГАиК, 2006.
Мощиль В. И., Шавенько Н. К. Основы теории кодирования. Учебное пособие. –М.: Изд. МИИГАиК, 1999.
7. Новиков Ф.А. Дискретная математика для программистов. –Санкт–Петербург; Изд.дом «Питер», 2008.
Содержание-
Введение 3
1. Основы теории информации 4
Информация. Общие понятия. 4
Измерение информации 5
Структурное (комбинаторное) определение количества
информации (по Хартли) 8
Статистическое определение количества информации (по Шеннону) 10
Свойства функции энтропии источника дискретных сообщений 11
Информационная ёмкость дискретного сообщения 14
Информация в непрерывных сообщениях. 16
Энтропия непрерывных сообщений 17
Экстремальные свойства энтропии непрерывных сообщений 20
Информация в непрерывных сообщениях при наличии шумов 24
2. Основы теории кодирования 26
2.1. Кодирование. Основные понятия 26
2.2. Избыточность кодов 29
2.3. Эффективное кодирование равновероятных символов сообщений 31
2.4. Эффективное кодирование неравновероятных символов сообщений 32
2.5. Алгоритмы эффективного кодирования неравновероятных
взаимнонезависимых символов источников сообщений 34
2.6. Алгоритмы эффективного кодирования неравновероятных
взаимозависимых символов сообщений 41
2.7. Недостатки алгоритмов эффективного кодирования 42
2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия 42
2.9. Теоретические основы помехоустойчивого кодирования 43
2.10.Некоторые методы построения блочных корректирующих кодов ………….49
2.11.Кодирование как средство защиты информации от
несанкционированного доступа 52
3. Передача информации по каналам связи 57
3.1. Канал связи. Общие понятия 57
3.2. Передача дискретных сообщений по каналам связи 59
3.3. Передача непрерывных сообщений по каналам связи 62
3.4. Согласование каналов с сигналами 63
4. Использование информационных моделей при анализе систем
автоматической обработки изображений и их основных узлов………………....66
4.1. Информационные модели систем автоматической обработки изображений....66
4.2. Информационная оценка качества оптических изображений………………….74
4.3. Информационная оценка качества фотоизображений………………………….88
4.4. Информационная оценка датчиков сообщений…………………………………96
Лабораторный практикум.………………………………………...………………….103
Лабораторная работа № 1………………………………………………………...……103
Лабораторная работа № 2………………………………………………………...……106
Лабораторная работа № 3………………………………………………………...……110
Лабораторная работа № 4………………………………………………………...……111
Приложение. Некоторые полезные сведения из теории вероятностей.................115
Литература………………………………………………………………………….……123