- •В.Г. Ланских теория информации
- •Предисловие
- •Содержание
- •Лекция 1 введение
- •Глава 1.
- •1.1. Случайные события и их вероятности
- •Случайные величины и процессы
- •1.2.1. Дискретные случайные величины и процессы
- •1.2.2. Непрерывные случайные величины и процессы
- •1.3. Методы спектрального описания случайных процессов
- •1.3.1. Понятие спектра детерминированного процесса
- •1.3.2. Спектральное описание случайных процессов
- •1.4. Дискретизация и квантование
- •1.4.1. Дискретизация
- •1.4.2. Квантование
- •1.5. Классификация помех
- •1.6. Модели каналов
- •1.6.1. Модели дискретных каналов
- •1.6.2. Модели непрерывных каналов
- •1.7. Методы модуляции
- •1.7.1. Непрерывные методы модуляции и манипуляции
- •1.7.2. Методы импульсной модуляции
- •1.7.3. Методы цифровой модуляции
- •1.8. Согласование характеристик сигнала и канала
- •Глава 2 количественные оценки информационных объектов и процессов
- •2.1. Подходы к определению количества информации
- •Основы статистического подхода к определению количества информации
- •2.3. Энтропия объединения (ансамбля)
- •2.4. Основная теорема Шеннона для дискретного канала
- •2.5. Энтропийные характеристики непрерывных информационных
- •Глава 3 основы теории кодирования
- •3.1. Назначение и классификация кодов
- •3.2. Эффективное кодирование
- •3.3. Помехоустойчивое кодирование
- •3.3.2. Классификация избыточных двоичных кодов
- •3.3.3 Простейшие блоковые коды с обнаружением ошибок
- •3.3.4. Групповые коды с обнаружением и исправлением ошибок
- •Важнейшие классы полиномиальных кодов
- •3.3.5. Сверточные коды
- •3.3.6. Каскадные коды
- •3.3.7. Оценка эффективности применения корректирующих кодов
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное бюджетное образовательное учреждение
высшего профессионального образования
«Вятский государственный университет»
Факультет автоматики и вычислительной техники
Кафедра автоматики и телемеханики
В.Г. Ланских теория информации
Киров 2012
УДК 621.377.037.3 (075.8)
ББК хх.хх
Л хх
Рекомендовано к изданию методическим советом
ФАВТ ФГБОУ ВПО «ВятГУ»
Допущено редакционно-издательской комиссией методического совета ФГБОУ ВПО «ВятГУ» в качестве учебного пособия для студентов направления подготовки 230400 «Информационные системы и технологии», всех профилей подготовки всех форм обучения
Рецензенты: |
В.С. Князьков, д.т.н., профессор кафедры ЭВМ ФГБОУ ВПО «ВятГУ» |
|
В.И. Пономарев, д.т.н., профессор, директор ЗАО «НПП «ЗНАК» |
Л хх |
Ланских, В. Г. |
|
Теория информации: учебное пособие для студентов направления 230400 «Информационные системы и технологии» всех профилей подготовки, всех форм обучения/ В.Г. Ланских. – Киров: ПРИП ФГБОУ ВПО «ВятГУ», 2012. – 262 с. |
В издании излагаются основы статистического подхода к определению характеристик информационных объектов – сообщений, каналов, сигналов, помех. Рассматриваются основы теории эффективного и помехоустойчивого кодирования информации.
© ФГБОУ ВПО «ВятГУ», 2012
ISBN ххх-хххх-хх-х-х
Предисловие
Предлагаемое учебное пособие содержит полный лекционный курс по дисциплине «Теория информации», читаемый автором для студентов специальности 230400 «Информационные системы и технологии». Содержание курса определяется тематическим планом рабочей программы, составленной на основании Государственного образовательного стандарта высшего профессионального образования.
При написании пособия автор исходил из того, что при ограниченном объеме времени, отводимого на изучение дисциплины, очень важным является тщательный отбор материала, который, во-первых, уже изучался в какой-то степени в предшествующих дисциплинах, во-вторых, необходим для изучения большинства последующих смежных дисциплин, использующих этот материал.
В связи с этим настоящее учебное пособие имеет двойную структуру. Текст учебного пособия с содержательной точки зрения разбит на главы и параграфы, а с временной точки зрения – на лекции. Этим обстоятельством и объясняется нетрадиционная форма раздела «Содержание».
С учетом тематического плана содержание лекционного курса и настоящего учебного пособия состоит из трех глав.
Вероятностный характер сообщений, сигналов, каналов и помех обуславливает необходимость рассмотрения математических методов описания (построения математических моделей) названных информационных объектов и процессов. Детализация этого вывода является содержанием первой главы курса, называемой «Теоретические методы описания информационных объектов и процессов».
Вероятностные свойства сообщений, сигналов, каналов и помех позволяют ввести статистической определение количественной меры информации и на ее основе количественную меру таких характеристик, как избыточность, производительность источника, скорость передачи информации и пропускная способность канала. Детализация перечисленных понятий является содержанием второй главы курса, называемой «Количественные оценки информационных объектов и процессов».
Важнейшей операцией по преобразованию формы представления информации, которая оказывает существенное влияние на все перечисленные ранее характеристики информационных систем, является кодирование. Рассмотрению различных методов кодирования информации посвящена третья глава настоящего курса, называемая «Основы теории кодирования».
С учетом учебного плана и учебного графика на дисциплину отводится 36 часов лекционных занятий. В соответствии с этим настоящее учебное пособие структурировано на 17 двухчасовых лекций (первая лекция - вводная).
Каждая лекция завершается перечнем вопросов, которые используются студентами для самоконтроля, а преподавателем – для контроля изученного материала.