- •Сибирский государственный аэрокосмический университет
- •© Сибирский государственный аэрокосмический университет имени академика м. Ф. Решетнева, 2007
- •Оглавление
- •Предисловие
- •1. Информационная метрика
- •1.1. Энтропия и ее свойства
- •1.2. Энтропия сложной системы
- •1.3. Условная энтропия. Объединение зависимых систем
- •1.4. Определение информационных потерь в каналах связи
- •2. Кодирование информации
- •2.1. Количественное определение избыточности в сообщениях
- •2.2. Оптимальное неравномерное кодирование
- •2.2.1. Кодирование методом шеннона-фано
- •2.2.2. Кодирование методом хаффмана
- •2.2.3. Кодирование методом хаффмана. Кодовое дерево
- •2.2.4. Определение оптимальности закодированных сообщений
- •2.3. Корректирующие коды
- •2.3.1. Код хемминга
- •2.3.2. Линейные групповые коды
- •3. Указания к выполнению лабораторных работ
- •3.1. Лабораторная работа № 1
- •3.2. Лабораторная работа № 2
- •3.3. Лабораторная работа № 3
- •3.4. Лабораторная работа № 4
- •3.5. Лабораторная работа № 5
- •Заключение
- •Библиографический список
Федеральное агентство по образованию
Сибирский государственный аэрокосмический университет
имени академика М. Ф. Решетнева
А.В. Мурыгин, А.Н. Бочаров
ТЕОРИЯ ИНФОРМАЦИИ
И КОДИРОВАНИЯ
Утверждено редакционно-издательским советом
университета в качестве лабораторного практикума
для студентов специальностей 230102,
очной и заочной формы обучения
Красноярск 2007
УДК 004.07
ББК 32.973.2
С 22
Рецензенты
доктор технических наук, профессор И.В. Коваленко
(Сибирский государственный аэрокосмический университет
имени академика М. Ф. Решетнева)
Мурыгин, А. В.
С 22 Теория информации и кодирования: лаб. практ. / А. В. Мурыгин, А. Н. Бочаров ; Сиб. гос. аэрокосмич. ун.-т. – Красноярск, 2007. – 27 с.
В работе рассмотрены основы теории информации, вопросы информационной метрики, оптимального неравномерного кодирования, принципы построения корректирующих кодов
УДК 004.07
ББК 32.973.2
© Сибирский государственный аэрокосмический университет имени академика м. Ф. Решетнева, 2007
© А. В. Мурыгин, А. Н. Бочаров, 2007
Оглавление
|
Предисловие ………………………………………………………………….. |
4 |
|
1. Информационная метрика ......................................................................... |
5 |
|
1.1. Энтропия и ее свойства ………………………………………….... |
5 |
|
1.2. Энтропия сложной системы ………………………………………. |
7 |
|
1.3. Условная энтропия. Объединение зависимых систем …………... |
8 |
|
1.4. Определение информационных потерь в каналах связи ………... |
9 |
|
2. Кодирование информации ……………………………………………….. |
10 |
|
2.1. Количественное определение избыточности в сообщениях…….. |
10 |
|
2.2. Оптимальное неравномерное кодирование ……………………… |
11 |
|
2.2.1. Кодирование методом Шеннона-Фано ………………….. |
11 |
|
2.2.2. Кодирование методом Хаффмана ………………………... |
12 |
|
2.2.3. Определение оптимальности закодированных сообщений |
12 |
|
2.3. Корректирующие коды ……………………………………………. |
13 |
|
2.3.1. Код Хемминга …………………………………………....... |
15 |
|
2.3.2. Линейные групповые коды ………………………………. |
16 |
|
3. Указания к выполнению лабораторных работ ……………………...... |
18 |
|
3.1. Лабораторная работа № 1. Энтропия как мера степени неопределенности системы ……………………………………………………. |
18 |
|
3.2. Лабораторная работа № 2. Энтропия сложной системой. Условная энтропия ……………………………………………………………. |
19 |
|
3.3. Лабораторная работа № 3. Определение избыточности сообщений. Оптимальное неравномерное кодирование ……………………... |
21 |
|
3.4. Лабораторная работа № 4. Определение и исправление ошибок в сообщении. Код Хемминга …………………………………………... |
22 |
|
3.5. Лабораторная работа № 5. Линейные групповые коды………….. |
24 |
|
Заключение …………………………………………………………………… |
26 |
|
Библиографический список ………………………………………………… |
27 |
|
|
|