- •120200 «Фотограмметрия и дистанционное зондирование»
- •Глава 1. Основы теории информации.
- •1.1. Информация. Общие понятия
- •Символ источника сообщений - это любое мгновенное состояние источника сообщений.
- •1.2.Измерение информации
- •1.3.Структурное (комбинаторное) определение количества информации (по Хартли).
- •1.4.Статистическое определение количества информации (по Шеннону).
- •1.5.Свойства функции энтропии источника дискретных сообщений.
- •1.6 Информационная емкость дискретного сообщения.
- •1.7. Информация в непрерывных сообщениях.
- •1.8. Энтропия непрерывных сообщений.
- •1.9. Экстремальные свойства энтропии непрерывных сообщений.
- •1.10. Информация в непрерывных сообщениях при наличии шумов.
- •Глава 2. Основы теории кодирования.
- •2.1. Кодирование. Основные понятия.
- •2.2. Избыточность кодов.
- •2.3. Эффективное кодирование равновероятных символов сообщений.
- •2.4. Эффективное кодирование неравновероятных символов сообщений
- •2.5. Алгоритмы эффективного кодирования неравновероятных взаимнонезависимых символов источников сообщений
- •2.6. Алгоритмы эффективного кодирования неравновероятных взаимозависимых символов сообщений
- •2.7. Недостатки алгоритмов эффективного кодирования.
- •2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия
- •2.9. Теоретические основы помехоустойчивого кодирования
- •2.10. Некоторые методы построения блочных корректирующих кодов
- •2.11. Кодирование как средство защиты информации от несанкционированного доступа.
- •Глава 3. Передача информации по каналам связи.
- •3.1. Канал связи. Общие понятия.
- •3.2. Передача дискретных сообщений по каналам связи.
- •3.3. Передача непрерывных сообщений по каналам связи.
- •3.4. Согласование каналов с сигналами.
- •Лабораторный практикум. Лабораторная работа №1. Информация в дискретных сообщениях.
- •П.1.А. Используя формулу Хартли, найти энтропию указанного источника дискретных сообщений (н1).
- •Лабораторная работа №2. Информация в непрерывных сообщениях.
- •Лабораторная работа № 3. Эффективное кодирование неравновероятных символов источника дискретных сообщений.
- •Некоторые полезные сведения из теории вероятностей.
- •Случайные события.
- •2. Алгебра событий
- •Случайные величины.
- •4.Статистические характеристики случайных величин.
- •5.Случайные функции.
- •Литература.
Лабораторная работа № 3. Эффективное кодирование неравновероятных символов источника дискретных сообщений.
Цель работы. Ознакомление с алгоритмами эффективного кодирования неравновероятных символов источника дискретных сообщений и сравнение их эффективности.
Содержание работы. По номеру в списке группы ( k ) из Таблицы 1 выбрать закон распределения вероятности появления символов источника дискретных сообщений с объёмом алфавита М=8.
Произвести эффективное кодирование заданного источника дискретных сообщений по алгоритму Шеннона-Фено и по алгоритму Хафмена.
Рассчитать для построенных на основе этих алгоритмов кодов:
а). среднюю длину неравномерного кода (nн);
б). избыточность неравномерного кода(Rнк);
в). энтропию элементов символов полученных кодов(H1н);
Сравнить полученные результаты с соответствующими параметрами равномерного двоичного цифрового кода.
Таблица 1.
-
mi
1
2
3
4
5
6
7
8
9
10
m1
0.10
0.18
0.07
0.65
0.55
0.60
0.01
0.15
0.30
0/01
m2
0.51
0.10
0.03
0.05
0.05
0.06
0.02
0.10
0.20
0.05
m3
0.02
0.47
0.11
0.06
0.16
0.02
0.02
0.30
0.10
0.03
m4
0.10
0.07
0.33
0.03
0.03
0.10
0.15
0.35
0.05
0.02
m5
0.02
0.03
0.25
0.02
0.02
0.02
0.02
0.02
0.15
0.10
m6
0.20
0.02
0.01
0.15
0.02
0.15
0.45
0.02
0.10
0.14
m7
0.01
0.04
0.17
0.02
0.02
0.03
0.30
0.01
0.07
0.25
m8
0.04
0.09
0.03
0.02
0.15
0.05
0.03
0.05
0.03
0.40
Контрольные вопросы.
Какой вид кодирования называют эффективным и в чем его специфика?
Что такое избыточность кодов?
Какие коды называются равномерными?
На каких принципах основано построение эффективных кодов при неравновероятном появлении символов сообщения?
Принцип построения эффективного кода по алгоритму Шеннона-Фено.
Принцип построения эффективного кода по алгоритму Хафмена.
Приложение.