![](/user_photo/2706_HbeT2.jpg)
- •120200 «Фотограмметрия и дистанционное зондирование»
- •Глава 1. Основы теории информации.
- •1.1. Информация. Общие понятия
- •Символ источника сообщений - это любое мгновенное состояние источника сообщений.
- •1.2.Измерение информации
- •1.3.Структурное (комбинаторное) определение количества информации (по Хартли).
- •1.4.Статистическое определение количества информации (по Шеннону).
- •1.5.Свойства функции энтропии источника дискретных сообщений.
- •1.6 Информационная емкость дискретного сообщения.
- •1.7. Информация в непрерывных сообщениях.
- •1.8. Энтропия непрерывных сообщений.
- •1.9. Экстремальные свойства энтропии непрерывных сообщений.
- •1.10. Информация в непрерывных сообщениях при наличии шумов.
- •Глава 2. Основы теории кодирования.
- •2.1. Кодирование. Основные понятия.
- •2.2. Избыточность кодов.
- •2.3. Эффективное кодирование равновероятных символов сообщений.
- •2.4. Эффективное кодирование неравновероятных символов сообщений
- •2.5. Алгоритмы эффективного кодирования неравновероятных взаимнонезависимых символов источников сообщений
- •2.6. Алгоритмы эффективного кодирования неравновероятных взаимозависимых символов сообщений
- •2.7. Недостатки алгоритмов эффективного кодирования.
- •2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия
- •2.9. Теоретические основы помехоустойчивого кодирования
- •2.10. Некоторые методы построения блочных корректирующих кодов
- •2.11. Кодирование как средство защиты информации от несанкционированного доступа.
- •Глава 3. Передача информации по каналам связи.
- •3.1. Канал связи. Общие понятия.
- •3.2. Передача дискретных сообщений по каналам связи.
- •3.3. Передача непрерывных сообщений по каналам связи.
- •3.4. Согласование каналов с сигналами.
- •Лабораторный практикум. Лабораторная работа №1. Информация в дискретных сообщениях.
- •П.1.А. Используя формулу Хартли, найти энтропию указанного источника дискретных сообщений (н1).
- •Лабораторная работа №2. Информация в непрерывных сообщениях.
- •Лабораторная работа № 3. Эффективное кодирование неравновероятных символов источника дискретных сообщений.
- •Некоторые полезные сведения из теории вероятностей.
- •Случайные события.
- •2. Алгебра событий
- •Случайные величины.
- •4.Статистические характеристики случайных величин.
- •5.Случайные функции.
- •Литература.
1.5.Свойства функции энтропии источника дискретных сообщений.
Свойства
функции энтропии можно наглядно
продемонстрировать на примере источника
дискретных сообщений A=(a1,
a2)
с объемом алфавита m
равного 2,
т.е. m=2.
В этом случае справедливо
,
и выражение (1.8) может быть записано в
виде:
(бит/символ).
График этой функции имеет вид, представленный на рис. 1.1.
Рис.1.1. График функции энтропии.
Из графика видно, что обращение вероятности появления одного из возможных символов в 0 или 1 вносит полную определенность, энтропия обращается в 0 и сообщение о приёме такого символа не содержит в себе никакой информации.
При
получение конкретного символа наиболее
неопределено и количество информации,
содержащееся в поступившем символе,
максимально.
Анализ формулы (1.8) и графика (Рис. 1.1) позволяет сформулировать основные свойства функции энтропии.
Энтропия источника дискретных сообщений есть величина вещественная, ограниченная и положительная.
Энтропия равна 0, если с вероятностью, равной единице, всегда выбирается один и тот же символ.
Энтропия максимальна, если все символы источника сообщений появляются независимо и равновероятно.
Интересно отметить, что сравнение выражений (1.5), (1.7) и (1.10) показывает, что формула Хартли является частным случаем формулы Шеннона при условии независимости и равновероятности появления символов в сообщении, а формула Шеннона, в свою очередь, является частным случаем условной энтропии при условии, что символы сообщения независимы. Действительно, из (1.10) следует, что количество информации ,содержащееся в сообщении, состоящем из n неравновероятных и взаимно зависимых символов определяется выражением:
.
Если
символы сообщения взаимно независимы,
то
и
,
следовательно, это выражение преобразуется
к виду:
=
Последнее выражение соответствует формуле Шеннона.
В
случае равновероятного появления
символов сообщения
,
при j=
1, 2,…, m.
(m
– объём
алфавита) и выше приведённое выражение
для формулы Шеннона после соответствующего
преобразования примет вид:
,
который соответствует формуле Хартли.
Таким образом, количество информации, определяемое по Хартли, т.е. при допущении полной независимости и равной вероятности появления отдельных символов сообщения, определяет максимально возможное количество информации в сообщении заданной длины (n).
При неравной вероятности появления символов (формула Шеннона) количество информации, содержащееся в сообщении заданной длины (n), снижается. Другим фактором, снижающим энтропию, а, следовательно, и количество информации в сообщении заданной длины (n), является наличие статистической зависимости между символами – корреляции.
Из-за корреляционных связей между символами и неравновероятного их появления количество информации в реальных сообщениях падает. Количественно эти потери информации характеризуются коэффициентом избыточности (R)
(1.11)
где
—
максимальное количество информации,
которое может содержать один символ
сообщения, определяемое по формуле
(1.6);
Н — среднее количество информации, которое переносит один символ в реальных сообщениях;
m — число символов в алфавите источника сообщений (объём алфавита).
Избыточность
говорит о том, что число символов в
сообщении больше, чем это требовалось
бы при полном их
использовании,
т.е. при условии, что символы появляются
равновероятно и взаимно независимо.
Интересно отметить, что, для европейских языков избыточность составляет не менее 0.5.