![](/user_photo/2706_HbeT2.jpg)
- •120200 «Фотограмметрия и дистанционное зондирование»
- •Глава 1. Основы теории информации.
- •1.1. Информация. Общие понятия
- •Символ источника сообщений - это любое мгновенное состояние источника сообщений.
- •1.2.Измерение информации
- •1.3.Структурное (комбинаторное) определение количества информации (по Хартли).
- •1.4.Статистическое определение количества информации (по Шеннону).
- •1.5.Свойства функции энтропии источника дискретных сообщений.
- •1.6 Информационная емкость дискретного сообщения.
- •1.7. Информация в непрерывных сообщениях.
- •1.8. Энтропия непрерывных сообщений.
- •1.9. Экстремальные свойства энтропии непрерывных сообщений.
- •1.10. Информация в непрерывных сообщениях при наличии шумов.
- •Глава 2. Основы теории кодирования.
- •2.1. Кодирование. Основные понятия.
- •2.2. Избыточность кодов.
- •2.3. Эффективное кодирование равновероятных символов сообщений.
- •2.4. Эффективное кодирование неравновероятных символов сообщений
- •2.5. Алгоритмы эффективного кодирования неравновероятных взаимнонезависимых символов источников сообщений
- •2.6. Алгоритмы эффективного кодирования неравновероятных взаимозависимых символов сообщений
- •2.7. Недостатки алгоритмов эффективного кодирования.
- •2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия
- •2.9. Теоретические основы помехоустойчивого кодирования
- •2.10. Некоторые методы построения блочных корректирующих кодов
- •2.11. Кодирование как средство защиты информации от несанкционированного доступа.
- •Глава 3. Передача информации по каналам связи.
- •3.1. Канал связи. Общие понятия.
- •3.2. Передача дискретных сообщений по каналам связи.
- •3.3. Передача непрерывных сообщений по каналам связи.
- •3.4. Согласование каналов с сигналами.
- •Лабораторный практикум. Лабораторная работа №1. Информация в дискретных сообщениях.
- •П.1.А. Используя формулу Хартли, найти энтропию указанного источника дискретных сообщений (н1).
- •Лабораторная работа №2. Информация в непрерывных сообщениях.
- •Лабораторная работа № 3. Эффективное кодирование неравновероятных символов источника дискретных сообщений.
- •Некоторые полезные сведения из теории вероятностей.
- •Случайные события.
- •2. Алгебра событий
- •Случайные величины.
- •4.Статистические характеристики случайных величин.
- •5.Случайные функции.
- •Литература.
1.3.Структурное (комбинаторное) определение количества информации (по Хартли).
Данное определение количества информации применимо лишь к дискретным сообщениям, причем таким, у которых символы равновероятны и взаимно независимы. Количество информации, содержащееся в такого рода сообщениях определяют из следующих соображений.
Пусть
дан источник дискретных сообщений
,
объем алфавита которого равен m.
Предположим, что каждое сообщение
включает в себя n
символов, при этом сообщения различаются
либо набором символов, либо их размещением.
Число различных сообщений
,
состоящих из n
символов, будет
.
Предположим, что все сообщения
равновероятны и одинакова ценность
этих сообщений.
Тогда легко подсчитать количество информации, которое несет каждое сообщение.
Вероятность
появления каждого такого сообщения
может быть легко найдена:
.
И,
следовательно, количество информации
в одном сообщении
,
в соответствии с (1.4), равно:
(бит).
(1.5)
Эту
формулу предложил Р.Хартли в 1928 г., и она
носит его имя. Разделив
на количество символов в сообщении (n),
получим значение среднего количества
информации
,
приходящееся на один символ сообщения:
(бит
/ символ),
(1.6)
где
- вероятность появления одного символа
сообщения.
Из соотношений (1.5) и (1.6) вытекают важные свойства дискретных сообщений, символы которых равновероятны и взаимно независимы.
Количество информации в сообщении пропорционально полному числу символов в нем – n и логарифму объема алфавита- m.
Среднее количество информации, приходящееся на один символ, зависит только от m – объема алфавита.
В
реальных дискретных сообщениях символы
часто появляются с различными вероятностями
и, более того, часто существуют
статистическая связь между символами,
характеризующаяся условной вероятностью
,
которая равна вероятности появления
символа
после символа
.
Например, в тексте на русском языке
вероятность появления различных символов
(букв) различна. В среднем, в тексте из
1000 букв буква О появляется 110 раз, Е –
87, А – 75, Т – 65, Н – 65, С – 55, кроме того,
существуют статистические связи между
буквами, скажем, после гласных букв не
может появиться Ь или Ъ.
Исходя из этого, применение формулы вычисления количества информации по Хартли (1.5) и (1.6) не всегда корректно.
1.4.Статистическое определение количества информации (по Шеннону).
Этот подход к определению количества информации в сообщениях, учитывающий не равновероятное появление символов сообщения и их статистическую связь, был предложен К.Шенноном в 1946 г.
Рассмотрение этого метода удобно начать с определения количества информации в дискретных сообщениях, символы которых появляются не равновероятно, однако статистическая связь между символами отсутствует.
Пусть,
как и ранее, дан источник дискретных
сообщений
,
с объемом алфавита равным m,
который генерирует сообщение, состоящее
из n
символов. Допустим, что в этом сообщении
символ
встречается
раз, символ
раз и так далее вплоть до символа
,
который встречается
раз, причем очевидно, что
При
приеме одного символа
,
как следует из (1.4), получаем количество
информации
:
,
где
- априорная вероятность появления
символа
.
А
количество информации
,
содержащееся в
взаимно независимых символах
,
будет равно:
.
Аналогично,
в
символах
содержится количество информации
:
,
и так далее вплоть до
.
Очевидно, что полное количество информации (In), содержащееся в сообщении из n символов, равно сумме количеств информации содержащихся во всех m символах алфавита.
(бит).
Разделив и умножив это выражение на n (n ≠ 0), приведем это выражение к виду:
(бит)
Ясно,
что отношение
– это априорная вероятность появления
i-го
символа. Таким образом, при достаточно
большом n,
имеем:
,
причем
,
как сумма вероятностей полной группы
событий.
Окончательно получим:
(бит)
(1.7)
При этом среднее количество информации, приходящееся на один символ (Н), будет равно:
(1.8)
Определенная таким образом величина Н называется энтропией, а формула (17) известна как формула Шеннона для энтропии источника дискретных сообщений. Энтропия определяет среднее количество информации, приходящееся на один символ дискретного сообщения.
В общем случае, символы, входящие в сообщения, могут появляться не только с различной вероятностью, но и быть статистически зависимыми. Статистическая зависимость может быть выражена условной вероятностью появления одного символа после другого.
Чтобы учесть статистические связи между символами, входящими в сообщение, вводят понятие условной энтропии.
Условная
энтропия (
) определяется выражением
,
(1.9)
где
– условная вероятность появления
символа
после символа
.
Количество информации
,
содержащееся в такого рода сообщении
длиной n
символов,
равно:
(бит)
(1.10)