![](/user_photo/2706_HbeT2.jpg)
- •120200 «Фотограмметрия и дистанционное зондирование»
- •Глава 1. Основы теории информации.
- •1.1. Информация. Общие понятия
- •Символ источника сообщений - это любое мгновенное состояние источника сообщений.
- •1.2.Измерение информации
- •1.3.Структурное (комбинаторное) определение количества информации (по Хартли).
- •1.4.Статистическое определение количества информации (по Шеннону).
- •1.5.Свойства функции энтропии источника дискретных сообщений.
- •1.6 Информационная емкость дискретного сообщения.
- •1.7. Информация в непрерывных сообщениях.
- •1.8. Энтропия непрерывных сообщений.
- •1.9. Экстремальные свойства энтропии непрерывных сообщений.
- •1.10. Информация в непрерывных сообщениях при наличии шумов.
- •Глава 2. Основы теории кодирования.
- •2.1. Кодирование. Основные понятия.
- •2.2. Избыточность кодов.
- •2.3. Эффективное кодирование равновероятных символов сообщений.
- •2.4. Эффективное кодирование неравновероятных символов сообщений
- •2.5. Алгоритмы эффективного кодирования неравновероятных взаимнонезависимых символов источников сообщений
- •2.6. Алгоритмы эффективного кодирования неравновероятных взаимозависимых символов сообщений
- •2.7. Недостатки алгоритмов эффективного кодирования.
- •2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия
- •2.9. Теоретические основы помехоустойчивого кодирования
- •2.10. Некоторые методы построения блочных корректирующих кодов
- •2.11. Кодирование как средство защиты информации от несанкционированного доступа.
- •Глава 3. Передача информации по каналам связи.
- •3.1. Канал связи. Общие понятия.
- •3.2. Передача дискретных сообщений по каналам связи.
- •3.3. Передача непрерывных сообщений по каналам связи.
- •3.4. Согласование каналов с сигналами.
- •Лабораторный практикум. Лабораторная работа №1. Информация в дискретных сообщениях.
- •П.1.А. Используя формулу Хартли, найти энтропию указанного источника дискретных сообщений (н1).
- •Лабораторная работа №2. Информация в непрерывных сообщениях.
- •Лабораторная работа № 3. Эффективное кодирование неравновероятных символов источника дискретных сообщений.
- •Некоторые полезные сведения из теории вероятностей.
- •Случайные события.
- •2. Алгебра событий
- •Случайные величины.
- •4.Статистические характеристики случайных величин.
- •5.Случайные функции.
- •Литература.
3.2. Передача дискретных сообщений по каналам связи.
Канал связи
представляет собой совокупность
технических средств и физических сред,
предназначенную для передачи сообщений
из одной точки пространства в другую.
Эта передача чаще всего осуществляется
в условиях неизбежных помех. В результате
воздействия помех каждый отправленный
символ xi
может быть
опознан получателем как символ
,
причем yk
xi.
Такое событие называют ошибкой.
Передачу символов
сообщения можно рассматривать как
составной эксперимент, состоящий в
отправлении символов сообщения
и получения
символов
.
С точки зрения теории информации
физическое устройство канала несущественно,
а свойства канала при этом полностью
описываются матрицей переходных
вероятностей
или
,
где есть вероятность передачи символа , если зафиксирован полученный символ ,
– вероятность получения символа , если зафиксирован (передается) символ .
При этом предполагается, что новые символы (сверх заданного объема алфавита m) не могут быть созданы под влиянием помех.
Следовательно,
-
;
.
Если помехи отсутствуют, то все диагональные элементы матрицы или матрицы равны единице, а остальные – нулю. При очень больших помехах все элементы матриц могут быть приблизительно одинаковыми.
При наличии помех, передача символа не снимает полностью неопределенность относительно полученного символа . Таким образом, передача символов по каналу описывается ниже перечисленными мерами неопределенности (энтропиями).
Неопределенность
передаваемых символов при условии их
независимости
:
-
.
Неопределенность
полученных символов
:
-
.
Неопределенность
получения символов при зафиксированном
символе
:
-
.
Эта величина называется частной энтропией принятых символов.
Полная энтропия
принятых символов вычисляется усреднением
по
вероятностям передаваемых символов
:
Величину
называют средней условной энтропией
принимаемых символов.
Неопределенность
передаваемых символов при зафиксированном
принятом символе
:
Эта величина является частной энтропией передаваемых символов.
Полную энтропию
передаваемых символов находят усреднением
энтропии
по вероятностям принимаемых символов
:
-
.
В соответствии с основным соотношением теории информации (1.3), прирост количества информации (I ), связанный с приемом одного символа сообщения, определяется выражением:
-
(3.1)
где
– априорная вероятность появления
символа;
– апостериорная
вероятность появления этого же символа.
Справедливо
также соотношение:
-
.
(3.2)
Из выражений (3.1)
и (3.2) видно, что, по мере уменьшения
помех, величина
будет стремиться к
,
а при
увеличении помех будет стремиться к
нулю.