Передача информации от непрерывного источника [1 и др.].
Количество информации, получаемой от непрерывного источника по каналу с помехами, определяется так же, как в случае, рассмотренном выше, но с использованием понятия дифференциальной энтропии.
Для источника, имеющего непрерывное множество состояний, среднее количество информации, содержащееся в каждом принятом значении случайной величины S относительно переданного значения случайной величины Z, можно получить как разность априорной и апостериорной дифференциальных энтропий:
(3.39)
Соотношение (3.39) несложно выразить в виде , подобном (3.38):
(3.40)
Относительность дифференциальных энтропий в этом случае не принимается во внимание, поскольку количество информации не зависит от выбранного стандарта сравнения.
Основные свойства количества информации [1 и др.].
Несмотря на то что частное количество информации может быть величиной отрицательной, количество информации неотрицательно.
Действительно, согласно выражению
(3.41)
Тогда
При отсутствии статистической связи между случайными величинами Z и S
(3.42)
следовательно, в этом случае
(принятые элементы сообщения не несут никакой информации относительно переданных).
Количество информации в S относительно Z равно количеству информации в Z относительно S.
Для доказательства этого утверждения воспользуемся выражением
Аналогично можно записать
Так как H(Z,S)=H(S,Z), то
откуда
(3.43)
При взаимно однозначном соответствии между множествами передаваемых и принимаемых элементов сообщений, что имеет место в отсутствии помехи, апостериорная энтропия равна нулю и количество информации численно совпадает с энтропией источника:
(3.44)
Это максимальное количество информации о состоянии дискретного источника.
Пример 3.5. Определить среднее количество информации, получаемое при передаче элемента сообщения по каналу, описанному матрицей совестных вероятностей передачи и приема элементов сообщения
Безусловные вероятности посылаемых z и принимаемых s элементов сообщения определены при рассмотрении примера 3.3. Там же получены значения для априорной H(Z) и апостериорной H(Z|S) энтропий.
В соответствии с (3.37)
4. Информационные характеристики источника сообщений и канала связи.
4.1. Введение [1 и др.].
Опираясь на формализованное описание сигналов и введенную меру количества информации, рассмотрим информационные характеристики источников сообщений и каналов связи, позволяющие установить пути повышения эффективности систем передачи информации, и, в частности, определить условия, при которых можно достигнуть максимальной скорости передачи сообщений по каналу связи, как в отсутствии, так и при наличии помех.
Источник сообщений и каналы связи в системах передачи отличаются большим разнообразием по своей структуре и физической природе. Используются механические, акустические, оптические, электрические и радиоканалы. Для выяснения общих закономерностей необходимо абстрагироваться от их конкретного физического воплощения и оперировать формализованными понятиями источника сообщения и канала связи.
Источник дискретных сообщений формирует дискретные последовательности из ограниченного числа элементарных сообщений. На выходе источника непрерывных сообщений образуются непрерывные сообщения. Источник сообщений в теории информации полностью определяется статистическими данными о формируемых им сообщениях.
Под каналом связи подразумевается совокупность устройств и физических сред, обеспечивающих передачу сообщений из одного места в другое (или от одного момента времени до другого). Если канал используется для передачи дискретных сообщений, он называется дискретным каналом. Непрерывным будем называть канал, предназначенный для передачи непрерывных сообщений.
Если вредным действием помех в канале можно пренебречь, то для анализа используется модель в виде идеализированного канала, называемого каналом без помех. В идеальном канале каждому сообщению на входе однозначно соответствует определенное сообщение на выходе и наоборот.
Когда требования к достоверности велики и пренебрежение неоднозначностью связи между сообщениями z и s недопустимо, используется более сложная модель – канал с помехами.
Канал считается заданным, если известны статистические данные о сообщениях на его входе и выходе и ограничения, накладываемые на входные сообщения физическими характеристиками канала. Канал прямой передачи (от источника сообщений к их получателю), дополненный обратным каналом, например, для запроса повторной передачи в случае обнаружения ошибки, называют каналом с обратной связью.