Измеряется производительность источника в единицах измерения информации, отнесенных к единице времени - секунде.

С точки зрения передачи информации, производительностью источника называют среднее количество информации, выдаваемой источником в единицу времени.

Таким образом, знание информационных характеристик источников сообщений, умение их определять позволяет сравнивать между собой различные источники сообщений и обосновывать требования, предъявляемые к каналам передачи информации.

7.1.3. Информационные характеристики источников непрерывных сообщений

Основные информационные характеристики источников непрерывных сообщений следующие: дифференциальная энтропия, эпсилон-энтропия, эпсилон-производительность, избыточность, объем информации.

Дифференциальная энтропия.

Аналитическое выражение для энтропии источника непрерывных сообщений получают путем предельного перехода из формулы для энтропии дискретного источника .

Рис. 7.4 Вероятность того, что будет находиться в

интервале , равна

Если одномерная плотность распределения случайного стационарного процесса равна, то вероятность того, чтобудет находиться в интервале, равна (рис.7.4).

Если всего интервалов квантования , то энтропия источника непрерывных сообщений

. (7.11)

.В результате предельного перехода при получим

. (7.12)

Первую составляющую (7.12)

(7.13)

называют дифференциальной энтропией источника непрерывных сообщений. Вторая составляющая и показывает, что энтропия источника непрерывных сообщений стремится к бесконечности.

Скорость передачи информации, пропускную способность и другие основные информационные характеристики источников определяют через разность энтропии. Поэтому вторая составляющая в этих операциях сокращается и величиной можно характеризовать информационные свойства источников непрерывных сообщений. В отличие от энтропии источников дискретных сообщенийможет принимать положительные, отрицательные и нулевые значения. Величинаизменяется при изменении масштаба измерения.

Определим дифференциальную энтропию для сигнала с плотностью распределения

,

где - математическое ожидание,- дисперсия.

По определению первый интеграл . А второй интегралравен дисперсии

.

Поэтому

. (7.14)

Эпсилон-энтропия источников.

Реальная чувствительность приемных устройств органов чувств человека и разрешающая способность различных информационных измерительных систем ограничены. Поэтому воспроизводить непрерывные сообщения абсолютно точно не требуется. Наличие помех и искажений сигналов в реальных каналах делает точное воспроизведение сообщений невозможным. Поэтому вводят понятия эпсилон-энтропии.

Эпсилон-энтропия – это то среднее количество информации в одном независимом отсчете непрерывного случайного процесса , которое необходимо для воспроизведения этого сигнала с заданной среднеквадратической погрешностью .

Среднее количество принятой информации можно определить как разность дифференциальной энтропии источника непрерывных сообщений и информации , потерянной из-за шумов квантования.

Эпсилон-энтропия – это то минимальное среднее количество информации , которое позволяет считать и«похожими» в среднеквадратическом смысле:

,

достигается при нормальном распределении, тогда -условная энтропия, где – математическое ожидание квадрата значения аддитивной помехи (шума квантования).

Тогда эпсилон-энтропиябудет равна:

. (7.15)

Если непрерывный случайный процесс распределен по нормальному закону, тодифференциальная энтропия источника непрерывных сообщений

.

Эпсилон-энтропия такого источника

. (7.16)

Эпсилон-производительность источника. Данная информационная характеристика источника непрерывных сообщений определяется следующим выражением:

[бит/с], (7.17)

где – максимальная частота сигнала X(t).

За время существования сигнала максимальныйобъем информации, выданный источником,

, (7.18)

где - дисперсия сигнала, распределенного по нормальному закону. Поэтому объем сигнала является одновременно экстремальной информационной характеристикой сигнала.Объем сигнала – это максимальное количество информации, которое сигнал может переносить.

Избыточность источника непрерывных сигналов определяют так же, как и для источника дискретных сигналов:

. (7.19)

Таким образом, основными информационными характеристиками источников непрерывных сообщений являются: энтропия, условная энтропия, эпсилон-энтропия, эпсилон-производительность, избыточность, объем информации, аналитические выражения которых определяются через значения характеристик одномерной плотности распределения случайного стационарного процесса.