6.9. Энтропия непрерывных сообщений

При передаче непрерывных сообщений переданные сигналы s(t) являются функциями времени, принадлежащиминекоторому множеству, а принятые сигналы будут x(t) их искаженными вариантами. Все реальные сигналы имеют спектры, основная энергия которых сосредоточена в ограниченной полосе F. Согласно теореме Котельникова такие сигналы определяются своими значениями в точках отсчета, выбираемых через интервалы

В канале на сигнал накладываются помехи, вследствие чего количество различных уровней сигнала в точках отсчета будет конечным. Следовательно, совокупность значений непрерывного сигнала эквивалентна некоторой дискретной конечной совокупности. Это позволяет нам определить необходимое количество информации и пропускную способность канала при передаче непрерывных сообщений на основании результатов, полученных для дискретных сообщений.

Определим количество информации, которое содержится в одном отсчете сигнала x_i относительно переданного сигнала s_i. Это можно сделать на основании соотношения (6.36), если в последней вероятности выразить через соответствующие плотности вероятности и взять предел при

(6.61)

Среднее количество информации в одном отсчете непрерывного сигнала определяется путем усреднения выражения (6.61) по всем значениям s и x:

(6.62)

где - совместная плотность вероятности, а S и X области (6.62) по всем значениям s и x.

Выражение (6.62) можно представить как разность:

(6.63)

где

(6.64)

Величина характеризует информационные свойства сигналов и по форме записи аналогична энтропии дискретных сообщений. Так как в выражение (6.64) входит дифференциальное распределение вероятностей , то называют дифференциальной энтропией сигнала .

Выражение представляет собой условную дифференциальную энтропию сигнала .

(6.65)

Подобно тому, как это было сделано для дискретного канала, выражение (6.63) можно записать в другой форме:

(6.66)

где — дифференциальная энтропия сигнала ;

—условная дифференциальная энтропия сигнала , называемая также энтропией шума.

Многие свойства энтропии непрерывного распределения аналогичны свойствам энтропии дискретного распределения. Если непрерывный сигнал ограничен интервалом то энтропия максимальна и равна когда сигнал имеет равномерное распределение:

(6.67)

Если ограничено среднеквадратическое значение

то энтропия, максимальная при нормальном распределении

(6.68)

и равна:

(6.69)

Необходимо отметить, что, в отличие от энтропии дискретных сигналов, величина дифференциальной энтропии зависит от размерности непрерывного сигнала. По этой причине она не является мерой количества информации, хотя и характеризует степень неопределенности, присущую источнику.

Только разность дифференциальных энтропий (6.66) количественно определяет среднюю информацию .