4.7. Свойства дифференциальной энтропии

1. Величина изменяется при изменении масштаба измерения Х.

Изменим масштаб случайной величины Х в k раз, оставив неизменным масштаб равномерно распределенной в единичном интервале случайной величины Х₀, принятой за эталон. Если x_i= kx, то

(4.21)

Если одновременно изменить масштаб Х₀, соотносительная неопределенность также изменится, так как значение эталона будет уже иным.

Из относительности дифференциальной энтропии следует, что энтропия может принимать положительные, отрицательные и нулевые значения.

2. Дифференциальная энтропия не зависит от конкретных значений случайной величины Х и, в частности, от изменения всех её значений на постоянное. Действительно, масштаб Х при этом не меняется и справедливо равенство

(4.22)

3. Если единственным ограничением для случайной величины Х является область её возможных значений [a, b], то максимальной дифференциальной энтропией обладает равномерное распределение вероятностей в этой области, т.е. при

(4.23)

4. Если ограничения на область значений непрерывной случайной величины Х отсутствуют, но известно, что дисперсия её ограничена, то максимальной дифференциальной энтропией, равной

(4.24)

обладает нормальное (Гауссовское) распределение величин Х:

(4.25)

5. Соотношения для дифференциальной энтропии объединения статистически зависимых непрерывных источников аналогичны соответствующим формулам для дискретных источников:

(4.26)

где

6. Если статистические связи между X и Y отсутствуют, то

(4.27)

4.8. Эпсилон - энтропия источника сообщений

Реальная чувствительность приемных устройств, органов чувств человека и разрешающая способность различных информационно-измерительных систем ограничены. Поэтому воспроизводить непрерывные сообщения абсолютно точно не требуется. Наличие помех и искажений сигналов в реальных каналах делает точное воспроизведение сообщений невозможным. Поэтому введём понятие эпсилон–энтропии. Эпсилон–энтропия – это то среднее количество информации в одном независимом отсчете непрерывного случайного процесса Х(t), которое необходимо для воспроизведения этого сигнала с заданной среднеквадратичной погрешностью .

Рассмотрим подробнее сущность этого понятия. Предположим, что передавался сигнал Х(t), а был принят сигнал Y(t). Пусть в канале действует аддитивная помеха E(t), тогда Y(t) = X(t) + E(t) . Расстояние между сигналами X(t) и Y(t) определяется величиной

(4.28)

где T – длительность сигналов.

Если , то сигналы называют -близкими.

В соответствии с определением эпсилон-энтропии можно записать, что

(4.29)

Так как X (t) = Y (t) - E(t) , то условная энтропия при принятом Y(t) полностью определяется “шумом” воспроизведения E(t). Поэтому

(4.30)

Учитываем, что мощность помехи ограничена величиной , тогда максимальная энтропия помехи, отнесенная к одному отсчету, определяется по формуле

, (4.31)

где σ_Е – среднеквадратическое значение помехи.

С учетом (65)

(4.32)

Эпсилон-энтропия имеет максимальное значение, когда процесс X(t) также является гауссовским:

(4.33)

Отношение сигнал/шум характеризует то количество полученной информации, при котором принятый сигнал Y(t) и переданный сигнал X(t) “похожи” в среднеквадратичном смысле с точностью до . В формуле (2.48) значение эпсилон-энтропии определено для одного независимого отсчета.