Сравнительная оценка сообщений, передаваемых по нормальному закону и равновероятному закону распределений

Для сравнения сообщений необходимо предварительно вычислить энтропию этих сообщений. Вычислим энтропию сообщений, состояния элементов которых распределены по нормальному закону

Энтропия равна . Удобнее всего найти энтропию через математическое ожидание

Но так как , то

(2.14)

Таким образом, получили значение энтропии для нормального закона распределения.

Теперь найдем значение энтропии непрерывных сообщений для равновероятного закона распределения.

(2.15)

Выражение (2.15) представляет энтропию для непрерывных сообщений с равновероятным распределением состояний элементов.

Рассмотрим два вида сообщений, обладающих одинаковой энтропией, но характеризуемых различными законами распределения состояний элементов.

где  энтропия сообщений с нормальным распределением,

 энтропия сообщений с равновероятным распределением.

далее потенцируя, получим

(2.16)

Дисперсия для равновероятного закона распределения определяется интегралом

Обозначим , тогда ,

 представляет среднее значение

,

откуда , полученное выражение подставим в (2.16).

или

Таким образом, если имеются две системы с одинаковыми значениями энтропии по величине, то дисперсия системы при равновероятном распределении на 42% больше дисперсии системы, имеющей нормальное распределение состояния элементов.

А, как известно, дисперсия характеризует среднюю мощность сигналов. То есть, выгоднее всего передавать сообщения по нормальному закону распределения элементов. Затраты на мощность при нормальном законе будут составлять 0,7 по сравнению с затратами мощности при равновероятном законе распределения элементов.

2.4. Епсилон энтропия (ε-энтропия )

Непрерывные сигналы воспринимаются с ограниченной точностью. Пусть Х  точный сигнал, его плотность вероятности w(x). Сигнал, воспроизводимый любой аппаратурой, отличается от исходного сигнала. То есть, на выходе аппаратуры имеем другой сигнал Y, отличный от X. Критерием близости двух сигналов X и Y является функционал

, (2.17)

где h(x,y)  некоторая весовая функция, имеющая природу расстояния.

Функционал F по своему виду представляет собой математическое ожидание функции h(x,y) случайных аргументов x и y. Если подобрать подходящим образом эту функцию, то в качестве критерия близости двух сигналов можно использовать условие , где – некоторая наперед заданная величина. Обычно используют среднеквадратический критерий .

Сигнал Y содержит информацию относительно X в соответствии с выражением

Энтропия H(X) определяется функцией w(x), которая является заданной. Варьируя функцию w(x/y) можно в принципе добиться минимального значения величины при заданных требованиях к точности .

_, при ограничении

Таким образом, ε-энтропия величины X называется минимальное количество информации в одной случайной величины Y относительно другой X, при котором удовлетворяется заданное требование к верности воспроизведения величины X.

Пример 2.1. Найти ε-энтропию источника информации, ансамбль состояний которого описывается нормальным распределением.

Решение. ε-энтропия определяется по формуле

_,

но условная энтропия H(X/Y) полностью определяется помехой, поэтому

Энтропия сигнала равна , так как сигнал передается по нормальному закону. Помеху определим из наихудших условий, когда она имеет максимальное воздействие.

Помеха максимальна, если распределена по нормальному закону

,

где - мощность сигнала, - мощность помехи.

Вопросы

1. . Как изменяется энтропия непрерывных случайных величин при сглаживании огибающей плотности вероятности?

2. . При каком законе распределения энтропия непрерывных случайных величин будет максимальной? Укажите для двух случаев, когда задана дисперсия и когда дисперсия произвольная.

3. . В каком случае помехи являются наиболее эффективными?

4. . По какому закону распределения выгоднее всего передавать сообщения?

5. . Какая величина характеризует точность воспроизведения сигнала?

6. . В чем сущность эпсилонэнтропии случайной величины?

Упражнения

2.1. Найдите энтропию непрерывной системы Х, все состояния которой, на какомто участке (a, b) распределены по равновероятному закону.

2.2. Укажите энтропию системы Х, состояния которой распределены по нормальному закону.

2.3. По линии связи передаются непрерывные амплитудномодулированные сигналы X(t), распределенные по нормальному закону со средним значением m_x=0 и дисперсией . Определите энтропию сигнала при точности его измерения Δx=0,2 в.

2.4. Информация передается с помощью частотномодулированных синусоидальных сигналов, рабочая частота которых F изменяется с равной вероятностью в пределах от F₁=10 Мгц до F₂=50 Мгц. Определить энтропию сигнала H(F), если точность измерения частоты составляет величину ΔF=2 кГц.

2.5. Вычислить дифференциальную энтропию нормального закона с дисперсией σ² и равномерного распределения с той же дисперсией.

2.6. Состояние самолета характеризуется тремя случайными величинами: высотой H, модулем скорости V и углом Θ, определяющим направление полета. Высота самолета распределена с равномерной плотностью на участке h₁, h₂; скорость  по нормальному закону с математическим ожиданием ν₀ и средним квадратическим отклонением σ_v; угол Θ  с равномерной плотностью на участке 0, π. Величины H, V, Θ независимы. Найдите энтропию объединенной системы.

2.7. Определите энтропию непрерывного амплитудно  модулированного сигнала, который передается по линии связи, для случаев, когда его значения распределены: а) по нормальному закону, б) равномерно в области изменения сигнала. Среднее значение сигнала в обоих случаях равно нулю, а дисперсия σ²=4в². Точность отсчетов на приемном конце Δx=0,1в.