3.8. Энтропия непрерывной случайной величины
Выражение (3.1) можно обобщить и на случай непрерывных сообщений. При этом роль распределения вероятности по состояниям в непрерывном случае играет плотность вероятности w(x) (рис. 8).
Для перехода от
дискретных сообщений к непрерывным
сообщениям произведем квантование
значений случайной непрерывной величины
x
на счетное
число уровней с интервалом Δx.
Полученная, таким образом, дискретная
случайная величина x
характеризуется распределением, в
котором вероятность kго
состояния равна
.
Для дискретного случаяpk=w(x)Δx.
Чем меньше
Δx
тем более точной будет замена. Энтропия
эквивалентного сообщения равна
Т.
к.
и
,
то
.
Обозначим
,
тогда
(3.20)
Величину
называют приведенной или дифференциальной
энтропией.
Непрерывные случайные системы сохраняют свои свойства подобно свойствам дискретных систем. Рассмотрим эти свойства:
1. Энтропия объединения равна
,
где
,
,
2. При любых двух случайных переменных x и y
причем знак равенства будет тогда, когда x и y независимы.
3. Всякое сглаживание огибающей плотности вероятности w(x) приводит только к увеличению энтропии.
3.9. Количество информации для непрерывных систем
Взаимная информация определяется как разность двух энтропии:
Подставим под значения энтропии выражения для непрерывных случайных величин
Далее первый
интеграл умножим на выражение
,
а во втором интеграле учтем, что
Тогда окончательно получим:
(3.21)
3.10. Принцип экстремума энтропии и экстремальные распределения
В ряде случаев возникает задача определения распределения вероятностей w(x) при заданных моментах случайных величин. Например, при выборе “наилучшего” распределения вероятностей при передаче сообщений или искусственно создаваемой помехи. Заданному ограничению всегда удовлетворяет бесконечное множество различных распределений вероятностей. Поэтому ставится задача выбора из данного множества некоторого наиболее подходящего распределения. В качестве критерия предлагается принцип экстремума энтропии. Данная задача решается как частная задача вариационного исчисления. При этом могут быть два случая. Первый случай при заданной дисперсии, второй при произвольной дисперсии.
Первый случай. Определим вид функции плотности вероятности распределения состояний элементов сообщений w(x), которая бы обеспечивала максимальную энтропию H(X) при заданной дисперсии.
При этом имеются дополнительные условия:
(3.22)
(3.23)
Для решения задачи составим уравнение Эйлера
,
(3.24)
где λ1
и λ2
неопределенные множители,
,
.
Продифференцируем уравнение (2.5) по w(x):
Приравнивая
производную нулю, получим
Т. к.
,
то
,
,
,
где
,
(3.25)
Для исключения
неизвестных λ1
и λ2
подставим
выражение (3.25) в (3.22).
Для решения
полученного выражения воспользуемся
табличным интегралом
.
Поэтому
и
.
Тогда (3.6) примет следующий вид:
(3.26)