2.2. Количество информации для непрерывных систем

Взаимная информация определяется как разность двух энтропии:

Подставим под значения энтропии выражения для непрерывных случайных величин

Далее первый интеграл умножим на выражение , а во втором интеграле учтем, что Тогда окончательно получим:

(2.4)

2.3. Принцип экстремума энтропии и экстремальные распределения

В ряде случаев возникает задача определения распределения вероятностей w(x) при заданных моментах случайных величин. Например, при выборе “наилучшего” распределения вероятностей при передаче сообщений или искусственно создаваемой помехи.

Заданному ограничению всегда удовлетворяет бесконечное множество различных распределений вероятностей. Поэтому ставится задача выбора из данного множества некоторого наиболее подходящего распределения.

В качестве критерия предлагается принцип экстремума энтропии. Данная задача решается как частная задача вариационного исчисления. При этом могут быть два случая. Первый случай при заданной дисперсии, второй  при произвольной дисперсии.

Рассмотрим первый случай.

Определим вид функции плотности вероятности распределения состояний элементов сообщений w(x), которая бы обеспечивала максимальную энтропию H(X) при заданной дисперсии.

При этом имеются дополнительные условия:

(2.5)

(2.6)

Для решения задачи составим уравнение Эйлера

, (2.7)

где λ₁ и λ₂  неопределенные множители;

, .

Продифференцируем уравнение (2.7) по w(x)

Приравнивая производную нулю, получим:

Примем во внимание, что , и тогда

, далее ,

или , где

(2.8)

Для исключения неизвестных λ₁ и λ₂ подставим выражение (2.8) в (2.5).

Для решения полученного выражения воспользуемся табличным интегралом:

Далее . Тогда (2.8) примет вид

( 2.9)

Подставим (2.9) в (2.6)

При взятии интеграла учтем, что имеется соответствующий табличный интеграл

Следовательно (2.10)

Подставим (2.10) в (2.9) и окончательно получим

(2.11)

В результате получили нормальный закон распределения вероятностей.

Выводы:

1. Если задана дисперсия состояний сообщений, то сообщение обладает наибольшей информативностью (максимальной энтропией) в том случае, когда состояния элементов распределены по нормальному закону.

2. Если задана средняя мощность помехи, то последняя является наиболее эффективной (энтропия помехи максимальна), когда состояния составляющих помеху элементов распределены по нормальному закону.

Второй случай. Определим вид функции w(x) , обеспечивающей максимальную энтропию сообщений при непрерывном распределении состояний элементов и произвольной дисперсии. Эта вариационная задача имеет только одно дополнительное условие.

(2.12)

Решение задачи можно получить, положив в (2.7) λ₂=0

тогда уравнение (2.8) будет равно

Подставим в (2.12) и возьмем пределы (а  в), так как w(x) не зависит от x.

, откуда

Так как функция плотности вероятности w(x) не зависит от x, то она является величиной постоянной во всем интервале существования случайной величины. Пусть состояния элементов сообщений существуют в интервале [a,b], тогда искомая функция распределения равна

(2.13)

внутри интервала [a,b] и нулю вне пределов его.

Вывод. Если дисперсия состояний сообщений не ограничена, то сообщения обладают наибольшей информативностью (максимальной энтропией) в том случае, когда состояния элементов распределены по равновероятному закону.