Лабораторная работа Свойства энтропии

1) Рассмотрите первое свойство энтропии. Для этого составьте программу построения графика функции H_i = -p_i log p_i при изменении вероятности от нуля до единицы. Значения р_i возьмите через интервал 0,05. Сделайте соответствующие выводы.

2) Рассмотрите второе свойство энтропии. Для этого задайте такие значения р_i (i = 1, 2, 3) для системы Х = (х1, х2, х3), чтобы одно из состояний было достоверно известно. Найдите энтропию.

3) Рассмотрите третье свойство энтропии.

Необходимо считать, что имеется три системы, каждая из которых имеет по четыре состояния. Задайтесь различными распределениями вероятностей, например:

система 1 0,5; 0,2; 0,25; 0,05;

система 2 0,25; 0,25; 0,25; 0,25;

система 3 0,2; 0,3, 0,28, 0,22.

Определите, при каких распределениях вероятностей энтропия максимальна. Сделайте соответствующие выводы.

Глава 2. Неопределенность непрерывных случайных величин Энтропия непрерывной случайной величины х

Сообщения с дискретным распределением состояний элементов характеризуются множеством возможных сообщений X = (x₁, x₂, … x_i,… x_n) и вероятностями появления этих сообщений p(x₁), p(x₂),…p(x_i),… p(x_n), при этом . Неопределенность дискретных систем описывается выражением

, (2.1)

Это выражение можно обобщить и на случай непрерывных сообщений. При этом роль распределения вероятности по состояниям в непрерывном случае играет плотность вероятности w(x) (рис.2.1).

Рис.2.1. Плотность вероятности случайной величины x

Для перехода от непрерывным сообщений к дискретным сообщениям произведем квантование значений случайной непрерывной величины x на счетное число уровней с интервалом Δx. Полученная, таким образом, дискретная случайная величина x характеризуется распределением, в котором вероятность k-го состояния равна , где w(x) - плотность вероятности квантуемой непрерывной величины. Для дискретного случая p_k=w(x)· Δx. Чем меньше Δx тем более точной будет замена. Энтропия эквивалентного сообщения равна

При уменьшении Δx (увеличении m) первая сумма в пределе стремится к интегралу , а вторая сумма при достаточно малом Δx с высокой точностью равна , так как и тогда

(2.2)

Обозначим , тогда (2.3)

Величину называют приведенной или дифференциальной энтропией.

Непрерывные случайные системы сохраняют свои свойства подобно свойствам дискретных систем. Рассмотрим эти свойства:

1. Энтропия объединения равна

,

где ,

,

2. При любых двух случайных переменных x и y

причем знак равенства будет тогда, когда x и y независимы.

3. Всякое сглаживание огибающей плотности вероятности w(x) приводит только к увеличению энтропии.

Количество информации для непрерывных систем

Взаимная информация определяется как разность двух энтропии:

Подставим под значения энтропии выражения для непрерывных случайных величин

Далее первый интеграл умножим на выражение , а во втором интеграле учтем, что Тогда окончательно получим:

(2.4)

Принцип экстремума энтропии и экстремальные распределения

В ряде случаев возникает задача определения распределения вероятностей w(x) при заданных моментах случайных величин. Например, при выборе “наилучшего” распределения вероятностей при передаче сообщений или искусственно создаваемой помехи.

Заданному ограничению всегда удовлетворяет бесконечное множество различных распределений вероятностей. Поэтому ставится задача выбора из данного множества некоторого наиболее подходящего распределения.

В качестве критерия предлагается принцип экстремума энтропии. Данная задача решается как частная задача вариационного исчисления. При этом могут быть два случая. Первый случай при заданной дисперсии, второй - при произвольной дисперсии.

Рассмотрим первый случай.

Определим вид функции плотности вероятности распределения состояний элементов сообщений w(x), которая бы обеспечивала максимальную энтропию H(X) при заданной дисперсии.

При этом имеются дополнительные условия:

(2.5)

(2.6)

Для решения задачи составим уравнение Эйлера

, (2.7)

где λ₁ и λ₂ - неопределенные множители;

, .

Продифференцируем уравнение (2.7) по w(x)

Приравнивая производную нулю, получим:

Примем во внимание, что , и тогда

, далее ,

или , где

(2.8)

Для исключения неизвестных λ₁ и λ₂ подставим выражение (2.8) в (2.5).

Для решения полученного выражения воспользуемся табличным интегралом:

Далее . Тогда (2.8) примет вид

( 2.9)

Подставим (2.9) в (2.6)

При взятии интеграла учтем, что имеется соответствующий табличный интеграл

Следовательно (2.10)

Подставим (2.10) в (2.9) и окончательно получим

(2.11)

В результате получили нормальный закон распределения вероятностей.

Выводы:

1. Если задана дисперсия состояний сообщений, то сообщение обладает наибольшей информативностью (максимальной энтропией) в том случае, когда состояния элементов распределены по нормальному закону.

2. Если задана средняя мощность помехи, то последняя является наиболее эффективной (энтропия помехи максимальна), когда состояния составляющих помеху элементов распределены по нормальному закону.

Второй случай. Определим вид функции w(x) , обеспечивающей максимальную энтропию сообщений при непрерывном распределении состояний элементов и произвольной дисперсии. Эта вариационная задача имеет только одно дополнительное условие.

(2.12)

Решение задачи можно получить, положив в (2.7) λ₂=0

тогда уравнение (2.8) будет равно

Подставим в (2.12) и возьмем пределы (а - в), так как w(x) не зависит от x.

, откуда

Так как функция плотности вероятности w(x) не зависит от x, то она является величиной постоянной во всем интервале существования случайной величины. Пусть состояния элементов сообщений существуют в интервале [a,b], тогда искомая функция распределения равна

(2.13)

внутри интервала [a,b] и нулю вне пределов его.

Вывод. Если дисперсия состояний сообщений не ограничена, то сообщения обладают наибольшей информативностью (максимальной энтропией) в том случае, когда состояния элементов распределены по равновероятному закону.