2.4. Свойства энтропии дискретных сообщений

Примем в качестве меры неопределенности случайного объекта А с конечным множеством возможных состояний A₁,..., A_n с соответствующими вероятностями p₁,..., p_n величину

которую и называют энтропией случайного объекта А (или распределения {p_i}). Этот функционал обладает следующими свойствами, которые вполне естественны для меры неопределенности.

1. H(p₁, …, p_n) = 0 в том и только в том случае, когда какое-нибудь одно значение из множества {p_i} равно единице (а остальные – нули). Это соответствует случаю, когда исход опыта может быть предсказан с полной достоверностью, т.е. когда отсутствует всякая неопределенность. Во всех других случаях энтропия положительна.

2. H(p₁, …, p_n) достигает наибольшего значения при p₁ = p₂ =…= p_n =1/n. Действительно, вариация Н по p_i при условии ∑p_i = 1 дает 1.

3. Если А и В – независимые случайные объекты, то

4. Если А и В – зависимые случайные объекты, то

где условная энтропия H(B/A) определяется как математическое ожидание энтропии условного распределения.

5. Имеет место неравенство H(A) ≥ H(A/B), что согласуется с интуитивным представлением о том, что знание состояния объекта В может только уменьшить неопределенность объекта А, а если они независимы, то оставит ее неизменной. Это свойство доказывается с помощью тождественного неравенства:

справедливого для любой выпуклой функции f(x), если в этом неравенстве положить

f(x) = log x, λ_k = p_k, x_k = q_k.

Как видим, свойства функционала Н позволяют использовать его в качестве меры неопределенности. Интересно отметить, что если пойти в обратном направлении, т.е. задать желаемые свойства меры неопределенности и искать обладающий указанными свойствами функционал, то уже только условия 2 и 4 позволят найти этот функционал, причём единственным образом (с точностью до постоянного множителя).

2.5. Энтропия непрерывных сообщений

Обобщение столь полезной меры неопределенности на непрерывные случайные величины наталкивается на ряд сложностей. Можно по-разному преодолеть эти сложности; выберем кратчайший путь. Прямая аналогия не приводит к нужному результату; плотность p(x) является размерной величиной, а логарифм размерной величины не имеет смысла. Однако положение можно исправить, умножив p(x) под знаком логарифма на величину ε, имеющую ту же размерность, что и х:

Теперь величину ε можно принять равной единице измерения х, что приводит к функционалу

который получил название дифференциальной энтропии. Это аналог энтропии дискретной величины, но аналог условный, относительный: ведь единица измерения произвольна. Мы как бы сравниваем неопределенность случайной величины, имеющей плотность р(x), с неопределенностью случайной величины, равномерно распределенной в единичном интервале. Поэтому величина h(X) в отличие от Н(Х) может быть не только положительной. Кроме того, h(X) изменяется при нелинейных преобразованиях шкалы х, что в дискретном случае не играет роли. Остальные свойства h(X) аналогичны свойствам Н(Х), что делает дифференциальную энтропию очень полезной мерой. Пусть, например, задача состоит в том, чтобы, зная лишь некоторые ограничения на случайную величину (моменты, пределы сверху и снизу области возможных значений и т.п.), задать для дальнейшего – каких-то расчетов или моделирования – конкретное распределение. Один из подходов к решению этой задачи дает принцип максимума энтропии: из всех распределений, отвечающих данным ограничениям, следует выбирать то, которое обладает максимальной дифференциальной энтропией. Смысл этого критерия состоит в том, что, выбирая экстремальное по энтропии распределение, мы гарантируем наибольшую неопределенность, связанную с ним, т.е. имеем дело с наихудшим случаем при данных условиях.

Важным шагом в построении теории информации является введение количественной меры неопределенности – энтропии. Оказывается, что функционал обладает качествами, которые логично ожидать от меры неопределенности, и, наоборот, единственным функционалом с такими свойствами является именно функционал энтропии. Обобщение понятия энтропии на непрерывные случайные величины приводит к выводу, что такое обобщение – дифференциальная энтропия – возможно лишь как относительная мера.