Свойства энтропии

1. Энтропия принимает значение, равное 0, только в случае детерминирован­ного источника сообщений системы.

Детерминированность источника означает, что один из возможных символов генерируется источником постоянно (с единичной вероятностью), а остальные – не производятся вовсе. Предположим для определенности, что генерируется k-й символ.

Пусть P(a_k)=1 , а P(a_i)=0 для всех i=1,m ik

Тогда, обозначив элемент суммы в формуле (3.8) через h_i, получим

Раскроем неопределенность вида 0∙∞по правилу Лопиталя.

Следовательно, для детерминированного источника h_i= 0 для всехi. С другой стороны, если ни однаp(a_i)1, то ни одно слагаемоеh_iне обращается в0. Что и требовалось доказать.

2. Энтропия - величина неотрицательная и ограниченная.

Если каждое слагаемое h_i=-p(a_i)log₂p(a_i)неотрицательно и ограниченно, то и их сумма также будет неотрицательна и ограниченна.

Докажем неотрицательность:

p(a)  0; p(a) ≤ 1  log p(a) ≤ 0  - p(a) log p(a)  0

Докажем ограниченность, продифференцировав по p:

Следовательно, величина h_iимеет экстремум (можно доказать, что это максимум), а значит это величина ограниченная (см. рис.3.2)

h_i

p_i

01/E 1

Рис. 3.2. К свойству ограниченности энтропии.

3. Энтропия системы, имеющей m равновероятных состояний, максимальна и равна log₂m.

Докажем максимальность

Пусть m=2, тогдаp₁+p₂=1

H = -p₁∙logp₁ - p₂∙logp₂ = -p₁∙logp₁-(1-p₁)∙log(1-p₁). Чтобы найти максимум энтропии, определим и приравняем нулю частную производную.

-log p₁ + log(1-p₁) = 0

p₁= ½ = p₂

Следовательно, при двух символах в алфавите максимум энтропии достигается в случае равновероятных символов. То же можно доказать и для большего числа символов в алфавите.

Найдем значение максимальной энтропии. Пусть все символы равновероятны: p_i = 1/m.

4. Совместная энтропия независимых источников сообщений равна сумме энтропий.

Пусть источник Апорождает ансамбльNaсообщений(a₁, a₂,…, a_Na),источникBпорождает ансамбльNbсообщений(b₁, b₂,…, b_Nb) и источникинезависимы. Общий алфавит источников представляет собой множество пар вида(a_i, b_j),общая мощность алфавита равнаNaNb.

Совместная энтропия композиции двух источников равна

Поскольку AиBнезависимы, тоP(a_i,b_j) = P(a_i)∙P(b_j),alog P(a_i,b_j) = log P(a_i) + log P(b_j).Отсюда вытекает:

Изменим порядок суммирования

учитывая, что и, получим

(3.9)

Вывод можно распространить и на большее количество независимых источников

Условная энтропия

Найдем совместную энтропию сложной информационной системы (композиции A,B) в том случае, если их сообщения не являются независимыми, т.е. если на содержание сообщенияBоказывает влияние сообщениеA.

Например, сообщение «Спартак выиграл в футбольном матче против Динамо» полностью снимает неопределенность сообщения о том, как сыграло Динамо.

Другой пример: сообщение Асодержит информацию о женщине (фамилию, имя, отчество, год рождения, место рождения, образование, домашние адрес и телефон), а сообщениеВсодержит аналогичную информацию о ее муже. Очевидно, что сообщениеВчастично содержит в себе информациюА(а именно: фамилию жены, ее домашний адрес и телефон, скорее всего совпадающие с фамилией, домашним адресом и телефоном мужа, а также вероятностную оценку ее года рождения, который скорее всего близок к году рождения мужа). Таким образом, совместная энтропия двух сообщений не является простой суммой энтропий отдельных сообщений.

Пусть источник Апорождает ансамбльNaсообщений(a₁, a₂,…, a_Na),источникBпорождает ансамбльNbсообщений(b₁, b₂,…, b_Nb)и источникизависимы. Общий алфавит источников представляет собой множество пар вида(a_i, b_j), общая мощность алфавита:NaNb.

Энтропия сложной информационной системы (из двух источников) равна

Поскольку AиBзависимы, тоP(a_i,b_j) = P(a_i)∙P(b_j|a_i),

a log P(a_i,b_j) = log P(a_i) + log P(b_j|a_i). Подставив это в выражение для энтропии сложной системы, получаем:

В первом слагаемом индекс jимеется только уB,изменив порядок суммирования, получим член вида:, который равен1поскольку характеризует достоверное событие (какое-либо сообщений b_j в любом случае реализуется). Следовательно, первое слагаемое оказывается равным:

Во втором слагаемом члены вида имеют смысл энтропии источника B при условии, что реализовалось сообщение a_i – будем называть ее частной условной энтропией. Если ввести данное понятие и использовать его обозначение, то второе слагаемое будет иметь вид:

, (3.10)

где H(B|A) есть общая условная энтропия источника В относительно источника А. Окончательно получаем для энтропии сложной системы:

H(A, B) = H(A) + H(B|A) (3.11)

Полученное выражение представляет собой общее правило нахождения энтропии сложной системы. Совершенно очевидно, что выражение (3.9) является частным случаем (3.11) при условии независимости источников АиВ.

Относительно условной энтропии можно высказать следующие утверждения:

1. Условная энтропия является величиной неотрицательной. Причем H(B|A) = 0 только в том случае, если любое сообщение А полностью определяет сообщение В, т.е.

H(B|a₁) = H(B|a₂) =…= H(B|a_N) = 0

В этом случае H(А,B) = H(A).

2. Если источники А и В независимы, то H(B|A) = H(B), причем это оказывается наибольшим значением условной энтропии. Другими словами, сообщение источника А не может повысить неопределенность сообщения источника В; оно может либо не оказать никакого влияния (если источники независимы), либо понизить энтропию В.

Приведенные утверждения можно объединить одним неравенством:

0 ≤ H(B|A) ≤ H(B), (3.12)

т.е. условная энтропия не превосходит безусловную.

3. Из соотношений (3.11) и (3.12) следует, что

H(A, B) ≤ H(A) + H(B),

причем равенство реализуется только в том случае, если источники АиВнезависимы.