Книги по Информационным технологиям / Теория информации СГАУ (дифференциальная энтропия)

6. Энтропия объединения статистически независимых множеств равна сумме энтропий исходных множеств. При установлении этого свойства исполь-

зуется свойство вероятностей независимых элементов:

p zi,vj p zi p vj .

Поскольку при этом log2 p zi,vj log2 p zi log2 p vj имеем

N K

H ZV p zi,vj log2 p zi,vj

i 1 j 1

NK

p zi p vj log2 p zi p vj

Аналогично могут быть получены формулы для объединения любого числа не-

зависимых источников.

В заключение подчеркнем, что энтропия характеризует только среднюю неопределенность выбора одного элемента из множества, полностью игнорируя их содержательную сторону.

4.4Условная энтропия и её свойства

Часто имеют место связи между элементами разных множеств или между элементами одного множества. Пусть объединенный ансамбль ZV задан мат-

Суммируя вероятности по строкам и столбцам (4.11) в соответствии с (4.1)

можно определить также ансамбли Z, p z и V, p v :

41

Можно также показать, что в случае объединения любого числа множеств

{ZVW...} с зависимыми элементами имеет место равенство

H ZVW... H Z HZ V HZV W ... .

Подчеркнем, что условная энтропия всегда меньше или равна безусловной:

HV Z H Z , HZ V H V . (4.18)

Справедливость неравенств (4.18) интуитивно понятна: неопределенность вы-

бора элемента из некоторого множества может только уменьшиться, если из-

вестен элемент другого множества, с элементами которого существует взаимо-

связь. Из (4.16)–(4.18), в частности, следует

Полезно дать геометрическую интерпретацию соотношений (4.16)–(4.19).

На рис. 4.2 наглядно показаны различия, которые имеют место при вычислении энтропии объединенного множества в случае независимых (а) и зависимых (б)

Рис. 4.2 – Иллюстрация формирования энтропии объединенных ансамблей

Часто имеет место другой тип связи, а именно: статистическая зависимость между элементами последовательности. Если имеет место связь только между двумя соседними элементами последовательности, она характеризуется услов-

ной вероятностью p zi /zj . Последовательность элементов, обладающую ука-

занным свойством, называют односвязной цепью Маркова. Связь каждого эле-

43

мента с двумя предшествующими характеризуется условной вероятностью p zi /zjzk , а соответствующая последовательность называется двусвязной це-

пью Маркова.

Для односвязной цепи Маркова в предположении, что известен (принят)

элемент zj из алфавита объема N , частная условная энтропия

N

HZ /zj p zi /zj log2 p zi /zj .

i1

При этом полная (средняя) условная энтропия определяется как

Аналогично для двусвязной цепи Маркова

N

H Z /zjzk p(zi /zjzk )log2 p(zi /zjzk ),

i 1

Можно построить выражения для энтропии и при более протяженной связи между элементами последовательности.

44

Лекция 5

Меры неопределенности непрерывных случайных величин

5.1Понятие дифференциальной энтропии

Перейдем к рассмотрению источников информации, выходные сигналы которых являются непрерывной случайной величиной. Множество возможных состояний такого источника составляет континуум, а вероятность любого кон-

кретного значения равна 0, что делает невозможным применение, например,

меры (4.5). Построим меры неопределенности таких источников, опираясь на введенные ранее меры для дискретных ансамблей.

Мы можем приближенно оценить неопределенность выбора какого-либо значения непрерывной случайной величины по формуле (4.5), если ограничим диапазон ее допустимых значений и разобьем этот диапазон, например, на рав-

ные интервалы, вероятность попадания в каждый из которых отлична от нуля и определяется как

p zi* log2 p zi* z log2 z p zi* z.

Далее осуществим предельный переход при z 0. При этом сумма переходит

N

в интеграл, z dz, а p(zi*) z 1. С учетом того, что в общем случае диа-

i 1

пазон изменения непрерывной случайной величины ; , получаем:

45

Из формулы (5.2) следует, что энтропия непрерывной случайной величины равна бесконечности независимо от вида плотности вероятности. Этот факт,

вообще говоря, не является удивительным, так как вероятность конкретного значения непрерывного сигнала равна 0, а множество состояний бесконечно.

Ясно, что использовать такую меру на практике не представляется возможным.

Для получения конечной характеристики информационных свойств ис-

пользуется только первое слагаемое, называемое дифференциальной энтропи-

ей:

Термин дифференциальная энтропия связан с тем, что для ее определения в формуле (5.3) используется дифференциальный закон распределения p z .

Возникает естественный вопрос: не является ли это соглашение искусственным и не имеющим смысла.

Оказывается, что дифференциальная энтропия имеет смысл средней неоп-

ределённости выбора случайной величины с произвольным законом распреде-

ления за вычетом неопределённости случайной величины, равномерно распре-

делённой в единичном интервале.

Действительно энтропия (5.2) равномерно распределённой на интервале случайной величины Zr определяется как

46

5.2Понятие дифференциальной условной энтропии

Рассмотрим теперь ситуацию, когда (далее две) непрерывные случайные величины статистически связаны. Как и ранее разобьем диапазоны допустимых значений случайных величин на равные интервалы так, что

H(Z,V) p(zi*,v*j )log2 p(zi*,v*j) z v

ij

log2 z p(zi*,v*j ) z v log2 v p(zi*,v*j ) z v.

i j i j

получаем

47

Первое и третье слагаемое – суть энтропия H(Z) непрерывного источника

(5.2), выходным сигналом которого является случайная величина Z , а величина

является условной энтропией непрерывной случайной величины. Она, как и следовало ожидать, в силу второго слагаемого в правой части равна бесконеч-

ности. Поэтому, как и в случае одного независимого источника, принимают во внимание только первое слагаемое:

Величину (5.9) называют условной дифференциальной энтропией.

Условная дифференциальная энтропия характеризует среднюю неопреде-

ленность выбора непрерывной случайной величины с произвольным законом распределения при условии, что известны результаты реализации другой, ста-

тистически связанной с ней непрерывной случайной величины, за вычетом средней неопределенности выбора случайной величины, имеющей равномерное распределение на единичном интервале.

Сопоставляя (5.2), (5.3), (5.7), (5.8), (5.9) дифференциальную энтропию двух непрерывных статистически связанных источников можно представить в виде

непрерывных источников можно выписать равенства, аналогичные (4.16) и (4.18) для дискретных сообщений: H(ZV) H(Z) HZ (V) H(V) HV (Z), од-

нако они имеют лишь теоретическое значение, поскольку оперировать на прак-

тике с бесконечными неопределенностями не представляется возможным.

48

5.4Распределения, обладающие максимальной

дифференциальной энтропией

Сформулируем следующую задачу. Определить плотность p(z), обеспечи-

вающую максимальное значение функционала

где , в данном случае постоянный, неопределенный множитель Лагранжа.

Необходимые условия экстремума (5.16) даются соотношением

стного решения (5.15), (5.17). Это означает, что если единственным ограниче-

ное распределение вероятностей в этой области.

Снимем теперь ограничение на область возможных значений, но добавим

ограничение на величину дисперсии: