5. ЭНТРОПИЯ, КОЛИЧЕСТВО ИНФОРМАЦИИ

Понятое энтропии возникло в связи с необходимостью ввести числен­ ную характеристику неопределенности случайного объекта на некотором этапе его рассмотрения. Все, что мы можем сказать априори о поведении случайного объекта, это указать множество его состояний и указать распре­ деление вероятностей по элементам этого множества. Обратим внимание на то, что различные распределения с различной неопределенностью характе­ ризуют, каше из возможных состояний объекта должно реализоваться. На­ пример, пусть некоторый объект имеет два возможных состояния: А} и Л2; при одних условиях распределение вероятностей характеризуется числами р(А) = 0,99,р(Л2) = 0,01; а в другом случае -p (A t) =р(А2) = 0,5. Очевидно, что в первом случае результатом опыта «почти наверняка» будет реализация состояния Ар во втором же случае неопределенность так велика, что естес­ твенно воздержаться от всяких прогнозов. Приходим к необходимости ко­ личественного описания неопределенности заданного распределения веро­ ятностей. Понятие «неопределенность» естественно связывается с формой распределения, но не с множеством конкретных значений случайной вели­ чины. Поэтому первое требование к мере неопределенности состоит в том, что она должна быть функционалом, т.е. функцией от функции распреде­ ления, и не зависеть от конкретных значений случайной величины. Кроме того, к мере неопределенности должен быть предъявлен еще ряд требова­ ний, таких как непрерывность относительно аргументов, наличие максиму­ ма и дополнительные требования, которые более подробно будут рассмот­ рены ниже. Важно подчеркнуть, что такой комплекс разумно выдвинутых требований к мере неопределенности допускает единственную форму фун­ кционала, который по ряду причин, подлежащих отдельному обсуждению, и назван энтропией случайного объекта.

Термин «энтропия» был введен в 1865 году Р. Клаузиусом для ха­ рактеристики процессов превращения энергии (дословно, с греческого, энтропия означает превращение, обращение). В 1877 году Л. Больцман дал этому понятию статистическое толкование и сформулировал с его помощью второй закон термодинамики. В последующем понятие энт­ ропии стали широко применять в статистической физике и математике.

В 1948 году понятие энтропии использовал К. Шеннон в качестве ос­ новы информационной метрики для абстрактной модели системы связи в созданной им статистической теории информации. В абстрактной моде­

ли, являющейся объектом анализа в статистической теории информации, любое сообщение представляет собой результат выбора из некоторого ансамбля возможных сообщений, ансамбля, которому присуща некоторая степень неопределенности; если же состояние ансамбля известно, то нет необходимости в сообщении. Совершенно очевидно, что степень неопре­ деленности ансамбля зависит от числа событий и их вероятностей, при этом под ансамблем понимается поле случайных несовместных событий из некоторого множества с известным распределением вероятностей, со­ ставляющих в сумме единицу. В качестве меры априорной неопределен­ ности такого ансамбля событий (и, следовательно, его информативности) в статистической теории информации принята величина энтропии.

5.1. Энтропия и ее свойства

Изучение информационных характеристик сообщений, сигналов и их свойств целесообразно начать с определения и анализа дискретных ан­ самблей и источников. Будем рассматривать множество сообщений A={av

..., ак}, состоящее из конечного числа К элементов ак. (Принято обозначать сами множества прописными буквами, а строчными - элементы этих мно­ жеств.) Предположим, что на множестве А задано распределение р(а), где каждому элементу ак из А соответствует значение вероятности р(ак) > О, X Р(ак) = 1 • Множество А с заданным на нем распределением р(а) называют дискретным ансамблем сообщений, обозначая его (А,р(а)}.

Рассмотрим теперь два множества сообщений А и В, содержащих конечное число элементов К а N соответственно. Будем называть мно­ жество, элементы которого представляют все возможные упорядоченные пары (apbpj е [1, N], произведением А и В, обозначая его как АВ. Из оп­ ределения следует, что в общем случае АВ и В А - различные множества. Если множества А и В совпадают, используется обозначение Аг

Для множества АВ с заданным совместным распределением р(а,Ь) определен дискретный ансамбль {АВ, р(а,Ь)}. При определении АВ задаются еще два ансамбля А и В (на основании свойства согласован­ ности распределений дискретной случайной величины р(а) = £ р(а,Ь),

р(Ь) = ^р(а,Ь) р{а)). А и В называют ансамблями статистически неза­

висимых сообщений, если р(а, Ь) =р{а) р(Ь).

При наличии статистической зависимости сообщений величина, оп­ ределяемая соотношением р (Ь. | а .) = р (а., 6у) / р (а) (предполагается, что р (а.) Ф 0), называется условной вероятностью сообщения Ь. при ус­ ловии, что сообщение а. фиксировано (задано). Известно, что множество условных вероятностей относительно фиксированного сообщения а., по­ лучаемое при переборе всех значений индекса j, удовлетворяет общему определению распределения вероятностей. Это есть условное распределе­ ние на множестве В относительно заданного сообщения а.. Аналогичным образом задается условное распределение на множестве А относительно сообщения Ь.. Отсюда следует, что задание ансамбля {АВ, р(а,Ь)} опреде­ ляет еще два «условных» ансамбля сообщений {А,р(а | Ь)} и {В,р (b | а)}. При определении условных ансамблей предполагается, что в исходных ансамблях не существует сообщений с нулевой вероятностью.

Дальнейшее обобщение понятия ансамбля сообщений связывают с произведением A t, А2,..., Ан, представляющим собой множество всех последовательностей а1, а2,..., а(п) длины п, таких, что первый элемент принадлежит множеству Л, и т.д. (надстрочный индекс обозначает но­ мер элемента в последовательности). При этом образуется ансамбль, обозначаемый [Л,,..., Аи, p {d '\ а(2\..., д(',))]. При совпадении всех эле­ ментов произведения А {, А2,..., Аписпользуется обозначение А". Таким образом, представляется множество всех последовательностей длины п, образованных из элементов множества Л. Очевидно, что все законо­ мерности, отмеченные при рассмотрении частного случая п = 2, при необходимости могут быть обобщены на произведение и ансамблей.

Энтропия ансамбля сообщений. Рассмотрим источник дискрет­ ных сообщений, характеризуемый ансамблем сообщений {А, р(а)}, у которого р(ак) Ф0.

Для неслучайной характеристики ансамбля сообщений вводят понятие

энтропии. Математическое оэ/сидание случайной величины i[a), опреде­ ленной на ансамбле {А,р[а)}, называется энтропией (Н) этого ансамбля:

ЛА

Величину i(ak), определяемую соотношением

называют количеством собственной информации (или собственно инфор­ мацией) в сообщении ак е А. Собственная информация, определенная (5.2) как функция случайного события, является случайной величиной.

Понятие энтропии в теории информации является основополагаю­ щим. Количество информации, которое может быть получено от источ­ ника, оказывается тем большим, чем большей энтропией обладает ис­ точник. Количество информации трактуется как мера неопределенности, связанная с ожидаемым от источника сообщением. Сообщение является тем более неопределенным (неожиданным), чем оно оказывается менее вероятным. В общем случае с увеличением числа возможных состояний и уменьшением их вероятности энтропия источника возрастает. Чем выше энтропия источника, тем сложнее передать сообщение от этого источника по каналу связи (хотя бы с точки зрения энергетических затрат).

Рассмотрим основные свойства энтропии.

1. Энтропия всякого дискретного ансамбля неотрицательна: Н{А) Л 0. Равенство нулю имеет место в том и только в том случае, ког­ да в ансамбле существует сообщение, вероятность которого 1; при этом вероятности остальных сообщений равны 0. Неотрицательность следует из того, что собственная информация каждого сообщения ансамбля неот­ рицательна.

2.Пусть К - число сообщений в ансамбле. Тогда

Отсюда следует неравенство в (5.3). Равенство имеет место только тогда, когда р{а) = МК для всех а е А (равенство в (5.4) справедли­ во только при х= 1).

воряет всем свойствам безусловных распределений, и, следовательно, при задании АВ задаются также условные ансамбли {А | Ь,р(а \ Ь)} п{В\а, рф \ а)}; предполагается, что р(а) и р{Ь) не равны 0. Для каждого сообще­ ния а в ансамбле {А 1b, р(а 1Ь)} определена собственная информация

называемая условной собственной информацией сообщения а при фикси­ рованном сообщении Ь. Математическое ожидание условной информации

называется условной энтропией ансамбля А относительно сообщения Ь. Математической ожидание Н(А\В) случайной величины Н(А\Ь), определенной на ансамбле {В,р(Ь)}, называется условной энтропией

ансамбля А относительно ансамбля В:

Таким же образом убеждаемся в справедливости равенства

АВ

Математическое ожидание собственной информации пары сооб­ щений i{a,b) = - log рф,Ь) представляет собой энтропию (совместную энтропию) ансамбля АВ:

Продолжим рассмотрение свойств энтропии, условной и совместной энтропии.

1. Из определения условной вероятности р{а,Ь) =р{а)р(Ь \ а) сле­ дует, что

Н (A ,B )= -Z P {а,Ь)logр{а \Ь )-£ Р(а,Ь)logр{а) = Н{В | А)+Н(А),

и аналогично Н(АВ) = Н(А | В) + Н(В). Эти свойства также называются свойствами аддитивности энтропии.

2. Условная энтропия не превосходит безусловной энтропии того же ансамбля: Н(А \ В) < Н{А), причем равенство имеет место в том и только в том случае, когда ансамбли А и В статистически независимы. Доказательство проводится аналогично доказательству справедливости неравенства (5.3) с использованием неравенства (5.4) для логарифма:

Равенство выполняется в том и только в том случае, когдар(а, Ь) = = р{а)р{Ь) для всех а и Ь, т.е. когда ансамбли А и В статистически не­ зависимы.

Рассмотрим частный случай, когда В = А, так что а = а(|), b = а(2). Тогда на основании свойств 1 и 2 можно сделать вывод, что совместная энтропия Н(А, А) = Н(А2) имеет наибольшее значение, равное 2Н(А), когда сообщения в ансамбле А не имеют статистической связи.

3. Из свойства 2 условной энтропии вытекает следующая законо­ мерность. Зададим на ансамбле {А,р(а)} отображение <р(а) множества А в множество X, определяющее ансамбль (Х,р(х)} следующим образом:

р ( х )= Zр ( а У

а :у (а }= х

Тогда Н(Х) < Н{А)\ знак равенства имеет место только в том слу­ чае, когда отображение ср(а) обратимо, т.е. когда каждому элементу х соответствует единственный элемент а. Для доказательства можно вос­ пользоваться равенством р(а, х) =р{а)р{х \ а), где р(х \ а) = 1, когда х = (р(а), и р(х \а) = 0 для остальных х, т.е. когда каждое сообщение ансам­ бля А однозначно определяет сообщение ансамбля X. Тогда Н (Х\ А) - 0, и из аддитивности и неотрицательности энтропии получим, что

Н{Х) < Н{Х) + Н(А\Х) = Н[А) + Н(Х\А) = Н(А).

Отсюда следует вывод, что при произвольных отображениях ц>{а) энтропия не возрастает. Энтропия не изменяется только тогда, когда Н{А | X) = 0, т.е. когда ансамбль X взаимно однозначно отображает ансамбль А.

4. Для трех совместно заданных ансамблей {ABG,p{a,b,g)} спра­ ведливо неравенство Н(А \ BG) < Н[А \ В), которое доказывается ана­ логично проведенному при рассмотрении свойства 2. Равенство здесь имеет место при статистической независимости ансамблей А и G. Это неравенство легко обобщается на случай п совместно заданных ан­