PROBABILITY вероятность

Independent независимый

SYMBOL символ

ENTROPY энтропия

ERGODICITY эргодичность

Важным шагом в постро­ении теории информации является введение количественной меры неопределенности – эн­тро­пии. Оказывается, что функционал (1) обладает качествами, которые логично ожидать от меры неопределенности, и, наоборот, единственным функционалом с такими свой­ствами является именно функционал энтропии. Обобщение понятия энтропии на непрерывные случайные величины приводит к выводу, что такое обобщение – дифференци­альная энтропия – воз­можно лишь как относительная мера.

Оказывается, что энтропия связана с глубокими свойствами случайных процессов. Например, для дискретных процессов имеет место свойство асимптотической равновероятности реализаций из высоковероятной группы.

Назовем каждое такое состояние символом, множество возможных состояний – алфавитом, их число m – объемом алфавита. Число всевозможных последовательностей длины n, оче­вид­но, равно mⁿ. Появление конкретной последовательности можно рассматривать как реализацию одного из mⁿ возможных событий. Зная вероятности символов и условные вероятности появления следующего символа, если известен пре­ды­дущий (в случае их зависимости), можно вы­чис­лить вероятность Р(С) для каждой последовательности С. Тогда энтропия множества { С }, по определению, равна

. (4)

——————————

* Существование такого предела для любого стационарного процесса можно строго доказать.

Определим энтропию процесса Н (среднюю неопределенность, приходящуюся на один символ) следующим образом*:

. (5)

На множестве { С } можно задать любую числовую функцию f_n(С), которая, очевидно, является случайной величиной. Определим f_n(С) с помощью соотношения

.

Математическое ожидание этой функции

,

откуда следует, что

, и (6)

Это соотношение, весьма интересное уже само по себе, является, однако, лишь одним из проявлений гораздо более общего свойства дискретных эргодических процессов. Оказывается, что не только математическое ожидание величины f_n(С) при n имеет своим пределом Н, но сама эта величина f_n(С) стремится к Н при n. Другими словами, как бы малы ни были Е > 0 и ? > 0, при достаточно большом n справедливо неравенство [9]

, (7)

т.е. близость f_n(С) к Н при больших n является почти достоверным событием.

Для большей наглядности сформулированное фундаментальное свойство случайных процессов обычно излагают следующим образом. Для любых заданных E > 0 и ??> 0 можно найти такое n₀, что реализации любой длины n > n₀ распадаются на два класса:

группа реализаций, вероятности Р(С) которых удовлетворяют неравенству

; (8)

группа реализаций, вероятности которых этому неравенству не удовлетворяют.

Так как согласно неравенству (7) суммарные вероятности этих групп равны соответственно 1 – ? и ?, то первая группа называется высоковероятной, а вторая – маловероятной.

Это свойство эргодических процессов приводит к ряду важных следствий, из которых три заслуживают особого внимания.

1⁰. Независимо от того, каковы вероятности символов и каковы статистические связи между ними, все реализации высоковероятной группы приблизительно равновероятны (см. формулу (8)).

В связи с этим фундаментальное свойство иногда называют “свой­ством асимптотической равнораспределенности”. Это следствие, в част­ности, означает, что по известной вероятности Р(С) одной из реализаций высоковероятной группы можно оценить число N₁ реализаций в этой группе:

.

2⁰. Энтропия Н_n с высокой точностью равна логарифму числа реализации в высоковероятной группе:

Н_n = nН = logN₁. (9)

3⁰. При больших n высоковероятная группа обычно охватывает лишь ничтожную долю всех возможных реализаций (за исключением случая равновероятных и независимых символов, когда все реализации равновероятны и Н = log m).

Действительно, из соотношения (9) имеем N₁ = а^nH, где а – основание логарифма. Число N всех возможных реализаций есть N = mⁿ = а^nlogm. Доля реализаций высоковероятной группы в общем числе реализаций выражается формулой

N₁/N=a^{–n(logm – Н)}, (10)

и при Н < logm эта доля неограниченно убывает с ростом n. Например, если a = 2, n = 100, Н =2,75, m = 8, то N₁/N = 2^–25 ~ = (3·10⁷)^-1, т.е. к высоковероятной группе относится лишь одна тридцатимиллионная доля всех реализаций!

Строгое доказательство фундаментального свойства эргодических процессов сложно и здесь не приводится. Однако следует отметить, что в простейшем случае независимости символов это свойство является следствием закона больших чисел. Действительно, закон больших чисел утверждает, что с вероятностью, близкой к 1, в длинной реализации i-й символ, имеющий вероятность р_i, встретится примерно nр_i раз. Следовательно, вероятность реализации высоковероятной группы есть , откуда – logР(С) = – n, что и доказывает справедливость фундаментального свойства в этом случае.

Подведем итог Связав понятие неопределенности дискретной величины с распределением вероятности по возможным состояниям и потребовав некоторых естественных свойств от количественной меры неопределенности, мы приходим к выводу, что такой мерой может служить только функционал (1), названный энтропией. С некоторыми трудностями энтропийный подход удалось обобщить на непрерывные случайные ве­ли­чи­ны (введением дифференциальной энтропии (3)) и на дискретные случайные процессы.

Summary Linking the concept of the uncertainty of a discrete random variable and the form of its probability distribution, and demanding certain reasonable properties from the quantitative measure of uncertainty, we arrive at the conclusion that such a measure may only be the functional (1), which is called entropy. The entropy approach may be extended (with some difficulty) to continuous random variables – by the introduction of differential entropy (3) – as well as to random processes (we have considered here only discrete processes).