Лекции / ЛЕКЦИЯ 1.doc Информационный аспект

f (n _a n _b) = f (n _a) + f (n _b)

Теперь более отчетливо просматриваются свойства функции, которая удовлетворяет перечисленным свойствам, и может быть использована для описания функции f (n). Припомнив свойства логарифмов, можем смело утверждать, что это функция log (n).

Таким образом, за меру неопределенности опыта с n равновероятными исходами можно принять число log (n).

Поскольку из элементарной математики известна формула перехода от одного основания логарифма к другому, выбор основания логарифма существенной роли не играет.

Log _b n = log _b a log _a n.

Приведенное соображение позволяет для дальнейших рассуждений выбрать удобное основание логарифма. Таковым оказывается основание 2, поскольку в этом случае за единицу измерения принимается неопределенность, содержащаяся в опыте, имеющем лишь два равновероятных исхода, которые могут означать соответствие или несоответствие, да или нет.

Единица измерения неопределенности при двух возможных исходах опыта называется БИТ.

Таким образом, явный вид функции, описывающей неопределенность опыта, имеющего n равновероятных исходов, представляется следующим:

f (n) = log ₂ n

Определим неопределенность, вносимую каждым отдельным исходом в общую. Поскольку все n исходов равновероятны ( вероятность одного исхода p = 1 / n) из свойства аддитивности следует, что неопределенность, вносимая одним исходом составляет

1 / n log₂ n = - 1 / n log₂ 1 / n = - p log₂ p.

Неопределенность, вносимая каждым из равновероятных исходов равна:

H = - p log₂ p

Обобщим последнее выражение на ситуацию, когда исходы не равновероятны. Пусть имеем вероятности исходов опытов А₁ и А₂ обозначенные p (A₁) и p (A₂) соответственно. Тогда

H ₁ = - p (A ₁) log p ₂ (A ₁) H ₂ = - p (A ₂) log ₂ (A ₂)

Из условия аддитивности

H ₀ = H ₁ + H ₂ = - p (A ₁) log p ₂ (A ₁) – p (A ₂) log p ₂ (A ₂)

Обобщая это выражение на n не равновероятных исходов, получим:

Полученное нами выражение неопределенности обозначает энтропию опыта А. Если

есть среднее значение дискретных случайных величин, то, формулу, можно записать в следующем виде:

H (A) = ! - log ₂ p (A) !

Из последнего выражения следует, что энтропия является мерой неопределенности опыта, в котором проявляются случайные события, и равна средней неопределенности всех возможных исходов.

Свойства энтропии.

Анализируя количественные оценки случайных сигналов, в том числе, последовательностей случайных дискретных сигналов, представленных Марковскими процессами, мы установили, что, если есть некоторая функция, непрерывная относительно вероятностей выборов, монотонно возрастающая при росте числа опытов ( числа исходов опытов ) и обладающая свойством аддитивности, то ее можно использовать в качестве меры возможности выбора и неопределенности. Было получено соответствующее математическое выражение этой величины

H = - Σ p_i log p_{i ,}

и определение ее как энтропии множества вероятностей p, . . . p _n.

Чтобы перейти от неопределенности выбора к количественной оценке информации, следует рассмотреть свойства полученного выражения. Основными из этих свойств являются следующие:

1. Энтропия рана нулю (Н = 0) тогда и только тогда, когда все вероятности p , кроме одной, равны нулю, а эта единственная вероятность равна единице. Таким образом, энтропия равна нулю только при полной определенности исхода опыта. В противном случае энтропия положительна.

2 При заданном числе выборов n величина энтропии максимальна и равна log n, когда все вероятности исходов опытов равны и, следовательно, p_i = 1/n .

3. Пусть имеются два события x и y. Событию x соответствуют m исходов, событию y – n исходов. Пусть вероятность p (i, j) означает совместное осуществление исхода i для x и j для y.Энтропия совместного события равна

В то же время энтропия каждого из событий будет соответственно равна

Вполне очевидным является выражение

H (x, y) H (x) + H (y)

Знак равенства в данном выражении имеет место, когда события независимы [т. е. p (i, j) = p (i) p (j) cм. “Свойства вероятности”]. В остальных случаях имеет место знак неравенства. Итак, неопределенность совместного события меньше или равна сумме неопределенностей отдельных событий.

4. Всякое изменение вероятностей p₁, p₂, …, p_n в сторону их выравнивания увеличивает энтропию. Так, если p₁ p₂ и увеличивать p₁ , уменьшая одновременно p₂ на такую же величину, так, что p₁ и p₂ приближаются друг к другу, то энтропия увеличивается ( см. “График энтропии для двух выборов”).

5. Рассмотрим ситуацию, когда имеются два случайных события x и y, которые не являются независимыми. Для каждого частного значения i, которое может принять x, имеется условная вероятность p_i (j) того, что y при этом примет значение j. Она задается выражением

Определим энтропию (условную среднюю энтропию) H (y) величины y как величину, получаемую в результате осреднения энтропии y, вычисленной по всем значениям x, с весами, соответственно равными вероятностям этих значений x.

Эта величина показывает, какова в среднем неопределенность значения y, когда известно значение x. Подставив значение p (j) и проведя соответствующие преобразования над логарифмом, получим

Перепишем

H (x, y) = H (x) + H _x (y),

Последнее указывает на то, что неопределенность (энтропия) совместного события ( x, y ) равна неопределенности события x плюс неопределенность события y, когда x известно.

6. По результатам п. п. 3 и 5 имеем

H (x) + H (y) H (x, y) = H (x) + H _x (y).

Отсюда

H (y) H _x (y)

Неопределенность события y не возрастает при условии, что событие x становится известным. Она уменьшается, если только события x и y не являются независимыми. В остальных случаях она не изменяется.

ЛИТЕРАТУРА

1. Шеннон К. Работы по теории информации и кибернетике. М.: Изд. ИЛ

2. 1963 г. стр. 243 – 263.

3. www.uspu.ru/infoserv/bes/glava_1.html

Из истории.

Впервые понятие энтропии было введено в 1865 году немецким физиком Рудольфом Клаузиусом как функция состояния термодинамической системы, определяющей направленность самопроизвольных процессов в системе. Клаузиус сформулировал второе начало термодинамики. В частности, он показал, что максимума энтропия достигает при полой разупорядоченности в системе, чему соответствует состояние равновесия. Другими словами, в физике энтропия оказывается мерой беспорядка в системе. Позднее, в 1872 году, Людвиг Больцман, развивая статистическую теорию, связал энтропию системы с вероятностью ее состояния, дал статистическое толкование второму началу термодинамики и, в частности, показал, что вероятность максимальна у полностью разупорядоченной ( равновесной ) системы, причем, энтропия и термодинамическая вероятность оказались связанными логарифмической зависимостью. Сходство понятий и соотношений между ними в теории информации и статистической термодинамике, как это представляется сегодня, имеет глубокий смысл.

13