Тема 2. Энтропия и декремент

НЕОПРЕДЕЛЕННОСТИ

ТЕОРЕТИЧЕСКИЙ МАТЕРИАЛ

Значение случайной величины (реасобытия) является неопределенным до момента его возникновения, после чего оно становится известным. Например, если будет бросаться игральная кость с шестью гранями, на которых обозначено от одной до шести точек (очков), то результат такого эксперимента до его проведения не определен (равновероятно может «выпасть» число точек 1, 2, 3, 4, 5 или 6). После бросания кости она останавливается в определенном положении (например, 3 очка) и неопределенность результата отсутствует.

В технических задачах неопределенность состояния объекта из множества с вероятностью появления характеризуется энтропией по Клоду Шеннону, определяемую равенством

, (2.1)

где - число элементов (арсенал) множества состояний и измеряется в битах. Как видно, энтропия определяется только распределением вероятностей состояний объекта.

Рассмотрим несколько примеров. Для равномерного распределения вероятностей вида

, (2.2)

график которого показан на рис. 2.1а.

15

Рис. 2.1

Для равномерного распределения вероятностей энтропия равна

. (2.3)

Зависимость энтропии от мощности множества состояний показана на рис. 2.1б. При заданной величине энтропия (2.3) максимальна.

Для экспоненциального распределения вида

. (2.4)

вероятности (2.4) образуют полную группу событий, при этом

, (2.5)

тогда константа равна

. (2.6)

16

Введем обозначение

, (2.7)

тогда сумму (2.6) можно записать в виде

. (2.8)

Суммируя геометрическую прогрессию в знаменателе (приложение 1), для коэффициента из (2.4) получим

. (2.9)

Зависимость показана на рис. 2.2 сплошной линией при и пунктирной при .

Рис.2.2

При из (2.9) следует

17

. (2.10)

При из (2.9) следует

, (2.11)

а экспоненциальное распределение вероятностей (2.4) становится равномерным вида (2.2). При вероятность первого состояния , а остальные вероятности становятся бесконечно малыми.

На рис. 2.3 показаны экспоненциальные распределения вероятностей (2.4) для различных значений .

Рис. 2.3

Определим энтропию для экспоненциального распределения вероятностей

. (2.12)

Подставляя в (2.12) распределение вероятностей (2.4) и суммируя получившиеся прогрессии (проделайте расчеты самостоятельно) с учетом (2.7) получим

18

(2.13)

При из (2.13) следует

, (2.14)

а при соответственно

. (2.15)

Зависимости энтропии экспоненциального распределения вероятностей от параметра показаны на рис. 2.4.

Рис. 2.4

Как видно, неопределенность состояний с экспоненциальным распределением вероятностей меняется от величины параметра и максимальна для равновероятных состояний.

19

Энтропия является мерой исходной (априорной) неопределенности состояний объекта и определяется априорным распределением их вероятностей.

Если проведено первое двоичное измерение и принято решение о наличии реасобытия в одном из анализируемых подмножеств ( ) или , ( ), то апостериорное распределение вероятностей состояний объекта после первого измерения отличается от априорного , а это приводит к изменению средней апостериорной неопределенности (энтропии), равной

, (2.16)

где - вероятность соответствующего решения , а

, (2.17)

- условные апостериорные энтропии для соответствующих решений.

Апостериорные вероятности событий и методика их расчета рассмотрены в предыдущей теме. Рассмотрим пример, показанный на рис. 1.2 для алгоритма последовательного поиска.

Априорная энтропия множества состояний равна

бита. (2.18)

Апостериорные вероятности состояний после первого измерения определяются выражениями (1.10) при и

20

(1.14) при , их графики показаны на рис. 1.3, и кроме того , .

При (реасобытие обнаружено в подмножестве , состоящем из одного элемента ) условная апостериорная энтропия равна

, (2.19)

а при (в противном случае)

бит (2.20)

(проведите расчет самостоятельно).

В результате средняя апостериорная энтропия после первого измерения (2.16) равна

бит. (2.21)

После первого измерения в соответствии с деревом поиска на рис. 1.2 при поиск прекращается (принимается решение о наличии реасобытия ), а при - продолжается и могут быть приняты решения (реасобытие ) или (реасобытием являются или ), соответствующие апостериорные распределения вероятностей показаны на рис. 1.4. тогда получим

, (2.22)

бит (2.23)

21

Безусловная (средняя) энтропия после второго измерения определяется выражением

(2.24)

Так как и , то получим

(2.25)

В ходе третьего измерения (если и ) в каждое проверяемое подмножество входит по одному состоянию ( или ), тогда поиск закончится при любом принятом решении и остаточная (апостериорная) энтропия будет равна нулю,

. (2.26)

Зависимости средней апостериорной энтропии и условной энтропии ( - принятые решения) от номера проделанного измерения показаны на рис. 2.5.

При безошибочном поиске энтропия снижается после каждого двоичного измерения. Для описания этого явления удобно использовать декремент неопределенности после -го измерения, равный разности средних априорной и апостериорной энтропий для этого измерения,

. (2.27)

22

Зависимость декремента неопределенности от номера двоичного измерения для рассмотренного выше примера показана на рис. 2.6.

Рис. 2.5 Рис. 2.6

Для безошибочного поиска частный (условный) декремент неопределенности в ходе -го двоичного измерения при заданном наборе (векторе) ранее принятых решений можно определить по формуле

(2.28)

где - условная вероятность принятия решения . Можно использовать равенство

. (2.29)

Обозначим

, (2.30)

23

тогда получим

. (2.31)

Нетрудно убедиться, что

, (2.32)

то есть условный декремент неопределенности не может быть больше 1 бита. Это неравенство удобно для контроля правильности результатов расчета.

Средний (безусловный) декремент неопределенности равен

, (2.33)

где - вероятность возникновения соответствующего вектора решений.

При безошибочном поиске для ветвей, длина которых меньше , поиск завершен и соответствующая условная энтропия равна нулю.

В рассмотренном примере с деревом поиска на рис. 1.2 с учетом того, что первое измерение проводится с вероятностью , получим

(2.34)

Второе измерение будет проводиться с вероятностью , тогда декремент неопределенности равен

24

(2.35)

Третье измерение проводится, если перед ним были приняты решения и , вероятность этого равна , тогда декремент неопределенности равен

(2.36)

Полученные результаты полностью совпадают с показанными на рис. 2.6.

КОНТРОЛЬНЫЕ ВОПРОСЫ

1. Как определяется энтропия множества состояний объекта по К. Шеннону, от чего она зависит?

2. При каких условиях энтропия максимальна? Когда она равна нулю? Может ли энтропия быть отрицательной?

3. Как зависит энтропия от неравномерности распределения вероятностей состояний?

4. Запишите общее выражение для вычисления энтропии после -го двоичного измерения.

5. Как изменяется условная и безусловная энтропия после очередного безошибочного двоичного измерения?

6. Что такое декремент неопределенности, как он определяется?

25

7. В каких пределах заключены значения декремента неопределенности?

8. Как определяется декремент неопределенности после -го двоичного измерения?

ЗАДАНИЯ ДЛЯ ПРАКТИЧЕСКИХ ЗАНЯТИЙ

Задание 2.1. Дайте определение энтропии по К. Шеннону. Как на нее влияет распределение вероятностей?

Задание 2.2. Как определяется условная и средняя энтропия, декремент неопределенности?

Задание 2.3. При равномерном распределении априорных вероятностей , и последовательном алгоритме поиска получите:

- выражение для апостериорных вероятностей состояний после двоичных измерений, постройте графики;

- выражение для условных энтропий состояний после двоичных измерений, постройте графики;

- выражение для безусловных энтропий состояний после двоичных измерений, постройте графики;

- выражение для декремента неопределенности состояний в результате -го двоичного измерения, постройте графики;

Задание 2.4. При равномерном распределении априорных вероятностей , , и дихотомическом алгоритме поиска получите:

- выражение для апостериорных вероятностей состояний после двоичных измерений, постройте графики;

- выражение для условных энтропий состояний после двоичных измерений, постройте графики;

26

- выражение для безусловных энтропий состояний после двоичных измерений, постройте графики;

- выражение для декремента неопределенности состояний после -го двоичного измерения, постройте графики;

Задание 2.5. При равномерном распределении априорных вероятностей , и алгоритме поиска, дерево которого показано на рис. 2.7, рассчитайте:

- апостериорные вероятности состояний после первого, второго и третьего измерений;

- условные энтропии состояний после первого, второго и третьего двоичных измерений;

- безусловные энтропии состояний после первого, второго и третьего измерений;

- декременты неопределенности состояний в результате первого, второго и третьего измерений;

Рис. 2.7

ЗАДАНИЯ ДЛЯ САМОСТОЯТЕЛЬНОЙ РАБОТЫ

1.1 При распределении априорных вероятностей из таблице при и алгоритме поиска, дерево которого показано на рис. 2.7 рассчитайте:

- апостериорные вероятности состояний после первого, второго и третьего измерений;

27

- условные энтропии состояний после первого и второго двоичных измерений;

- безусловные энтропии состояний после первого и второго измерений;

- декременты неопределенности состояний в результате первого, второго и третьего измерений;

i	1	2	3	4	5
	0,4	0,2	0,2	0,1	0,1