Энтропия и информация

Энтропия как мера неопределённости

Для практики важно уметь численно оценивать степень неопределённости самых разно-образных опытов, чтобы иметь возможность их сравнивать.

Начнём с рассмотрения опытов имеющих K равновероятных исходов. Степень неопре-делённости каждого такого опыта определяется числом K. При K = 1 исход опыта не яв-ляется случайным. При большом значении K предсказание результата опыта становится затруднительным.

14

Таким образом, искомая численная характеристика степени неопределённости должна зависть от K, т.е быть функцией f(k); f(1) = 0; при возрастании аргумента, функция должна возрастать. Для более полного определения функции f(k) необходимо предъ-явить к ней дополнительные требования.

Рассмотрим сложный опыт , состоящий в одновременном выполнении опытов и . Неопределённость выполнения сложного опыта больше неопределённости опыта , т.к. к его неопределённости надо добавить неопределённость опыта . Поэтому естествен-но считать, что степень неопределённости опыта равна сумме неопределённостей, характеризующих и .

Пусть имеет k ∗ l равновероятных исходов, k ; l . Приходим к следующему усло-вию, которму должна удовлетворять функция f(kl) = f(k) + f(l). Последнее усло-вие наталкивает на мысль принять за меру неопределённости опыта, имеющего K рав-новероятных исходов число log k: log(kl) = log k + log l. Такое определение меры неопределённости согласуется с первоначальными условиями, что f(1) = log 1 = 0; f(k) - возрастающая функция. Можно доказать, что логарифмическая функция являет-ся единственной, удовлетворяющей этим условиям.

Замечание: отметим, что выбор основания логарифма большой роли не играет, посколь-ку в силу известной формулы перехода можем написать log_b a = log_c a/ log_c b ⇒ log_b k = log_b a ∗ log_ak сводится к домножению на константу, т.е. равносилен простому изменению единицы измерения степени неопределённости. Обычно за меру степени неопределён-ности берут логарифмы при основании 2: log₂k = logk, причём основание 2 не фиксиру-ют. Т.е. за единицу измерения степени неопределённости принимают неопределённость опыта, имеющего 2 равновероятных исхода: log₂ 2 = 1 бит. Везде далее будем пользо-ваться двоичными единицами измерения.

Таблица вероятности для опыта, имеющего K равновероятных исходов:

Исходы	A1	A2	: : :	Ak
Вероятности	1	1	: : :	1
	k	k		k

Поскольку при наших допущениях неопределённость равна f(k) = log k. В этом случае каждый отдельный исход вносит неопределённость _k¹ . ^log_k ^k = _k¹ log k = −_k¹ log _k¹ .

В самом общем случае опыт имеет следующую таблицу вероятности:

Исходы	A1	A2	: : :	Ak
Вероятности	P (A1)	P (A2)	: : :	P (Ak)

Для опыта общая мера неопределённости равна −p(A₁) log p(A₁)−p(A₂) log p(A₂)− : : : − p(A_k) log p(A_k) = H( ) - энтропия опыта

Рассмотрим некоторые свойства энтропии H( ):

1. H( ) > 0

Доказательство:

−p(A) log p(A) > 0 (множители ∈ промежутку (0 6 p(A) 6 1) )

−p(A) log p(A) = 0 ⇐⇒ {p = 0; p = 1}

15

В случае, если опыт имеет K попарно несовместных исходов, то H( ) = 0 равно-сильно тому, что один исход - достоверное событие, а все другие - невозможны, так как p(A₁) + : : : + p(A_k) = 1 . Это обстоятельство хорошо согласуются с величиной

( )

H( ) - только в этом случае опыт вообще не содержит неопределённости.

2. Из всех опытов c K исходами самым неопределённым является опыт опыт с K рав-новероятными исходами. Можно показать, что имеет место неравенство

H( ) = −p(A₁) log p(A₁) − : : : − p(A_k) log p(A_k) 6 H( ₀) H( ₀) = log k = −_k¹ − : : : − _k¹ .

Равенство достигается при равных вероятностях P (A_i); i = [1; k]

Пример: Имеется две урны с 20-ю шарами каждая. Первая - 10 белых, 5 чёрных, 5 крас-ных. Вторая - 8 белых, 8 чёрных, 4 красных.

Из каждой урну вынимают по 1 шару. Исход какого из двух опытов следует считать более неопределённым?

Решение: Обозначим опыты как А1 и A2. A1

Исходы	Бел	Чёр	Крас
Вероятности	1/2	1/4	1/4
A2
Исходы	Бел	Чёр	Крас
Вероятность	2/5	2/5	1/5

Энтропия опыта A1: H( ₁) = −¹₂ log ¹₂ − ¹₄ log ¹₄ − ¹₄ log ¹₄ = −¹₂ ∗ 1 − ¹₂ ∗ (−2) = −¹₂ + 1 = 1; 5бита.

Энтропия опыта A2: H( ₂) = −²₅ log ²₅ − ²₅ log ²₅ − ¹₅ log ¹₅ = −⁴₅ (log 2 − log 5) − ¹₅ (log 1 − log 5) = −0:8 + −⁴₅ log 5 + ¹₅ log 5 = −0:8 + log 5 = 1; 52 бита.

Вывод: Если оценивать степень неопределённости опыта его энтропией, то исход второго опыта более неопределённый, нежели первого.