Историческая справка

Исторически первые шаги к введению понятия энтропии были сделаны в 1928 году американским инженером-связистом Хартли, предложившим характеризовать степень неопределённости опыта c К различными исходами числом log k. Предложенная им мера степени неопределённости иногда бывает удобна в некоторых практических задачах, но часто оказывается малопоказательной, поскольку полностью игнорирует различие меж-ду характером имеющихся исходов. Поэтому почти невероятному исходу у Хартли при-даётся такое-же значение, как и исходу весьма вероятному. Однако, он считал, что раз-личия между отдельными исходами определяются в первую очередь "психологическими факторами" и должны учитываться лишь психологами, но не инженерами или математи-ками.

16

Ошибочность точки зрения Хартли была показана другим американским инженером - математиком К. Шенноном. Он предложил принять в качестве меры неопределённости опыта с K различными исходами A₁; : : : ; A_k величину

H( ) = −p(A₁) log p(A₁) − : : : − p(A_k log p(A_k).

Иначе говоря, исходу A_i следует приписать неопределённость, равную − log p(A_i). В качестве неопределённости всего опыта H( ) принимается среднее значение случай-ной величины (математическое ожидание), равное H( ) ,где принимают значения − log p(A_i) с вероятностями p(A_i).

Таким образом, загадочные "психологические факторы" учитываются с помощью исполь-зования понятия вероятности, имеющего чисто математический, а точнее статистический характер.

Использование величины H( ) в качестве меры неопределённости опыта A оказалось полезным во многих областях, а особенно в теории передачи сообщений по линиям свя-зи.

Энтропия сложных событий. Условная энтропия

Условная энтропия. Пусть имеются два независимых опыта A; B с таблицей вероятностей

A₁; p(A₁); : : : ; A_k; p(A_k); B₁; p(B₁); : : : ; B_l; p(B_l).

Рассмотрим сложный опыт , когда осуществляются оба опыта одновременно, имею-щий k ∗ l исходов (A × B - декартово произведение).

A₁B₁ : = A₁; = B₁

Очевидно, что неопределённость опыта больше неопределённости каждого из опы-тов, из-за осуществления обоих опытов. Поэтому имеет место соотношение H( ) = H( ) + H( ). Написанное равенство называется правилом сложения энтропии для опы-тов и .

Для доказательства этого равенства рассмотрим выражение

H( ) = −p(A₁B₁) log p(A₁B₁) − : : : − p(A_kB_l) log p(A_kB_l)

; - независимы, следовательно p(A_iB_j) = p(A_i) ∗ p(B_j) ⇒

log p(A_iB_j) = log p(A_i)p(B_j) = log p(A_i) + log p(B_j):

Предположим далее, что и - зависимые опыты (пример: , - последовательные из-влечения двух шаров из одной урны.) Постараемся выяснить, чему равна энтропия слож-ного опыта в этом случае.

Здесь уже нельзя заменить p(A₁B₁); p(A₁B₂); : : : произведением вероятностей, а необ-ходимо использовать условную вероятность p(A₁B₁) = p(A₁) ∗ p(B₁|A₁)

В этом случае можно доказать следующую формулу:

17

H( ) = H( ) + [p(A₁) ∗ H( |A₁) + p(A₂) ∗ H( |A₂) + : : : + p(A_k) ∗ H( |A_k)] (∗) , где

H( |A_i) - условная энтропия опыта при условии, что значение опыта равно A_i.

H( |A_i) = −p(B₁|A_i) log p(B₁|A_i) − p(B₂|A_i) log p(B₂|A_i) − : : : − p(B_e|A_i) log p(B_e|A_i)(∗∗)

Это выражение представляет собой энтропию опыта при условии, что имеет место со-бытие A_i.

H( ; ) = H( ) + H( )	( для независимых ; )
{ H( ; ) = H( ) + [ : : : ](	) ( для зависимых ; )
∗

Первый член последнего выражения (∗) - энтропия опыта . Что же касается второго - он есть математическое ожидание случайной величины, принимающей с вероятностя-ми p(A₁); : : : ; p(A_k) значения H( |A₁); : : : ; H( |A_k), то есть значения, равные услов-ной энтропии опыта , при условии, что опыт имеет исходы : A₁; : : : ; A_k. Это сред-нее значение естественно назвать условной энтропией выполнения опыта при условии выполнения опыта ,

H( | ) = [ : : : ](∗) = p(A₁)H( |A₁) + p(A₂)H( |A₂) + : : : + p(A_k)H( |A_k)

Тогда соотношение (∗) переписывается как H( ) = H( ) + H( | )(∗); ; - зависимы.

Это и есть общее правило для определения энтропии сложного опыта . Его также мож-но назвать правилом сложения энтропии, для зависимых опытов .

Укажем основные свойства условной энтропии:

1. H( | ) > 0.

2. p(A₁); : : : ; p(A_k) ≠ 0 (опыт имеет к штук исходов).

Тогда H( | ) = 0 ⇐⇒ H( |A₁) = : : : = H( |A_k) = 0, т.е. при любом исходе опыта результат опыта полностью определён, и при этом имеем H( ) = H( ).

Если и независимы, то тогда H( | ) = H( ), и H( ) = H( ) + H( ).

3. Во всех случаях условная энтропия H( | ) заключается между 0 и H( ):

0 6 H( | ) 6 H( ).

Таким образом случаи, когда исход полостью предопределяется исходом и когда опыты и независимы, являются в определённом смысле крайними.

3. Условная энтропия.

H( ) = H( ) ⇒ H( ) + H( | ) = H( ) + H( | ) ⇒

⇒ H( | ) = H( | )(:) + H( ) − H( )

H( | ) = 0 (исход опыта полностью определяет опыта

H( | ) = H( ) − H( )

18

Задача: Задача о болезненной реакции.

Известно, что некоторой болезнью в среднем болеют 2 человека из 100. Для выявления больных используется определённая реакция, которая всегда оказывается положитель-ной в том случае, когда человек болен. Если же человек здоров, то она столь же часто бывает положительной, как и отрицательной. Пусть опыт состоит в определении то-го болен или здоров человек, а опыт - в определении результата указанной реакции. Спрашивается, какова будет энтропия H( ) =? опыта и условная энтропия H( | ) =?.

Решение: Очевидно, что имеет 2 исхода: : {B₁ - здоров; B₂ - болен}.

p(B₁) = 0:98; p(B₂) = 0:02.

H( ) = −0:98 log 0:98 − 0:02 log 0:02 ≈ 0:14бит:

H( ) ≈ 0:14:

Рассмотрим опыт : : A₁ − положительная реакция; A₂ − отрицательная реакция

p(A₁) = p( ^B₂¹ + B₂) = p( ^B₂¹ ) + p(B₂) = 0:49 + 0:02 = 0:51.

p(A₂) = p( ^B₂¹ ) = 0:49.

= A1 : p(B1|A1) =	p(B1A1)	=	0:49	=	49	:
	p(A1)		0:51		51
= A2 : p(B2|A1) =	p(B2A1)	=	0:02	=	2	:
	p(A1)		0:51		51

Пользуясь этими данными мы можем найти условную энтропию H( ) при выполнении события A₁

H( |A1) = −	49	log	49		−	2	log	2		≈ 0:24 бит.
	51		51			51		51

При = A₂ ⇒ = B₁; H( |A₂) = 0, т.е. мы с уверенностью можем утверждать, что человек здоров, и опыт имеет исход B₁.

Таким образом, условная энтропия при условии осуществления будет равна

H( ) = 0:14|sysH( |A₁) ≈ 0:045H( |A₂) = 0 ∼∼

H( | ) = p(A₁)H( |A₁) + p(A₂)H( |A₂) ≈ 0:51 ∗ 0:24 + 0:49 ∗ 0 = 0:12 бит.

Иначе говоря, выполнение опыта уменьшает неопределённость опыта на 0:002 бита.

19

Понятие об информации.

Вернёмся вновь к величине H( ), характеризующей степень неопределённости опыта . Равенство этой величины 0 означает, что исход опыта заранее известен. Большее или меньшее значение числа H( ) отвечает большей или меньшей проблематичности определения результата опыта . Какое-либо измерение или наблюдение в виде опыта , предшествующее может ограничить количество возможных исходов опыта , и тем самым уменьшить степень его неопределённости: так, к примеру степень неопределён-ности опыта, состоящего в нахождении самого тяжёлого из 3 грузов уменьшается после сравнения на весах двух из них.

Для того, чтобы результат измерения(наблюдения) мог сказаться на последующем опы-те необходимо, чтобы не был известен заранее. Поэтому, можно рассматривать как вспомогательный опыт, также имеющий несколько допустимых исходов.

Тот факт, что осуществление уменьшает степень неопределённости отражается в неравенстве, где условная энтропия H( | ) 6 H( ) первоначальной энтропии опыта

.

При этом, если опыт не зависит от , то осуществление не уменьшает энтропии . Это значит, что H( | ) = H( ). Если же результат полностью предопределяет ис-ход опыта , то энтропия уменьшается до 0: H( | ) = 0. Таким образом, разность

I( ; ) = H( ) − H( | )(∗) .

Таким образом написанная разность указывает, насколько осуществление уменьшает неопределённость , т.е. как много мы узнаём об исходе опыта , произведя измере-ние(наблюдение) в виде опыта . Эта разность (∗) называют количеством информации относительно опыта , содержащейся в опыте . Таким образом, мы получаем возмож-ность численного измерения информации. К примеру, в условиях задачи о болезненной реакции можно сказать, что используемая реакция в виде опыта даёт информацию о заболевании в виде опыта , равное 0:14 − 0:12 = 0:02 бита. Эта цифра и оценивает пользу реакции.

Соотношение между понятиями энтропии и информации напоминает соотношение меж-ду физическими понятиями потенциала и разности потенциалов. Энтропия есть абстракт-ная мера неопределённости. Ценность этого понятия в значительной мере заключается в том, что оно позволяет оценить влияние на опыт какого-либо другого опыта как разность энтропий по формуле (∗).

Подчеркнём также, что информация относительно опыта , содержащаяся в опыте представляет собой среднее значение (математическое ожидание) случайной величины H( ) − H( |A_i), связанной с отдельными исходами A_i опыта .

Пример: Задача о шарах и предварительной информации.

Пусть опыт состоит в извлечении одного шара из урны:

: 1 шар из 5 чёрных и 10 белых.

А опыт _k состоит в предварительном извлечении (без возвращения обратно) K шаров:

_k : K шаров извлечено.

H( ) = ?

20

I( ; ₁) = ?

I( ; ₂) = ?

I( ; ₁₃) = ?

I( ; ₁₄) = ?

Чему равна энтропия H( ) и информация, содержащаяся в опыте ₁?