3.2 Условная энтропия

Найдем энтропию сложного опыта  в том случае, если опыты не являются независимыми, то есть если на исход  оказывает влияние результат опыта .

Например, если в ящике всего 2 разноцветных шара и  состоит в извлечении первого, а  – второго из них, то  полностью снимает неопределенность сложного опыта , то есть H()=H(), а не сумме энтропии.

Связь между  и  состоит в том, что какие-то из исходов А^() могут оказывать влияние на исходы из B^(), то есть некоторые пары событий A_iB_j не является независимыми, тогда следует р(A_iB_j)= р(A_i)р_Ai(B_j), где р_Ai(B_j) – вероятность наступления исхода B_j при условии того, что в первом опыте имел место исход A_i – условная вероятность. Энтропия такого опыта

log₂р(A_iB_j)=log₂р(A_i) + log₂р_Ai(B_j). (3.5)

Окончательно для энтропии сложного опыта:

H() = H()+ H_(), где H_() – средняя условная энтропия опыта  при условии выполнения опыта .

Относительно условной энтропии верны следующие утверждения:

1. Условная энтропия является величиной неотрицательной.

H_()=0, только в том случае, если любой исход  полностью определяет исход  (пример с двумя шарами), то есть H_A1()= H_A2() = H_A3()= … = = H_An() = 0. Тогда H() = H().

2. Если опыты  и  независимы, то H_() = H(), причем это оказывается наибольшим значением условной энтропии. Другими словами, опыт  не может повысить неопределенность опыта  – он может либо не оказать никакого влияния (если опыты независимы), либо понизить энтропию .

Утверждения 1 и 2 можно объединить неравенством 0  H_()  H().

3. Из соотношений 1 и 2 следует, что H()  H() + H(), причем равенство реализуется только в том случае, если опыты  и  – независимы.

Пример 3. В ящике имеются 2 белых шара и 4 черных. Из ящика извлекают последовательно 2 шара без возврата. Найти энтропию, связанную с 1-ым извлечением, 2-м извлечением, а также энтропию обоих извлечений.

Будем считать опытом  извлечение 1-го шара.

Он имеет 2 исхода: A₁ – вынут белый шар р(A₁)= 2/6 = 1/3,

A₂ – вынут черный шар р(A₂) = 4/6 = 2/3.

H_=  р(A₁)log₂р(A₁)  р(A₂)log₂р(A₂) = бит.

Опыт  также имеет 2 исхода: B1 – вынут белый шар;

B2 – вынут черный шар.

Однако их вероятности будут зависеть от того, каким был исход опыта . В частности,

при A₁ р_A1(B₁) = 1/5 р_A1(B₂) = 4/5,

при A₂ р_A2(B₁) = 2/5 р_A2(B₂) = 3/5.

Следовательно, энтропия второго опыта является условной:

H_A1() = .

H_A2() = .

H_ = 0,722 + 0,971 = 1,693.

H_() = р(A₁) H_A1() + р(A₂) H_A2()= бит.

H() = H()+ H_() = 0,918 + 0,888 = 1,806 бит.

3.3 Статистическое определение информации

Поучительность только что рассмотренного примера в том, что у него отчетливо видно, как предшествующий опыт () может уменьшить количество исходов, и, следовательно, неопределенность последующего опыта ().

Разность H() и H_(), очевидно, показывает, какие новые сведения относительно  получаем, проведя опыт .

Эта величина называется информацией (I) относительно опыта , содержащейся в опыте 

I (,) = H_().

Данное выражение открывает возможность численного измерения количества информации, поскольку оценивать энтропию уже умеем. Из него легко получить ряд следствий:

Следствие 1. Поскольку единицей измерения энтропии является бит, то в этих же единицах может быть измерено количество информации.

Следствие 2. Пусть опыт  = , то есть просто произведен опыт . Поскольку он несет полную информацию о себе самом, неопределенность исхода полностью снимается, то есть

H_() = 0. Тогда I (,) = H (), следовательно,

энтропия равна информации относительно опыта, которая содержится в нем самом, или

энтропия опыта равна той информации, которую получаем в результате его осуществления.

Отметим ряд свойств информации:

1. I (,)  0, причем I (,) = 0 тогда и только тогда, когда опыты  и  независимы.

2. I (,) = I (,), то есть информация симметрична относительно последовательности опыта.

3. Формула определения количественного значения информации

I =  . (3.6)

То есть информация опыта равна среднему значению количества информации, содержащейся в каком-либо одном его исходе.

Пример 4. Какое количество информации требуется, чтобы узнать исход броска монеты?

n=2, события равновероятны р₁=р₂= и

I = .

Пример 5. «Угадайка-4». Некто задумал число в интервале от 0 до 3. Опыт состоит в угадывании этого числа. На наши вопросы Некто может отвечать лишь Да/Нет. Какое количество информации должны получить, чтобы узнать задуманное число? Как правильно построить процесс угадывания?

Возможные исходы: А₁ – задуман 0, А₂ – задумана 1, А₃ – задумана 2, А₄ - задумана 3.

Так как все исходы равновероятны, то р(А₁) = р(А₂) = р(А₃) = р(А₄) = ,

I = ( бит информации.

Какие вопросы надо задать, чтобы процесс угадывания был оптимальным, то есть содержал минимальное их число?

Дерево вопросов для угадывания приведено на рисунке 3.1. Вопросы, задаваемые отгадывающим игроком – бинарные (т.е. имеют 2 возможных равновероятных ответа).

Следовательно, для решения задачи оказалось достаточно 2-х вопросов независимо от того, какое число было задумано. Совпадение между количеством информации и числом вопросов с бинарными ответами неслучайно.

Количество информации численно равно числу вопросов с равновероятными бинарными вариантами ответов, которые необходимо задать, чтобы полностью снять неопределенность задачи.

Если все n исходов равновероятны, то формула (3.6) приобретает вид

, то есть

I = log₂ n . (3.7)

Эта формула была выведена в 1928 году американским инженером З. Хартли и носит его имя. Она связывает количество равновероятных состояний (n) и количество информации в сообщении (I), что любое из этих состояний реализовалось.

Частным случаем для n = 2^k является I = k бит (примеры с монетой и «Угадайка-4»).