Графическая интерпретация абсолютной энтропии

Функция H достигает максимума при n = 5, то есть P = 5/10 = 1/2

Поскольку исходы опыта вынуть белый или черный шар равновероятны, то

H( ) = -1/2 log2 1/2 - 1/2 log2 1/2 = -log2 1/2 = = log2 2 = 1 (бит)

При равновероятных исходах опыта формула абсолютной энтропии Шеннона превращается в формулу Хартли

Условная энтропия

Определим условную энтропию опыта так же как и абсолютную с той лишь разницей, что вместо абсолютных вероятностей будем использовать условные вероятности.

Пусть в сосуде находятся 5 белых и 5 черных шаров, и из сосуда вынули один белый шар. Условная вероятность снова вынуть белый шар: Pб(б) = 4/9

Условная вероятность вынуть черный шар: Pб(ч) = 5/9.

Мера Шеннона определения количества информации

Пусть в сосуде находятся 5 белых и 5 черных шаров, то есть n = 5, P1 = P2 = 5/10 = ½

Абсолютная энтропия опыта равна:

H( ) = -1/2 log21/2 - 1/2 log21/2 = -log21/2 =

= log22 = 1 (бит)

Неопределенность опыта, то есть его энтропия, после того как был вынут белый шар изменилась:

H( ) = -Pб(б) log2P(б) - Pб(ч) log2P(ч) =

= -4/9 log24/9 – 5/9 log25/9 = 0.9911 (бит)

Мера Шеннона определения количества информации

Таким образом, неопределенность в выполнении последующего опыта уменьшилась на величину

I( ) = 1 – 0.9911 = 0.0089 (бит)

Разность между абсолютной энтропией опыта H( ) и условной энтропией Hw( ) называется

количеством информации Iw( ):

Iw( ) = H( ) - Hw( ) = 1.0000 - 0.9911 = 0.0089 (бит) Iw( ) – это та информация, которую предшествующий опыт дает относительно исхода нового опыта

Наше знание о результате предстоящего опыта увеличилось после извлечения белого шара на величину 0.0089 бит