Абсолютная энтропия
Пусть опыт имеет два исхода: 1 и 2. Вероятность опыта 1 равна P1, вероятность опыта 2 – P2
Построим функцию
2
H( ) = P1log2P1 P2log2P2 = Pilogi=1 2Pi.
H( ) – абсолютная энтропия опыта
Энтропия характеризует меру неопределенности опыта. Для опыта с k исходами:
k
H( ) = i=1Pilog2 Pi.
Мера Шеннона определения количества информации
Пусть в сосуде с 10 шарами содержится n белых шаров, а остальные 10 – n черных. Эксперимент состоит в том, что из сосуда вынимают один шар. Вероятность вынуть белый шар равна:
P(б) = P1 = n/10
Вероятность вынуть черный шар:
P(ч) = P2 = (10 - n)/10 = 1 - n/10 = 1 - P1
Мера Шеннона определения количества информации
Энтропия опыта будет равна: H( ) = -P1log2 P1 - P2log2 P2 =
=-P1 log2 P1 - (1 - P1)log2 (1 - P1) =
=-n/10log2 n/10 - (1 - n/10)log2(1 - n/10)
Значения H(n) = f(n) приведены в таблице
n |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
|
|
|
|
|
|
|
|
|
|
H(n) |
0.47 |
0.72 |
0.88 |
0.97 |
1.00 |
0.97 |
0.88 |
0.72 |
0.47 |
|
|
|
|
|
|
|
|
|
|
Можно показать, что lim H(n)=0 и lim H(n)=0
n 0 |
n |
Графическая интерпретация абсолютной энтропии
График функции H(n)
I (бит)
1.0 |
|
|
|
|
|
|
|
|
|
|
|
0.8 |
|
|
|
|
|
|
|
|
|
|
|
0.6 |
|
|
|
|
|
|
|
|
|
|
|
0.4 |
|
|
|
|
|
|
|
|
|
|
|
0.2 |
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
N |
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
||
|