Энтропия бинарной системы
X {x1, x2} {0,1}
P {p1, p2} {p,1 p}
H ( X ) H (P) H ( p)
p log |
1 |
(1 p) log |
|
1 |
|
p |
1 p |
||||
|
|
||||
График бинарной энтропии
Значения для расчета энтропии
0 |
0,1 |
0,2 |
0,3 |
0,4 |
0,5 |
0,6 |
0,7 |
0,8 |
0,9 |
1 |
0 |
0,33 |
0,46 |
0,52 |
0,53 |
0,5 |
0,44 |
0,36 |
0,26 |
0,14 |
0 |
Сложная система
X |
Y |
X |
Y |
X {x1, x2 ,..., xn}, P( X ) {p(x1 ), p(x2 ),..., p(xn )} Y {y1, y2 ,..., ym}, P(Y ) {p( y1 ), p( y2 ),..., p( ym )} ( X ,Y ) {(xi , y j )}, P( X ,Y ) {p(xi , y j )
Энтропия сложной системы
n
H ( X ) p(xi ) log p(xi )
i 1
m
H (Y ) p( yi ) log p( y j )
j 1
n m
H ( X ,Y ) p(xi , y j ) log p(xi , y j )
i 1 j 1
Условная энтропия
p( xi , y j ) p( xi ) p( y j / xi ) p( xi , y j ) p( y j ) p( xi / y j )
n |
m |
H ( X /Y ) p( xi , y j ) log p( xi / y j ) |
|
i 1 j 1 |
|
n |
m |
H (Y / X ) p( xi , y j ) log p( y j / xi )
i 1 j 1
H ( X /Y ) H ( X ), H (Y / X ) H (Y )
Энтропия объединения
H ( X ,Y ) H ( X ) H (Y / X ) H ( X ,Y ) H (Y ) H ( X /Y )
Количество информации
H1 |
|
|
X |
|
H2 |
|
|
||||
|
|
|
|
|
|
I = H1 – H2
Количество информации по Хартли
S {s1, s2 ,..., sN }
si ai(1)ai(2) ...ai( K )
K
ai(k ) A {a1,a2 ,..., an} n K
p(s1 ) p(s2 ) ... p(sN ) P N1 I (si ) log P1 log N
Количество информации по Шеннону
S {s1, s2 ,..., sN }
si ai(1)ai(2) ...ai( K )
K
ai(k ) A {a1,a2 ,..., an} n K
|
|
|
|
n |
|
|
|
|
p(si ) pKpj |
j |
|
|
|
|
|
j 1 |
|
|
|
1 |
n |
|
n |
I (si ) log |
|
log p j |
Kp j K( p j log p j ) KH ( A) |
||
n |
Kp j |
||||
|
|
j 1 |
|
j 1 |
|
|
p j |
|
|
|
|
j 1