Детерминированные и случайные системы
p = 1
X 
Y
|
Y1 |
|
p1 |
|
|
p2 |
Y2 |
|
X |
||
|
||
pn |
… |
Yn
Дискретная случайная система
X {x1, x2 ,..., xn } P {p1, p2 ,..., pn }
n
pi 1
i 1
Энтропия
H (x ) H ( p ) log |
1 |
|
|
|
|||||
|
|
|
|||||||
i |
i |
|
|
|
pi |
|
|
||
|
|
|
|
|
|
|
|||
H ( X ) H (P) M[log |
1 |
] |
|||||||
p |
|||||||||
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
i |
|
|
|
n |
|
1 |
|
|
|
n |
|
|
H ( X ) pi |
log |
|
pi log pi |
||||||
|
|||||||||
|
i 1 |
|
pi |
i 1 |
|
||||
Основание логарифма
loga b c b ac logd b c logd a logd b (logd a)(loga b) k1 loga b loga b (loga d )(logd b) k2 logd b
Единица измерения энтропии
Двоичный логарифм: бит Натуральный логарифм: нат Десятичный логарифм: дит, харт, бан
Свойства энтропии
1.Энтропия – величина вещественная, ограниченная, неотрицательная
2.Система имеет максимальную энтропию при равновероятном распределении состояний
3.Система имеет минимальную энтропию при наличии достоверного состояния
Энтропия – величина вещественная и неотрицательная
|
n |
|
|
1 |
|
|
|
|
|
|
|
H ( X ) pi log |
|
|
|
|
|
|
|||||
pi |
|
|
|
|
|
||||||
|
i 1 |
|
|
|
|
|
|
|
|||
i : 0 pi 1 |
|
|
|
|
|
|
|
|
|||
p 1 p log |
1 |
1 log1 |
0 |
|
|||||||
|
|
||||||||||
i |
i |
|
pi |
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
||
p 0 lim |
xlog 1 |
|
0 |
|
H ( X ) 0 |
||||||
i |
|
|
|
x |
|
|
|
|
|||
|
x 0 |
|
|
|
|
|
|||||
0 pi |
1 pi log |
1 |
|
|
0 |
|
|
||||
|
|
|
|
||||||||
pi |
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
||
Энтропия – величина ограниченная
ln x x 1
n |
1 |
|
|
H ( X ) pi ln |
|
||
|
|||
i 1 |
pi |
||
n |
|
1 |
pi |
|
|
|
||
i 1 |
pi |
|
|
n |
1 |
n |
|
1 |
pi |
pi |
||
pi |
||||
|
i 1 |
i 1 |
n 1
H ( X ) n 1
Максимальное значение энтропии
ln x x 1
n |
1 |
n |
1 |
|
|
H ( X ) ln n pi ln |
ln n pi ln |
|
|||
pi |
pin |
||||
i 1 |
i 1 |
|
n 1
pi p n
i 1 i
n 1 n
1 pi p n pi
i 1 i i 1
1 1 0
H ( X ) ln n 0 H ( X ) ln n
Система с равномерным распределением вероятностей
p p |
2 |
... p |
n |
1 |
|||||
1 |
|
|
|
|
|
|
n |
||
|
|
|
|
|
|
|
|
|
|
|
n |
1 |
1 |
|
|
n |
1 |
||
H ( X ) |
i 1 n ln |
|
|
i 1 n ln n |
|||||
1 n |
|||||||||
|
n |
1 ln n ln n |
|
||||||
|
|
n |
|
|
|
|
|
|
|
H ( X ) ln n ln n max{H ( X )}