LEC03.Теория информации
.pdf
Мера Шеннона
Мера Хартли подходит лишь для идеальных, абстрактных систем с равновероятными состояниями. Если состояния системы не равновероятны, используют меру
Шеннона: |
Клод Шеннон |
|
N |
I |
= − ∑ pi log2 pi |
|
i=1 |
где:
N – число состояний системы
рi – вероятность того, что система находится в состоянии i (сумма всех pi равна 1).
11
Пример использования меры Шеннона
Пример 1. Шулер наугад вытаскивает карту из стопки, содержащей 7 известных ему карт: 3 джокера, 3 туза, 1 король, 1 дама и 1 валет. Какое количество информации для шулера содержится в этом событии?
Вероятность вытащить джокер равна 3/9 = 1/3 Вероятность вытащить туз равна 3/9 = 1/3 Вероятность вытащить короля равна 1/9 Вероятность вытащить даму равна 1/9 Вероятность вытащить валет равна 1/9
Значит, количество информации, выраженное в тритах, равно:
I = − ( |
1 |
|
1 |
+ |
1 |
|
|
1 |
+ |
1 |
|
1 |
+ |
1 |
|
|
1 |
+ |
1 |
1 |
) = |
log |
3 |
3 |
log3 |
3 |
log3 |
9 |
log3 |
9 |
log3 |
9 |
|||||||||||
|
3 |
|
|
3 |
|
|
|
9 |
|
|
9 |
|
|
|
9 |
|
|||||
|
|
= |
1 |
+ |
1 |
+ |
2 |
+ |
2 |
+ |
2 |
= 1 |
1 |
(трит) |
|
|
|
||||
|
|
|
|
3 |
|
3 |
|
9 |
|
9 |
|
9 |
|
|
3 |
|
|
|
|
|
|
12