Слайды к лекции №4

1. Условная энтропия и взаимная информация.

2. Количество информации и избыточность

3. Аддитивность информационной меры

Условная энтропия и взаимная информация.

Пусть и - случайные величины с множеством возможных значений

Условной энтропией величины при наблюдении величины называется

Справедливы соотношения:

Взаимной информацией величин и называется

Справедливы следующие соотношения:

Если и независимы, то =0.

Пример 1.

Дана матрица

, .

Определить:

Решение.

По формуле полной вероятности имеем:

Следовательно,

По теореме умножения

Следовательно,

Аналогично

Количество информации и избыточность

Количество информации при наблюдении случайной величины

с распределением вероятностей задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении количество информации задается формулой Хартли:

Справедливы следующие соотношения:

если и - независимы

Избыточностью называется

Пусть

поэтому

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении

C=

Количество символов на выходе источника С:

Мера Хартли:

Мера Шеннона

Пусть А и В независимы, тогда

H(C)=H(A)+H(B)