Билет 16

Эпсилон-производительность источника. эпсилон-производительность источника

.

Когда сигнал X(t) является гауссовским эпсилон-производ. источника имеет максимальное значение

Избыточность источника непрерывных сообщений Избыточность источника равна нулю, когда распределение сигнала является гауссовским. Избыточность определяют так:

.

Билет 17

Основные свойства количества информации.

I(X,Y) = I(Y,X), количество информации, содержащееся в случайном объекте Y о случайном объекте Х, равно количеству информации, содержащемуся в случайном объекте Х о случайном объекте Y.

причём знак равенства имеет место, когда объекты X и Y независимы.

I(X,Y) = H(X), энтропия может быть истолкована как информация, содержащаяся в объектах относительно самих себя. Из этого также непосредственно вытекает, что энтропия есть максимальное количество информации, которое можно получить об объекте.