2.5. Энтропия объединения

Объединение - совокупность двух и более ансамблей дискретных, случайных событий. С объединением связаны понятия условной, безусловной, совместной и взаимной энтропии.

Пусть взаимосвязь переданных и принятых сигналов описываются вероятностями совместных событий вида , а взаимосвязь систем и описывается матрицей вида

Таблица 3

Y X	y1 y2 ym
x1 x2 . . . xm	p(x1, y1) p(x1, y2) . . . p(x1, ym) p(x2, y1) p(x2, y2) . . . p(x2, ym) p(xm, y1) p(xm, y2) . . . p(xm,ym)

Энтропия объединения (совместная энтропия) находится при помощи матрицы ( табл.3) путем суммирования по строкам или столбцам всех вероятностей вида

Размерность бит/два символа означает неопределенность на два символа. С другой стороны энтропия объединения передаваемого сообщения Х и принимаемого Y равна сумме безусловной энтропии Н(X) и Н(Y/X).

Уяснению взаимосвязи между рассмотренными видами энтропий дискретных систем способствует их графическое изображение.

. Безусловная энтропия - среднее количество информации, приходящееся на один символ (рис. 2.4). Если Х – передаваемое, а Y- принимаемое сообщения, то можно записать следующие соотношения:

X Y X Y

H(X) = H(X/Y)+H(XY),

H(Y) = H(Y/X)+H(XY).

Рис. 2.4. Безусловная энтропия

2. Условная энтропия - количество информации об источнике, когда известно, что принимается Y, или мера количества информации в приемнике, когда известно, что передается X (рис. 2.5).

H(X/Y) = H(X)-H(XY)

H(Y/X) = H(Y)-H(XY).

X Y X Y

Рис. 2.5. Условная энтропия

3. Совместная энтропия - среднее количество информации на пару переданных и принятых символов (рис. 2.6).

H(X,Y) = H(Y,X) = H(X)+H(Y/X)= H(Y)+H(X/Y)= H(X)+H(Y)-H(XY).

Рис. 2.6. Совместная энтропия

4. Взаимная энтропия - энтропия совместного появления статистически-зависимых сообщений (рис. 2.7).

H(XY)=H(YX)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X,Y)-H(X/Y)- H(Y/X).

Рис. 2.7. Взаимная энтропия

Совместная и взаимная энтропии обладают свойствами симметрии. Если построена матрица вероятностей вида двух систем, то остальные информационные характеристики могут не задаваться, т.к. матрица обладает информационной полнотой.

При отсутствии статистической зависимости между элементами X и Y, условные вероятности превращаются в безусловные, и . При полной статистической (отсутствие помех) зависимости энтропия объединения равна безусловной энтропии.