Количество информации объединения

Объединением называется совокупность двух и более взаимосвязанных ансамблей дискретных случайных переменных.

Рассмотрим объединение, состоящее из двух ансамблей Х и Y например: два алфавита, имеющих одинаковые символы букв (связаны между собой вероятностными зависимостями).

Структура алфавита Х:

х1	х2	…	хi	…	хN
p(x1)	p(x2)	…	p(xi)	…	p(xN)

Структура алфавита Y:

y1	y2	…	yi	…	yМ
p(y1)	p(y2)	…	p(yi)	…	p(yМ)

Безусловное среднее количество информации I(X) на символ алфавита Х, выдаваемое совместным источником алфавитов Х и У

Безусловное среднее количество информации на I(Y) на символ алфавита У, выдаваемое совместным источником алфавитов Х и У

Совместное среднее количество информации I(X,Y) на принимаемую на символ, от совместного источника алфавитов Х и У

Условное среднее количество информации I(У/Х) на принимаемую на символ алфавита У, без учета одинаковых символов букв алфавитов Х и У.

Взаимное среднее количество информации I(Х*У)= I(У*Х) на принимаемые одинаковый символ алфавитов Х и У.

Формула совместного количества информации объединения независимых ансамблей

Источник информации генерирует слово (Х1,X2,…,XI,…,Xm), размерностью m. Каждая буква слова соответствует отдельному выбору из множества возможных элементов алфавита XI  { х₁,x₂,…,x_n }.

Х1,X2,…,XI,…,Xm XI  { х₁,x₂,…,x_n }

Рассмотрим случай независимости элементов последовательности (букв слова): I(Х1,X2,…,Xm)= = P(х₁,x₂,…,x_n)* log₂P(х₁,x₂,…,x_n)

Представим Х1,X2,…,Xm как единственный сигнал ,имеющий n^m различных состояний

I(Х1,X2,…,Xm) = P1(x_k)* P2(x_l)*…* Pm(x_s)

Log₂ [P1(x_k)* P2(x_l)*…* Pm(x_s)] = I(X1)+ I(X2)+…+ I(Xm)

Т.к. Х1,X2,…,Xm различные варианты одного и того же алфавита Х , то окончательно имеем

I(Х1,X2,…,Xm)=m*I(X)

Формула совместного количества информации объединения двух зависимых ансамблей

Рассмотрим количество информации для 2_x зависимых сигналов

X{ х₁,x₂,…,x_n }; Y{ у₁,у₂,…,у_m };

1_ый источник 2_ой источник сообщений

Е сли сложный сигнал Z=X*Y p(z_ij)=P(x_i, у_j), то

I(X,Y)= - P1(x_i, у_j)* Log₂ P(x_i, у_j)

Из P(x_i, у_j)= P(x_i)*P(x_i/ у_j)= P(у_j)*P(x_i/ у_j)

I(X,Y)= - P(x_i)*P(x_i/ у_j)* Log₂ { P(x_i)*P(x_i/ у_j)} =

= - P(x_i)* Log₂ P(x_i) - P(x_i/ у_j)* Log₂ P(x_i, у_j) =

= I(X)+ I(У/Х)

Количество информации совместного сигнала Х и У равно безусловному количеству информации I(X) сигнала Х и условному количеству информации I(У/Х) сигнала У.