Взаимная энтропия

Взаимная энтропия или энтропия объединения предназначена для расчёта энтропии взаимосвязанных систем (энтропии совместного появления статистически зависимых сообщений) и обозначается H(AB), где A характеризует передатчик, а B в приёмник.

Взаимосвязь переданных и полученных сигналов описывается вероятностями совместных событий p(a_ib_j), и для полного описания характеристик канала требуется только одна матрица:

p(a1b1)	p(a1b2)	в	p(a1bj)	в	p(a1bm)
p(a2b1)	p(a2b2)	в	p(a2bj)	в	p(a2bm)
в	в	в	в	в	в
p(aib1)	p(aib2)	в	p(aibj)	в	p(aibm)
в	в	в	в	в	в
p(amb1)	p(amb2)	в	p(ambj)	в	p(ambm)

Для более общего случая, когда описывается не канал, а в целом взаимодействующие системы, матрица необязательно должна быть квадратной. Очевидно, сумма всех элементов столбца с номером j даёт p(b_j), сумма строки с номером i есть p(a_i), а сумма всех элементов матрицы равна 1. Совместная вероятность p(a_ib_j) событий a_i и b_j вычисляется как произведение исходной и условной вероятности:

Условные вероятности производятся по формуле Байеса. Таким образом, имеются все данные для вычисления энтропий источника и приёмника:

Взаимная энтропия вычисляется последовательным суммированием по строкам (или по столбцам) всех вероятностей матрицы, умноженных на их логарифм:

H(AB) = в	∑	∑	p(aibj)logp(aibj).
	i	j

Единица измерения в бит/два символа, это объясняется тем, что взаимная энтропия описывает неопределённость на пару символов: отправленного и полученного. Путём несложных преобразований также получаем

Взаимная энтропия обладает свойством информационной полноты в из неё можно получить все рассматриваемые величины.

История

В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, математическую, теорию энтропии. Его сенсационные идеи быстро послужили основой разработки двух основных направлений: теории информации, которая использует понятие вероятности и эргодическую теорию для изучения статистических характеристик данных и коммуникационных систем, и теории кодирования, в которой используются главным образом алгебраические и геометрические инструменты для разработки эффективных кодов.

Понятие энтропии, как меры случайности, введено Шенноном в его статье «A Mathematical Theory of Communication», опубликованной в двух частях в Bell System Technical Journal в 1948 году.

Примечания

1. в‘ Данное представление удобно для работы с информацией, представленной в двоичной форме; в общем случае основание логарифма может быть другим.

2. в‘ Габидулин, Э. М., Пилипчук, Н. И. Лекции по теории информации. в М.: МФТИ, 2007. в С. 16. в 214 с. в ISBN 5-7417-0197-3.

3. в‘ Лебедев Д. С., Гармаш В. А. О возможности увеличения скорости передачи телеграфных сообщений. в М.: Электросвязь, 1958. в в„– 1. в С. 68в69.

Ссылки

• Shannon Claude E. A Mathematical Theory of Communication (англ.)

• Коротаев С. М. Энтропия и информация в универсальные естественнонаучные понятия.

Литература

• Шеннон К. Работы по теории информации и кибернетике. в М.: Изд. иностр. лит., 2002.

• Волькенштейн М. В. Энтропия и информация. в М.: Наука, 2006.

• Цымбал В. П. Теория информации и кодирование. в К.: Вища Школа, 2003.