2. Характеристики функции энтропии

Функция энтропии обладает 4-мя основными характеристиками:

• I(p) – монотонно убывающая функция, так как увеличение вероятности события ведет к уменьшению информации от наблюдаемого события и наоборот

• I(p) >= 0 – количество информации не может иметь отрицательное значение

• I(1) = 0 – события, которые всегда случаются, не несут информации

• I(p₁, p₂) = I(p₁) + I(p₁) – свойство аддитивности – информация, полученная от независимых событий, является суммой информации, полученной от каждого события

Различные меры информации (биты для основания логарифма = 2, наты для натурального логарифма и баны для десятичного логарифма) являются пропорциональными величинами. Например, при подбрасывании сбалансированной монеты, получается 1 бит информации, или 0.693 ната информации, или 0.301 дита информации. Соответственно, 1*n бит = 0.693*n нат = 0.301*n дита.

Значение получаемых результатов не важно для определения энтропии. Данное понятие принимает во внимание только вероятность наблюдения конкретного события. Соответственно, получаемая информация отражает только распределение вероятности событий, а не их значение.

Дополнительные характеристики функции энтропии включают в себя:

• Непрерывность – функция энтропия должна быть непрерывна на всей длине, чтобы небольшое изменение в значения вероятностей вело к небольшому изменению значения энтропии

• Симметричность – функция энтропии должна быть неизменной при перемене вероятностей событий

• Максимум достигается при равности вероятностей всех событий

• Добавление или удаление события с вероятностью, равной 0, не влияет на значение энтропии

• Если X и Y – независимые случайные величины, то они не влияют на значение энтропии друг друга. H(X|Y) = H(X)

• При увеличении числа равновозможных событий, значение энтропии тоже должно увеличиваться:

2. Доказательство теоремы сложения энтропий

Теорема сложения энтропий гласит, что при объединении независимых систем их энтропии складываются. Под объединением двух систем X и Y с возможными состояния {x₁,x₂,..,x_n } и { y₁,y₂,..,y_m }понимается сложная система (X, Y), состояния которой (x_i, y_i) представляют собой все возможные комбинации состояний x_i, y_i систем X и Y. Состояния такой сложной системы представлены в таблице 1.

Таблица 1

	x1	x2	….	xn
y1	P11	P21	….	Pn1
y2	P12	P22	….	Pn2
. . .	. . .	. . .	….	. . .
ym	P1m	P2m	….	Pnm

Здесь состояние P_ij = P[(X~x_i)*P(Y~y_j)] – вероятность того, что сложная система (X, Y) будет находиться в состоянии (x_i, y_j).

По определению энтропия сложной системы равна:

Представим энтропию в форме математического ожидания:

По теореме умножения вероятностей для независимых событий получим:

Если подставить это в формулу энтропии в виде математического ожидания, то получим:

Соответственно, теорема доказана.