Энтропия ансамбля

Ансамблем называется полная группа событий, или, иначе, поле совместных событий с известным распределением вероятностей, составляющих в сумме единицу. Здесь имеется в виду конечное множество событий и, следовательно, дискретная система состояний, значений положений и т.д.

Энтропия ансамбля есть количественная мера его неопределенности, а следовательно, и информативности.

В статистической теории информации (теории связи), предложенной Шенноном в 1948 г., энтропия количественно выражается как средняя функция множества вероятностей каждого из возможных исходов опыта.

Пусть имеется всего Nвозможных исходов опыта, из нихkразных, иi-й исход повторяетсяn_iраз и вносит информацию, количество которой оценивается какI_i. Тогда средняя информация, доставляемая одним опытом,

. (12)

Но количество информации в каждом исходе связано с его вероятностью p_iи выражается в двоичных единицах (битах) через логарифм

Тогда

. (13)

Но т.к. отношения n_i/Nпредставляют собой частоты повторения исходов, а следовательно, могут быть заменены их вероятностями:

n_i/N=p_i,

поэтому средняя информация в битах может быть выражена следующим образом:

или

Полученную величину Шеннон назвал Энтропией и обозначил буквой Н, бит:

(14)

Основание логарифма определяет единицу измерения энтропии и количества информации. Двоичная единица, соответствующая основанию, равному двум, называется битом.

Чаще всего применяют двоичный логарифм, так как он непосредственно дает количество информации в битах, хорошо согласуется с двоичной логикой, двоичным кодированием и двоичной (релейной) техникой.

Энтропия может быть определена так же, как среднее количество информации на одно сообщение или математическое ожидание количества информации Iдля измерения величиныX.

Функция H(p), гдеp= (p_{1, …,} p_k) – вектор вероятности исходов, была выбрана Шенноном так, чтобы она удовлетворяла следующим требованиям:

H(p) непрерывна на интервале 0P_i1, т.е. при малых изменениях р величинаHизменяется мало;

H(p) симметрична относительно р, т.е. не изменяется при любой перемене мест аргументов p_i;

H(p_1, p_2, …, p_k-1, q_1, q₂) = H(p_1, p_2, …, p_k) + p_k * H(q₁/p_k, q₂/p_k),

то есть если событие x_k состоит из двух событий x’_k и x’’_k с вероятностями q₁ и q₂;

если q₁+q₂=p_k, то общая энтропия будет равна сумме энтропии – неразветвленной системы и разветвленной части с весомp_kпри условных вероятностяхq₁/p_kиq₂/p_k.

Кроме того, энтропия характеризуется следующими свойствами:

Энтропия всегда неотрицательна, так как значения вероятностей выражаются дробными величинами, а их логарифмы – отрицательными величинами, так что члены log₂p_i= -(-a) неотрицательны.

Энтропия равна нулю в том крайнем случае, когда одно событие равно единице, а все остальные нулю. Это тот случай, когда об опыте или величине все известно заранее, и результат не приносит никакой новой информации.

Энтропия имеет наибольшее значение при условии, когда все вероятности равны между собой

p₁ = p₂ = … = p_i = … = p_k = 1/k.

При этом логарифмическая статистическая мера информации связана с аддитивной логарифмической мерой Хартли

I’ =log₂h.

Совпадение оценок количества информации по Шеннону и по Хартли свидетельствует о полном использовании информационной емкости системы. В случае неравных вероятностей количество информации по Шеннону меньше информационной емкости системы. Так, энтропия для двух неравновероятных состояний одного элемента (h= 2) равна

H = - (p₁ log₂ p₁ + p₂ log₂ p₂).

Она меньше информационной емкости двоичной ячейки, составляющей 1 бит.

Максимум H= 1 достигается при р = 0,5, когда два состояния равновероятны. При вероятностях р = 0 или р = 1, что соответствует полной невозможности или полной достоверности события, энтропия равна нулю.