Статистические меры информации

В статистической теории информации (теории связи) энтропия H выражается следующей формулой

,

где р=(р₁,…, p_k) – вектор вероятности исходов,

и представляет среднюю информацию, доставляемую одним опытом.

Энтропия Н характеризуется следующими свойствами:

1. энтропия всегда неотрицательна ;

2. энтропия равна нулю, если

(а остальные ),

т.е. когда об исходе опыта заранее все известно и результат не приносит никакой новой информации;

3. энтропия имеет наибольшее значение при условии, когда все вероятности равны между собой:

p₁ = p₂ = … = p_i = p_k = 1/k, при этом

H = -log₂1/k = log₂k.

Логарифмическая статистическая мера информации связана с аддитивной логарифмической мерой Хартли:

I = log₂ h.

Когда алфавит состоит из h-знаков, то вероятность появления каждого знака равна p_i = 1/h.

Количество информации и избыточность

В общем случае можно считать, что количество информации есть уменьшение энтропии вследствие опыта:

I = H₁ – H₂,

где H₁ – начальная энтропия (до опыта);

H₂ – конечная энтропия (после опыта).

Наибольшее количество информации получается тогда, когда полностью снимается неопределенность (H₂ = 0). Причем I = I_max, если H₁= H_1max (что достигается, когда вероятности всех событий одинаковы).

I= Н_max.

Абсолютная избыточность информации

D_абс = I – Н = Н_max – Н.

Относительная избыточность

D = (Н_max – Н)/ Н_max = 1 – H/ Н_max .

Семантические меры информации

Под семантикой понимается смысл, содержание информации. Под прагматикой – полезность информации.

Зачастую прагматические оценки сливаются с семантическими, поскольку не имеющие смысл сведения бесполезны, а бесполезные сведения бессмысленны.

Для целей измерения смысла информации Карнан и Бар-Хиллел предложили использовать функции истинности и ложности логических высказываний (предложений).

Полученная таким образом оценка получила название содержательности информации.

Содержательность информации

Содержательность события i (cont(i)) выражается через функцию меры m(i)

cont(i)=m(~i)=1–m(i),

~ – знак отрицания.

Содержательность изменяется в пределах

0 m(i) 1.

Логическая оценка количества информации, обозначается Inf

,

где m(i) – логическая функция истинности;

m(~i) – логическая функция ложности.

Целесообразность(полезность) информации

Если информация используется в системах управления, то ее полезность разумно оценивать по тому эффекту, который она оказывает на результат управления. Харкевичем А.А. была предложена мера целесообразности информации, которая определяется как изменение вероятности достижения цели при получении дополнительной информации:

I_цел=log₂ p₁ – log₂ p₀ = log₂ p₁/p₀ ,

где p₀ и p₁ – начальная(до получения информации) и конечная (после получения информации) вероятности достижения цели.

Если вероятность достижения цели при получении информации не изменяется, то эта информация является пустой, ее полезность равна нулю. В некоторых случаях полученная информация, используемая для управления, может уменьшить вероятность достижения цели. В этом случае полезность информации является отрицательной величиной. В случае, когда полученная информация, используемая для управления, увеличивает вероятность достижения цели, то полезность информации является положительной величиной.