Статистическая мера информации

Связь между энтропией и количеством информации.

Ансамблем называется полная группа событий, с известным распределением вероятностей, составляющих в сумме единицу.

Р1+Р2+...+Рi+…+Рk=1

Энтропия H характеризует неопределенность априорного состояния ансамбля событий, а

количество информации I - мера снятие неопределенности при получении сообщения о событии.

Количественно мера информация совпадает с мерой измерения энтропии.

Например, ансамбль знаний студента до лекции был:

У₁, У₂,…У_т,…У_к, где У_к – конкретная область научных дисциплин со своими вероятностями познания:

Р(У₁), Р(У₂),… Р(У_т)… Р(У_к) (т – индекс для дисциплины «Теория информации»).

Ситуация априорно характеризовалась энтропией Н₁. После получения информации на лекции энтропия уменьшилась до Н₂, так как вероятность познания Р(У_т) возросла, а значит и уменьшилась неопределенность по отношению к дисциплине «Теория информации», а также в какой-то мере упорядочился ансамбль знаний.

Тогда количество информации, полученное студентом

I = H₁ - H₂

Рассмотрим ансамбль случайных дискретных событий Х:

Х(х₁, х₂,.. х_i,..х_N) , где х_i – конкретные случайные события с вероятностями:

р(x₁), р(x₂),.. р(x_i),…р(x _N)

Очевидно, что чем меньше априорная вероятность i-го события (снег в Африке), тем большую информацию несет сообщение этого события, и наоборот, чем вероятнее событие (лекция закончится до обеда), тем меньше информации в сообщении о событии. В предельном случае, когда вероятность события = 1 (детерминированное событие – «за зимой следует весна»), то количество информации о событии должно быть равно нулю. Поэтому количество информации можно выразить через величину 1/ р(x_i). Однако формула I = 1/ p(x_i) для граничных значений не подходит, так как I = ∞ при p(x_i) = 0 и I = 1 при p(x_i) = 1).

Мера измерения количества информации для дискретных случайных сообщений впервые была предложена Шенноном в 1948г, а затем более строго была определена советским ученым Хинчиным А.Я. :

I = log_a 1/ p

Количество информации, содержащееся в конкретном сообщении о событии x_i:

I(x_i) = log_a 1/p(x_i) = - log_a р(х_i )

Для того, чтобы мера количества информации не зависела от конкретного события, а характеризовала совокупность сообщений ансамбля Х вводится усредненная статистическая оценка, как математическое ожидание элементов I(x_i) по всем x_i (1≤ i ≤ N) -

среднее количество информации, содержащееся в сообщениях ансамбля Х:

I(Х) = - I(x_i) = -p(x_i)log_a р(х_i )

Основания логарифма «а» определяет единицу измерения количества информации. Двоичная единица, соответствующая основанию, равному двум, называется битом. Основанию е = 2,718, соответствует натуральная единица – нит (в математике), 1 нит = 1,44269 бит. Основанию, равному 10, соответствует десятичная единица – дит (в астрономии) или хартли, 1 дит = 3.32193 бит.

В вычислительной технике используется двоичная система счисления, поэтому основание логарифма для вычисления количество информации будет равно двум.

Свойства количества информации дискретных сообщений:

1. Количество информации - вещественная, неотрицательная и ограниченная величина

0 =< I(Х)<=M

2. Количество информации детерминированных сообщений равно нулю, еслиодно событие равно единице, а все остальные – нулю.

I(x_i) = 0 для p(x_i) = 1

3. Количество информации максимально, если сообщения равновероятны.

Imax (X) = - - log₂ р(х ) = log₂ 1/pi = log₂N

I=1

Доказательство 1.

1. I (Х) = -p(x_i) log₂ р(х_i)– вещественная, так как p(x_i) – вещественная.

2. I (Х) = -p(x_i) log₂ р(х_i) – неотрицательная, так как 0 ≤ p(x_i) ≤1 и log₂ р(х_i ) ≤ 0 .

3. I(Х) = -p(x_i) log₂ р(х_i) – ограниченная, т.к. имеет максимальное ограниченное значение:

Приведем доказательство для ансамбля из двух сообщений:

Х {х₁ = «0»; х₂ = «1»}.

р(х₁) = р₀; р(х₂)= р_1.

р(х₁) + р(х₂) = 1 → р₀ = р(х₂) = 1

I (Х)= - p(x_i) log₂ р(х_i) = - p₀ log₂ р ₀ – p₁ log₂ р₁ = - [p₀ log₂ р₀ +

+ (1 - p₀)  log₂ (1 - р₀)];

Для нахождения максимума, продифференцируем функцию и приравняем ее нулю:

d{I (Х)}/d p₀ = -[log₂ р₀+ р₀*log₂e / р₀ - log₂ (1 - р₀) - (1 - p₀)log₂e / (1 - р₀)]= -[log₂ р₀+ log₂e - log₂ (1 - р₀) - log₂e] = -[ log₂ р₀ - log₂ (1 - р₀)] = 0;

Отсюда:

log₂ р₀ = log₂ (1 - р₀);

р₀ = 1- р_0;

р₀ =½ и р₁ = р₀ = ½ р₀= р₁

Приведем доказательство для ансамбля из N сообщений:

I (Х)= - p(x_i) log₂ р(х_i)

Составим функционал

F (Х)= - p(x_i) log₂ р(х_i) + λ * p(x_i)

Возьмем частные производные от функционала F по x_к и приравняем нулю для нахождения экстремума

d{F (Х)}/d p(х_к)= - log₂ p(х_к)+ p(х_к)*log₂e / p(х_к) + λ = 0

Отсюда

log₂ p(х_к) = -log₂e + λ

p(х_к) = λ׳ / е = const

так как  p(x_i)= 1, то I (X) будет максимальным при равных значениях p(x_i).

Доказательство 2.

I(Х) = - p(x_i) log₂ р(х_i) = 0 для р(х_к) = 1, а при этом остальных х_i: р(х_i) = 0.

При подстановке р(х_к) = 1 в формулу для х_к -го сообщения

I(х_к ) = - p(х_к ) log₂ р(х_к) = - 1 log₂ 1 = 0.

Для остальных х_i рассмотрим предел p(x_i) log₂ р(х_i) при х_i → 0.

Lim p(x_i) log₂ р(х_i) = | y = log₂ р(х_i), z = 1/p(x_i) | = Lim y/z = Lim y'/z' =

= - Lim {1/ р(х_i)} /{1/ р(х_i)²} = - Lim р(х_i) = 0.

Доказательство 3.

Максимально возможное количество информации, содержащееся в N сообщениях, получается для случая равномерного распределения, то есть при p(x_i )= 1/N

Imax (X) = - (1/N) *log₂(1/N) = -log₂(1/N) * (1/N) = log₂ N

И совпадает с аддитивной мерой по формуле Хартли, где Q = N. Совпадение оценок количества информации по Шеннону и Хартли свидетельствует о том, что при максимально эффективном статистическом состоянии ансамбля событий, а именно при равновероятности всех событий ансамбля, статистическая информационная емкость полностью использует возможности структурно построения информационной системы для ансамбля событий. В случае неравных вероятностей количество информации по Шеннону меньше информационной емкости ансамбля.

Пример.

Блок 1

Устройство

кодирования

Двоичный канал связи

Блок 2

Известны априорные возможности отказа

Блоков: P₁=1/4 ; P₂=1/8;

Устройство кодирования передает сообщения о работоспособности системы .

Определить: а)среднее количество I(х), б) количество информации приходящийся на один двоичный разряд

Решение

Для описания всех состояний требуется 4=2 сообщений имеющих следующие априорные вероятности:

Х₁– Р(Х₁)– (все блоки работоспособны) Р(Х₁) = (1 - P₁)*(1 - P₂) = 3/4*7/8 = 21/32;

Х₂ – Р(Х₂) – (1_ый работает, второй нет) Р(Х₂) = (1 - P₁)*P₂ = 3/4*1/8 = 3/32;

Х₃ – Р(Х₃) – (1_ый отказал, второй работает) Р(Х₃) = P₁*(1 - P₂) = 1/4*7/8 = 7/32;

Х₄ – Р(Х₄) – (все блоки отказали) Р(Х₃) = P₁* P₂ = 1/4*1/8 = 1/32;

2. I(х) = - P_i log₂P_i = -(21/32* log₂21/32 + 3/32*log₂21/32 + 7/32*log₂7/32 + 1/32*log₂1/32  1,38бит/сообщ ;

Определим кол-во информации содержащейся в 1 дв.разряде.

а) Для кодирования 4 сообщений –2 дв.разряда : N= ] log₂n[

- Для заданного случая: 0,69,бит/дв.разр 0 Iдв.разр 1бит

- Для равновероятного случая: 1бит/дв.разр

- Для детерминир. ситуации (P₁ =1): 0бит/дв.разр