4. Измерение информации по Шеннону.

Необходимо было устранить основной недостаток меры Хартли – учесть вероятности появления букв в каждый момент времени в каждом состоянии.

Определим количество полученной информации от факта появления какой-либо буквы x_iисточника, находящегося в состоянииS_j, как

I_i (S_j ) = –log p_i(S_j),

где p_i(S_j) – вероятность появленияi-той буквы, если источник находится в состоянииS_j.

При таком определении количества полученной информации от факта получения i-той буквы видно, что количество информации, создаваемое каждой буквой, различно. Принято источник в целом по всему алфавиту в одном из состояний характеризовать средним значением количества информации, приходящемся на одну букву:

.

А количество информации, приходящееся на одну букву, вырабатываемую источником, по всем его состояниям определим путем усреднения:

,

где P(S_j) – вероятность нахождения источника в состоянииS_j.

Информация связана со снятием неопределенности. Пока мы предполагали, что в результате опыта наступает вполне определенное событие, то есть однозначно выбирается та или иная буква или знак. Но это не всегда так. В результате опыта или получения дополнительных сведений неопределенность ситуации изменяется, но не становится однозначной, то есть сохраняется апостериорная неопределенность. В этом случае количество полученной информации можно определить как разницу неопределенностей до и после эксперимента, то есть:

I_экспер=H_апр–H_апост,

где – априорная неопределенность источника; когда неизвестно, что будет передаваться;

H_апост– апостериорная неопределенность источника, то есть неопределенность, которая остается на приемной стороне, когда известно, что передавалось.

Формула для подсчета H_апостта же, что и дляH_апр, только вероятностиp_i(S_j) другие и определяются ошибками в передаче букв или знаков по каналу связи.

Если после эксперимента неопределенность исчезает (передача информации по линии связи идет без ошибок), то есть однозначно известна переданная буква сообщения, то H_апост= 0 иI=H_апр, то есть полученная информация равна устранению априорной неопределенности.

Единицы измерения информации по Шеннону те же, что и по Хартли.

Рассмотрим примеры подсчета информации и неопределенности (энтропии) ситуаций по Шеннону.

Пример 1

Рассчитаем энтропию двоичного источника при различных вероятностях появления его символов. Источник элементарный, то есть j = 1.

а)

Таблица 2.1

xi	0	1
p(xi)	0.5	0.5

.

б)

Таблица 2.2

xi	0	1
p(xi)	0.01	0.99

H(x) = –0.01log 0.01 – 0.99log 0.99 = –0.01·(–6.644) – 0.99 · (–0.0145) = 0.0808.

в)

Таблица 2.3

xi	0	1
p(xi)	0	1

.

Так как –log p(0) при p(0) ® 0 стремится к ∞, то имеет место неопределенность типа (0 · ∞), которая раскрывается как неопределенность дроби:

Из расчетов видно, что максимальная энтропия у источника с равными вероятностями выдачи символов p(0) = p(1) = 0.5. Неопределенность равна нулю, если вероятность одного из символов равна 1, а всех остальных – нулю.