Примеры решения задач

110. Определить количество информации в сообщении о курсе, на котором учится студент, если считать, что он может учиться на любом из четырех курсов.

Решение. С равной долей вероятностью студент может учиться на одном из четырех курсов, то есть, для равновероятных состояний, запишем:

xi	1	2	3	4
pi	0.25	0.25	0.25	0.25

I = log 4 = 2

(здесь и далее примем основание логарифма равное двум, тогда количество информации будет измеряться в битах)

110. Определить количество информации в сообщении о монете, упала она вверх «орлом» или «решкой».

Решение. В данной задаче присутствуют два равновероятных состояния, запишем:

xi	1	2
pi	0.5	0.5

I = log 2 = 1

Как видим, чем больше число состояний, тем больше информации о системе можем получить.

5.1.2.Мера Шеннона

Для случая не равновероятных состояний нужна другая формула, и ее предложил Клод Шеннон. В основу вероятностной теории информации К. Шенноном положен метод исчислений количества новой (непредсказуемой) и избыточной (предсказуемой) информации, содержащейся в сообщениях, передаваемых по каналам технической связи.

Шеннон использует понятие неопределенность, которая является функцией вероятности наступления событий.

H = H(p₁, p₂, …, p_n),

Информация – это устраненная неопределенность.

Аксиомы теории информации.

Аксиома 1 Мера неопределенности есть непрерывная функция вероятности состояний физической системы

Аксиома 2 Если состояния источника равновероятны, то мера неопределенности – монотонно возрастающая функция от числа состояний.

Аксиома 3 Если неопределенность раскрывается по этапам, то полная неопределенность равна взвешенной сумме неопределенностей, полученных на каждом этапе.

Шеннон получил выражение для количества информации (в случае, если источник дискретных сообщений выдает случайную последовательность x_i с вероятностью P(x_i)):

-формула Шеннона.

Для анализа часто используют не величину информации, а энтропию в качестве меры неопределенности в знаниях о сигнале до его приема

Итак, энтропия сообщения измеряет его неопределенность в числе бит информации, которая должна быть восстановлена, когда сообщение было скрыто от криптоаналитика в шифротексте.

Неопределенность (энтропия) уменьшается, когда распределение вероятностей сообщений становится все более отличным от равновероятного и достигает min H(X)=0 когда для некоторого сообщения .

Вопрос о выборе основания логарифмов тесно связан с вопросом о единицах измерения информации, и этому мы обязательно уделим место – ниже.

Предложенный Шенноном метод измерения количества информации оказался настолько универсальным, что его применение не ограничилось узкими рамками чисто технических приложений. Вопреки мнению самого К. Шеннона, предостерегавшего ученых против поспешного распространения предложенного им метода за пределы прикладных задач техники связи, этот метод стал находить все более широкое применение в исследованиях и физических, и биологических, и социальных систем.

Свойства энтропии:

Свойство 1 Неопределенность физической системы равна нулю: H = H(p₁, p₂, …, p_n) = 0, если одно из чисел p₁, p₂, …, p_n равно 1, а остальные равны нулю. Т.е. энтропия равна нулю, если физическая система находится в одном состоянии с вероятностью равной единице)

Свойство 2 Энтропия максимальна, когда все состояния источника равновероятны. Т.е. если до получения информации о сигнале вероятность появления отдельных сообщений для наблюдателя равны, то в этом случае источник дискретных сообщений выдает максимальное количество информации.

Свойство 3 Всякое изменение вероятностей p₁, p₂, …, p_n в сторону их выравнивания увеличивает энтропию H(p₁, p₂, …, p_n).

Свойство 4 Математическое ожидание вероятности есть энтропия.