3.4 Энтропия и информация

Обобщим и осмыслим еще раз вышеприведенные результаты.

1. Выражение (3.6) является статистическим определением понятия «информация», поскольку в него входят вероятности возможных исходов опыта.

Выражение I(,_ можно интерпретировать следующим образом: если начальная энтропия опыта Н₁, а в результате сообщения информации I энтропия становится равной Н₂, (Н₁Н₂), то

I = Н₁ – Н₂ , – то есть информация равна убыли энтропии.

В частном случае, если изначально равновероятных исходов было n₁, в результате передачи информации I неопределенность уменьшилась и число исходов стало n₂ (n₂  n₁), то I = log₂n₁ – log₂n₂ = log₂ .

Таким образом, можно дать следующее определение:

Информация – это содержание сообщения, понижающего неопределенность некоторого опыта с неоднозначным исходом. Убыль связанной с ним энтропии является количественной мерой информации.

В случае равновероятных исходов информация равна логарифму отношения числа возможных исходов до и после получения сообщения.

2. Следствием аддитивности энтропии независимых опытов оказывается аддитивность информации. Пусть с выбором одного из элементов х_А множества А, содержащего n_А элементов, связано I_A = log₂n_A информации, а с выбором х_В из множества В с n_В элементами информации связано I_B=log₂n_B. Если второй выбор никак не связан с первым, то при объединении множеств число возможных состояний элементов составляет n=n_An_B и для выбора комбинации х_Ах_В потребуется количество информации

I = log₂(n_An_B) = log₂n_a + log₂n_B = I_A + I_B.

3. Вернемся к утверждению о том, что количество информации может быть измерено числом вопросов с двумя равновероятными ответами. Означает ли это, что I должно быть всегда целой величиной?

Из формулы Хартли I = k бит только в случае n = 2^k. А в остальных ситуациях? Например, с карточной колодой из 36 карт I = log₂36 Число вопросов в ряде случаев должно быть 5, а в ряде случаев – 6. Усреднение по случаям как раз и дает нецелую величину. Таким образом,

величина I, определяемая описанным выше способом, показывает, сколько в среднем необходимо сделать парных выборов для установления результата (полного снятия неопределенности), если опыт повторить многократно.

4. Необходимо понимать также, что не всегда с каждым из ответов на вопрос, имеющим только 2 варианта ответа (бинарный вопрос), связан ровно 1 бит информации.

Р ассмотрим опыт, реализующийся посредством двух случайных событий; Так как их всего два, то они являются дополнительными друг к другу.

Если эти события равновероятны, то р₁ = р₂ = 0,5 и I = 1 бит.

Однако если их вероятности различны р₁ = р, то р₂ = 1 – р и

I(p)=  рlog₂р  (1  р) log₂(1 – р).

При р  0 и при р  1, функция I(p) 0. График этой функции приведен на рис.3.2. Кривая симметрична относительно р=1/2 и достигает максимума при этом значении.

Ответ на бинарный вопрос может содержать не более 1 бит информации. Информация равна 1 бит только для равновероятных ответов; в остальных случаях она меньше 1 бит.

Пример 7. При угадывании результата броска игральной кости задается вопрос «Выпало 6?» Какое количество информации содержит ответ?

бит  1 бит.

«Выпало больше 2»? .

I = 0.387+0.527=0.914.

5. Формула (3.6) приводит еще к одному выводу. Пусть некоторый опыт имеет два исхода А и В, причем р_А = 0.99, а р_В = 0.01.

В случае исхода А получим количество информации I_А =  log₂0.99 = 0.0145 бит, а в случае исхода В I_B =  log₂0.01 = 6.644 бит. Следовательно,

больше информации связано с теми исходами, которые менее вероятны.

Действительно, то, что наступит А, почти наверняка знали и до опыта; поэтому реализация такого исхода мало добавляет к нашей осведомленности.

Наоборот, исход В – очень редкий; информации связано с ним больше, осуществилось трудно ожидаемое событие.

Однако такое большое количество информации будем при повторах получать редко, поскольку мала вероятность В. Среднее количество информации

I = 0,99 I_A + 0,01 I_B = 0,081 бит.

6. В данном разделе рассмотрен вероятностный подход к определению количества информации. Он не является единственным. Как будет показано далее, количество информации можно связать с числом знаков в дискретном сообщении – такой способ измерения называется объемным. Можно доказать, что при любом варианте кодирования I _вер.  I _об.

7. Объективность информации. При использовании людьми одна и та же информация может иметь различную оценку с точки зрения важности (значимости). Определяющим в такой оценке оказывается смысл (содержание) сообщения для конкретного потребителя.

Однако при решении практических задач технического характера содержание сообщения может не играть роли. Например, задача любой линии связи – точная и безошибочная передача сообщения. Техническое устройство не может оценить важность информации.

Вышеприведенное определение информации в статистическом смысле не зависит от того, кто и каким образом осуществляет выбор, а связанная с ним количественная мера одинакова для любого потребителя. Следовательно, появляется возможность описывать информационные процессы математическими уравнениями.

8. Информация и знание. На бытовом уровне, в науках социальной направленности, «информация» отождествляется с «информированностью», то есть человеческим знанием. В теории информации, напротив, информация является мерой нашего незнания чего-либо (но что в принципе может произойти). Состоявшееся событие не несет информации, поскольку пропадает его неопределенность.

Недопонимание указанных различий порождает попытки применения законов теории информации в тех сферах, где условия ее применимости не выполнены. Любая теория справедлива лишь в рамках своих исходных ограничений.