3.5 Понятие энтропии

Посмотрим на информацию ещё с одной точки зрения.

Можно ли измерять информацию числом назависимо от ее природы? Для этого надо искать то, что имеется в любой информации:

– Информация уменьшает неопределенность.

– Информация продвигает ситуацию от хаоса к порядку.

Ешё в 30-е годы XX века было осознано, что единый подход к информации должен быть связан с вероятностью. Удачное определение информации на этой основе дал в 1948 году американский инженер и математик Клод Шеннон.

Пусть для события А существуют исходы (варианты осуществления) а₁ а₂ … а_n и они реализуются с вероятностями p₁ p₂ … p_n.

Имеем: ∑_i p_i=1, это аксиома введения вероятностей. Другая фундаментальная аксиома 0 ≤ p_i ≤ 1. Они обеспечивают удобство работа с понятием вероятностей.

Шеннон ввёл понятие энтропийной информации, или просто энтропии события А по формуле:

I_A = ∑_i p_i log₂ (1/ p_i) или, что то же самое, I_A = – ∑_i p_i log₂ (p_i) .

Единица измерения информации [I_A] названа битом.

Ещё раз: для введения энтропии должна быть построена модель:

1. рассмотрено вариативное событие А

2. введены возможные исходы события А: а₁ а₂ … а_n

3. введены вероятности реализации исходов p₁ p₂ … p_n.

Для бросания монеты имеем p₁ = p₂ = ½ и величина I_A есть 1/2∙log₂(2) +1/2∙log₂(2) = 1 (один бит). Для равновероятных событий (p_i равны) сумму можно заменить на количество исходов. При бросании шестигранного кубика имеем шесть равновероятных событий. Получаем: 6∙(1/6∙log₂(6)) ≈ 2,6 бита информации.

Теперь бросим 8 монет. У нас 2⁸ =256 равновероятных раскладов, как легли монеты: «орлом» или «решкой» Значит, после бросания 8 монет мы получим I_A = 256∙(1/2⁸∙log₂(2⁸)) = 8 бит информации.

Мы видим, что при увеличении количества исходов для равновероятных событий энтропия растет (ряд 1; 2.6; 8). Это трактуется как нарастание хаоса – из событий все более трудно что-либо выделить.

Ещё одна простая модель, в которой можно считать энтропию, – это «событие А либо произойдёт, либо не произойдёт». Пусть вероятность того, что оно произойдёт, есть p, тогда вероятность того, что не произойдёт, есть (1–p).

Имеем: энтропия I_A = – p log₂ p – (1–p) log₂ (1–p). При p=0.1; 0.2; 0.4; 0.5; 0.6; 0.8; 0.9 получаем I_A ≈0.47, ≈0.72, ≈0.97, =1; ≈0.97, ≈0.72, ≈0.47 . Обратим внимание на симметричность ряда она обеспечивается симметричностью событий с вероятностью p и (1–p).

Построим другой важный для понимания энтропии ряд чисел. Пусть мы задаем некоторый вопрос, и в равной вероятности можем получить ответ «да» или «нет». Эта ситуация эквивалентна одному бросанию монеты или равной вероятности того, что событие произойдёт или не произойдёт. По формуле получаем I_A=1, т.е. один бит информации. Пусть теперь вероятности ответов (или чего-то другого с двумя исходами) есть ¼ и ¾. Имеем I_A = ¼∙log₂(4) + ¾∙log₂(4/3) ≈ 0.81 Аналогично для вероятностей 1/8 и 7/8 имеем I_A ≈ 0.54 , а для вероятности 1/32 и 31/32 имеем I_A ≈ 0.20. Получился ряд : (1, 0.81, 0.54, 0.20) , энтропия здесь становится всё меньше и меньше.

Если вероятность какого-либо исхода равна 1, то вероятность всех остальных исходов нулевая, т.к. ∑_i p_i = 1. В формуле Шеннона имеем один член в виде 1•log₂(1)=1•0=0, а все остальные члены есть неопределённости 0•log₂ (0) = 0 • ( ^– ∞), Но эта неопределенность в теории пределов «раскрывается», и здесь 0 • ( ^– ∞) = 0. Таким образом, энтропия I_A события, в котором вероятность одного их исходов равна 1, есть 0. Такая ситуация рассматривается как полный порядок, мы точно знаем, что произойдёт.

Итак, энтропия равна нулю для полного порядка, в этом случае информация не добавляет нового знания, мы и без неё знаем, что будет, ведь вероятность одного из исходов есть 1, остальных – 0. Если же событий n (n не мало) и их вероятности близки к 1/n, то мы не знаем, что выбрать, и ситуация близка к хаосу.

Как ответ на какой-либо вопрос можно рассматривать любую информацию. Исходов при этом не обязательно будет два. Любому ответу можно приписывать вероятность. Поэтому предложенная Шенноном схема рассматривается как универсальный способ измерения информации.