2. Энтропия

Основные подходы к измерению количества информации.

Понятие количества информации естественно возникает, например, в следующих типовых случаях:

1. Равенство вещественных переменных a = b, заключает в себе ин- формацию о том, что a равно b. Про равенство a2 = b2 можно сказать, что оно несет меньшую информацию, чем первое, т.к. из первого следу- ет второе, но не наоборот. Равенство a3 = b3 несет в себе информацию по объему такую же, как и первое;

2. Пусть происходят некоторые измерения с некоторой погрешно- стью. Тогда чем больше будет проведено измерений, тем больше ин- формации об измеряемой сущности будет получено;

3. М.о. некоторой сл.в. содержит в себе информацию о самой сл.в. Для сл.в., распределенной по нормальному закону, с известной диспер- сией знание м.о. дает полную информацию о сл.в.;

4. Рассмотрим схему передачи информации. Пусть передатчик опи- сывается сл.в. X, тогда из-за помех в канале связи на приемник будет приходить сл.в. Y = X +Z, где Z — это сл.в., описывающая помехи. В этой схеме можно говорить о количестве информации, содержащейся в сл.в. Y , относительно X. Чем ниже уровень помех (дисперсия Z мала), тем больше информации можно получить из Y . При отсутствии помех Y содержит в себе всю информацию об X.

В 1865 г. немецкий физик Рудольф Клаузиус ввел в статистиче- скую физику понятие энтропии или меры уравновешенности системы. В 1921 г. основатель большей части математической статистики, англичанин Роналд Фишер впервые ввел термин “информация” в ма- тематику, но полученные им формулы носят очень специальный харак- тер.

В 1948 г. Клод Шеннон в своих работах по теории связи выпи- сывает формулы для вычисления количества информация и энтропии. Термин энтропия используется Шенноном по совету патриарха ком- пьютерной эры фон Неймана, отметившего, что полученные Шенноном для теории связи формулы для ее расчета совпали с соответствующи- ми формулами статистической физики, а также то, что “точно никто не знает” что же такое энтропия.

Энтропия как мера степени неопределенности.

Энтропия - это мера степени неопределенности состоянии системы X (случайной величины) с конечным или счетным числом исходов.

Любое сообщение, с которым мы имеем дело в теории информации, представляет собой совокупность сведений о некоторой физической системе. Например, на вход системы управления средствами противовоздушной обороны может быть передано сообщение о том, что в воздухе находятся две цели, летящие на определенной высоте, с определенной скоростью. Любое из этих сообщений описывает состояние какой-то физической системы.

Очевидно, если бы состояние физической системы было известно заранее, не было бы смысла передавать сообщение. Сообщение приобретает смысл только тогда, когда состояние системы заранее неизвестно, случайно.

Поэтому в качестве объекта, о котором передается информация, мы будем рассматривать некоторую физическую систему , которая случайным образом может оказаться в том или ином состоянии, т. е. систему, которой заведомо присуща какая-то степень неопределенности. Очевидно, сведения, полученные о системе, будут, вообще говоря, тем ценнее и содержательнее, чем больше была неопределенность системы до получения этих сведений («априори»). Возникает естественный вопрос: что значит «большая» или «меньшая» степень неопределенности и чем можно ее измерить?

Чтобы ответить на этот вопрос, сравним между собой две системы, каждой из которых присуща некоторая неопределенность.

В качестве первой системы возьмем монету, которая в результате бросания может оказаться в одном из двух состояний: 1) выпал герб и 2) выпала цифра. В качестве второй - игральную кость, у которой шесть возможных состояний: 1, 2, 3, 4, 5 и 6. Спрашивается, неопределенность какой системы больше? Очевидно, второй, так как у нее больше возможных состояний, в каждом из которых она может оказаться с одинаковой вероятностью.

Может показаться, что степень неопределенности определяется числом возможных состояний системы. Однако в общем случае это не так. Рассмотрим, например, техническое устройство, которое может быть в двух состояниях: 1) исправно и 2) отказало. Предположим, что до получения сведений (априори) вероятность исправной работы устройства 0,99, а вероятность отказа 0,01. Такая система обладает только очень малой степенью неопределенности: почти наверное можно предугадать, что устройство будет работать исправно. При бросании монеты тоже имеется два возможных состояния, но степень неопределенности гораздо больше. Мы видим, что степень неопределенности физической системы определяется не только числом ее возможных состояний, но и вероятностями состояний.

Перейдем к общему случаю. Рассмотрим некоторую систему , которая может принимать конечное множество состояний:с вероятностями, где

(18.2.1)

- вероятность того, что система примет состояние(символомобозначается событие: система находится в состоянии). Очевидно,.

Запишем эти данные в виде таблицы, где в верхней строке перечислены возможные состояния системы, а в нижней - соответствующие вероятности:

Таблица 1

Эта табличка по написанию сходна с рядом распределения прерывной случайной величины с возможными значениями, имеющими вероятности. И действительно, между физической системойс конечным множеством состояний и прерывной случайной величиной много общего; для того чтобы свести первую ко второй, достаточно приписать каждому состоянию какое-то числовое значение (скажем, номер состояния). Подчеркнем, что для описания степени неопределенности системы совершенно неважно, какие именно значениязаписаны в верхней строке таблицы; важны только количество этих значений и их вероятности.

В качестве меры априорной неопределенности системы (или прерывной случайной величины ) в теории информации применяется специальная характеристика, называемая энтропией. Понятие об энтропии является в теории информации основным.

Энтропией системы называется сумма произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взятая с обратным знаком:

.                      (18.2.2)

Энтропия , как мы увидим в дальнейшем, обладает рядом свойств, оправдывающих ее выбор в качестве характеристики степени неопределенности. Во-первых, она обращается в нуль, когда одно из состояний системы достоверно, а другие - невозможны. Во-вторых, при заданном числе состояний она обращается в максимум, когда эти состояния равновероятны, а при увеличении числа состояний - увеличивается. Наконец, и это самое главное, она обладает свойством аддитивности, т. е. когда несколько независимых систем объединяются в одну, их энтропии складываются.

Логарифм в формуле (18.2.2) может быть взят при любом основании . Перемена основания равносильна простому умножению энтропии на постоянное число, а выбор основания равносилен выбору определенной единицы измерения энтропии. Если за основание выбрано число 10, то говорят о «десятичных единицах» энтропии, если 2 - о «двоичных единицах». На практике удобнее всего пользоваться логарифмами при основании 2 и измерять энтропию в двоичных единицах; это хорошо согласуется с применяемой в электронных цифровых вычислительных машинах двоичной системой счисления.

В дальнейшем мы будем везде, если не оговорено противное, под символом понимать двоичный логарифм.

В приложении (табл. 6) даны двоичные логарифмы целых чисел от 1 до 100.

Легко убедиться, что при выборе 2 в качестве основания логарифмов за единицу измерения энтропии принимается энтропия простейшей системы , которая имеет два равновозможных состояния:

Таблица 2

Действительно, по формуле (18.2.2) имеем:

.

Определенная таким образом единица энтропии называется «двоичной единицей» и иногда обозначается bit (от английского «binary digit» - двоичный знак). Это энтропия одного разряда двоичного числа, если он с одинаковой вероятностью может быть нулем или единицей.

Измерим в двоичных единицах энтропию системы , которая имеетравновероятных состояний:

Таблица 3

Имеем:

или

,                       (18.2.3)

т. е. энтропия системы с равновозможными состояниями равна логарифму числа состояний.

Например, для системы с восемью состояниями .

Докажем, что в случае, когда состояние системы в точности известно заранее, ее энтропия равна нулю. Действительно, в этом случае все вероятности в формуле (18.2.2) обращаются в нуль, кроме одной - например, которая равна единице. Членобращается в нуль, так как. Остальные члены тоже обращаются в нуль, так как

.

Докажем, что энтропия системы с конечным множеством состояний достигает максимума, когда все состояния равновероятны. Для этого рассмотрим энтропию системы (18.2.2) как функцию вероятностей и найдем условный экстремум этой функции при условии:

.                   (18.2.4)

Пользуясь методом неопределенных множителей Лагранжа, будем искать экстремум функции:

.              (18.2.5)

Дифференцируя (18.2.5) по и приравнивая производные нулю, получим систему уравнений:

или

,                  (18.2.6)

откуда видно, что экстремум (в данном случае максимум) достигается при равных между собой значениях . Из условия (18.2.4) видно, что при этом

,                                  (18.2.7)

а максимальная энтропия системы равна:

,                              (18.2.8)

т. е. максимальное значение энтропии системы с конечным числом состояний равно логарифму числа состояний и достигается, когда все состояния равновероятны.

Вычисление энтропии по формуле (18.2.2) можно несколько упростить, если ввести в рассмотрение специальную функцию:

,                   (18.2.9)

где логарифм берется по основанию 2.

Формула (18.2.2) принимает вид:

.                 (18.2.10)

Функция затабулирована; в приложении (табл. 7) приведены ее значения дляот 0 до 1 через 0,01.

Пример 1. Определить энтропию физической системы, состоящей из двух самолетов (истребителя и бомбардировщика), участвующих в воздушном бою. В результате боя система может оказаться в одном из четырех возможных состояний:

1) оба самолета не сбиты;

2) истребитель сбит, бомбардировщик не сбит;

3) истребитель не сбит, бомбардировщик сбит;

4) оба самолета сбиты.

Вероятности этих состояний равны соответственно 0,2; 0,3; 0,4 и 0,1.

Решение. Записываем условия в виде таблицы:

Таблица 4

	0,2	0,3	0,4	0,1

По формуле (18.2.10) имеем:

.

Пользуясь таблицей 7 приложения, находим

(дв. ед.).

Пример 2. Определить энтропию системы, состояние которой описывается прерывной случайной величиной с рядом распределения

Таблица 5

	0,01	0,01	0,01	0,01	0,96

Решение.

(дв. ед.).

Пример 3. Определить максимально возможную энтропию системы, состоящей из трех элементов, каждый из которых может быть в четырех возможных состояниях.

Решение. Общее число возможных состояний системы равно . Максимально возможная энтропия системы равна(дв. ед.).

Пример 4. Определить максимально возможную энтропию сообщения, состоящего из пяти букв, причем общее число букв в алфавите равно 32.

Решение. Число возможных состояний системы . Максимально возможная энтропия равна(дв. ед).

Формула (18.2.2) (или равносильная ей (18.2.10)) служит для непосредственного вычисления энтропии. Однако при выполнении преобразований часто более удобной оказывается другая форма записи энтропии, а именно, представление ее в виде математического ожидания:

,                   (18.2.11)

где - логарифм вероятности любого (случайного) состояния системы, рассматриваемый как случайная величина.

Когда система принимает состояния, случайная величинапринимает значения:

.                                (18.2.12)

Среднее значение (математическое ожидание) случайной величины - и есть, как нетрудно убедиться, энтропия системы. Для ее получения значения (18.2.12) осредняются с «весами», равными соответствующим вероятностям.

Формулы, подобные (18.2.11), где энтропия представляется в виде математического ожидания, позволяют упрощать преобразования, связанные с энтропией, сводя их к применению известных теорем о математических ожиданиях.

Энтропия сложных событий.

Если требуется оценить меру неопределенности сложных опытов, состоящих из целой совокупности следующих друг за другом испытаний, то необходимо иметь правило сложения энтропии. Допустим мы осуществляем два независимых опыта α.и β с таблицами вероятностей:

 

Опыт α

Исходы опыта	А1	А2	…	Аk
Вероятности	p(А1)	p(А2)	…	р(Аk)

 

Опыт β

Исходы опыта	В1	В2	…	Вl
Вероятности	p(В1)	p(В2)	…	р(Вl)

 

 Рассмотрим сложный опыт αβ, состоящий в том, что одновременно осуществляются опыты α и β. Этот опыт имеетkl исходов:

 

A₁B₁, A₂B₂, …, A₁B_l; A₂B₁, A₂B₂, …, A₂B_l;  A_kB₁, A_kB₂, …, A_kB_l.

 

В результате математических преобразований можно получить равенство

 

Н(αβ) = Н(α.) + Н(β).

 

 Это равенство называется правилом сложения энтропии независимых опытов.

Если отказаться от условий независимости опытов α и β, то мы придем к понятно условной энтропии.

При этих условиях энтропия сложного опыта αβ не будет равна сумме энтропии α и β. Например, в случае если опыт αβ состоит в последовательном извлечении шаров из урны, содержащей всего два разноцветных шара. В этом случае после выполнения опыта α опыт β уже не будет содержать никакой информации и энтропия сложного опыта αβ будет равна энтропии одного опыта α, а не сумме энтропии опыта α. и β.

Условной энтропией опыта β при условии выполнения опыта α или условной энтропии опыта α при условии выполнения опыта β считается соответственно Н_α(β) и Н_β(α):

Н_α(β) = р(А₁)Н_А1(β)+р(А₂) Н_А2(β)+ ….+ р(АK)Н_Аk(β),

 

где Н_Аk(β) – условная энтропия опыта β при условии А_k.

Таким образом, формула для подсчета энтропии Н(αβ) сложного опыта α β, в случае зависимости опытов α и β, имеет вид

Н(αβ)=Н(α)+Н_α(β).

 

Данное выражение называется правилом сложения энтропии для зависимых опытов.

Литература: [1].