8.2. Условная энтропия

Если α и β – независимые случайные объекты (явления), то

(8.4)

то есть энтропия двух или нескольких независимых объектов или явлений равна сумме энтропий этих объектов или явлений. Это свойство аддитивности энтропии.

Если α и β – зависимые случайные объекты или явления, то

(8.5)

где Н(β\α) или Н(α определяются как математические ожидания энтропии условного распределения (условной энтропии).

Для всех случайных объектов или явлений имеет место неравенство Н(α)≥ Н(α , что согласуется с интуитивным представлением о том, что знание состояния может только уменьшить неопределенность , а если они независимы ( ), то оставить её неизменной.

Пример 8.3. Неопределенность даты проведения ежегодного мероприятия можно определить двумя путями:

1).

где 365 – число дней в году;

2).

где 12 – число месяцев в году; 30 – число дней в месяце.

Пример 8.4. Специалист, занимающийся проблемой В, для информационного обеспечения своей интеллектуальной деятельности воспользовался автоматизированной информационно – поисковой системой (АИПС). В базе АИПС содержится 2% статей, непосредственно относящихся к заданной проблеме. Система поиска в АИПС точно обнаруживает эти статьи по запросу. В то же время ввиду некоторой близости тематики других статей к проблеме В эта система с равной вероятностью может представить или не представить специалисту статьи, не относящиеся непосредственно к проблеме В. Определить эффективность системы поиска, используя меру снятия неопределенности по отношению к проблеме В.

Решение. Формализуем представленную ситуацию. Определение отношения той или иной статьи к проблеме В представим как опыт β, имеющий два возможных исхода:

В₁ – не относится; В₂ – относится.

Определение эффективности системы поиска представим как опыт , также имеющий две возможных исхода:

А₁ – определен признак В; А₂ – не определен признак В.

Вероятности определения и неопределения признака В соответственно равны:

Неопределенность отношения той или иной статьи к проблеме В:

Это есть неопределенность базы АИПС по отношению к проблеме В.

В целом, с учетом эффективности работы системы поиска, то есть опыта α, неопределенность АИПС можно вычислить через условную энтропию Н(α\β).

Для этого определим:

1) условные вероятности исходов В₁ и В₂ опыта β при условии исходов А₁ и А₂ опыта α:

так как из 51 случая, когда система поиска давала положительный ответ, 49 статей не относились к проблеме В, а 2 статьи относились,

что вполне очевидно;

2) Условные энтропии АИПС (при условии исходов А₁ и А₂):

Тогда средняя условная энтропия опыта β (неопределенность АИПС) при условии существования системы поиска (опыт α) будет равна математическому ожиданию энтропии условного распределения

Если сравнить значение с ранее полученным значением неопределенности базы АИПС , то можно сделать вывод, что система поиска недостаточно эффективна, поскольку снимает неопределенность всего на 2 %.