Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Стариченко Б.Е. Теоретические основы информатик...doc
Скачиваний:
2
Добавлен:
01.03.2025
Размер:
11.63 Mб
Скачать

2.1.3. Условная энтропия

Найдем энтропию сложного опыта α ^ β в том случае, если опыты не являются независимыми, т.е. если на исход β оказывает влияние результат опыта α. Например, если в ящике всего два разноцветных шара и α состоит в извлечении первого, а β - второго из них, то а полностью снимает неопределенность сложного опыта α ^ β, т.е. оказывается Н(α ^ β) = H(α), a не сумме энтропии, как следует из (2.5).

Связь между α и β состоит в том, что какие-то из исходов A(α) могут оказывать влияние на исходы из В(β), т.е. некоторые пары событий Ai ^ Bj не являются независимыми. Но тогда в (2.6) p(Ai ^ Bj) следует заменять не произведением вероятностей, а, согласно (А.14):

где - рAi (Bj) вероятность наступления исхода В, при условии, что в первом опыте имел место исход Аi.

Тогда

При подстановке в (2.6) получаем:

В первом слагаемом индекс j имеется только у B; изменив порядок суммирования, получим члены вида:

Однако,

поскольку

образует достоверное событие (какой-либо из исходов опыта β все равно реализуется). Следовательно, первое слагаемое оказывается равным:

Во втором слагаемом члены вида

имеют смысл энтропии опыта β при условии, что в опыте а реализовался исход Аi - будем называть ее условной энтропией. Если ввести данное понятие и использовать его обозначение, то второе слагаемое будет иметь вид:

где Hα(β) есть средняя условная энтропия опыта β при условии выполнении опыта α. Окончательно получаем для энтропии сложного опыта:

Полученное выражение представляет собой общее правило нахождения энтропии сложного опыта. Совершенно очевидно, что выражение (2.5) является частным случаем (2.10) при условии независимости опытов α и β.

Относительно условной энтропии можно высказать следующие утверждения:

  1. Условная энтропия является величиной неотрицательной. Hα(β) = 0 только в том случае, если любой исход а полностью определяет исход β (как в примере с двумя шарами), т.е.

В этом случае Н ^ β) = Н(α).

  1. Если опыты α и β независимы, то Нα(β) = Н(β), причем это оказывается наибольшим значением условной энтропии. Другими словами, опыт α не может повысить неопределенность опыта β; он может либо не оказать никакого влияния (если опыты независимы), либо понизить энтропию β.

Приведенные утверждения можно объединить одним неравенством:

т.е. условная энтропия не превосходит безусловную.

  1. Из соотношений (2.10) и (2.11) следует, что

причем равенство реализуется только в том случае, если опыты α и β независимы.

Пример 2.2

В ящике имеются 2 белых шара и 4 черных. Из ящика извлекают последовательно два шара без возврата. Найти энтропию, связанную с первым и вторым извлечениями, а также энтропию обоих извлечений. Будем считать опытом α извлечение первого шара. Он имеет два исхода: A1 - вынут белый шар; его вероятность р(А1) = 2/6 = 1/3; исход А2 - вынут черный шар; его вероятность р(А2) = 1 - р(А1) = 2/3. Эти данные позволяют с помощью (2.4) сразу найти Н(α):

Н(α) = - р(А1)log2 р(А1) - р(А2)log2 р(А2) = -1/3 log21/3 - 2/3 log22/3 = 0,918 бит.

Опыт β - извлечение второго шара также имеет два исхода: В1 - вынут белый шар; В2 - вынут черный шар, однако их вероятности будут зависеть от того, каким был исход опыта α. В частности:

при A1: рА1(B1) = 1/5 рА1(B2) = 4/5;

при A2: рA2(B1) = 2/5 рA2(B2) = 3/5.

Следовательно, энтропия, связанная со вторым опытом, является условной и, согласно (2.8) и (2.9), равна:

Наконец, из (2.10): Н(α  β) = 0,918 + 0,888 =1,806 бит.

Пример 2.3

Имеется три тела с одинаковыми внешними размерами, но с разными массами х1, х2 и х3. Необходимо определить энтропию, связанную с нахождением наиболее тяжелого из них, если сравнивать веса тел можно только попарно.

Последовательность действий достаточно очевидна: сравниваем вес двух любых тел, определяем из них более тяжелое, затем с ним сравниваем вес третьего тела и выбираем наибольший из них. Поскольку внешне тела неразличимы, выбор номеров тел при взвешивании будет случаен, однако общий результат от этого выбора не зависит. Пусть опыт ее состоит в сравнении веса двух тел, например, 1-го и 2-го. Этот опыт, очевидно, может иметь два исхода: А1 – х1 > х2; его вероятность р(А1) = 1/2; исход А2 - x1 < х2; также его вероятность р(А2) = 1/2.

Опыт β - сравнение весов тела, выбранного в опыте α, и 3-го - имеет четыре исхода: B1, - х1 > х3, B2х1 < х3, B3 - х2 > х3, В4 - х2 < х3; вероятности исходов зависят от реализовавшегося исхода α - для удобства представим их в виде таблицы:

Вновь, воспользовавшись формулами (2.8) и (2.9) и с учетом свойства (1) п.2.1.2, находим:

Следовательно, энтропия сложного опыта, т.е. всей процедуры испытаний: