3. 2. Условная неопределённость.
КОЛИЧЕСТВО ИНФОРМАЦИИ
Пусть и - два произвольных опыта с k и l исходами А k , В l соответственно. Тогда если и независимы, то
H() = H() + H() ,
а если же и зависимы, то
H() = H() + H () ,
где H () - условная неопределённость опыта при условии выполнения опыта и определяется равенством k
H() = P(A i)H A i () .
i = 1
Здесь H A i () - условная неопределённость опыта при условии исхода A i и определяется формулой: l
H
A
i ()
= -
PA
i(
B j
)
log 2
PA
i(
B j
)
, i = 1 , k .
j = 1
Очевидно, если и независимы , то H() = H() , и H() ≤ H() , если и зависимы.
Имеет место также равенство
H() = H() .
Рассмотрим разность
I ( , ) = H() - H () ,
которая указывает, насколько исход опыта уменьшает неопределённость опыта . Число I ( , ) называется количеством информации относительно опыта , содержащимся в опыте .
В частности, при = имеем I ( , ) = 0, что можно трактовать как количество информации об опыте , содержащимся в самом себе . Если же и независимы, то
I ( , ) = 0 ,
т.е. в целом
I ( , ) ≥ 0 ,
что можно трактовать примерно так: от всего, чему учат в университете, вреда не будет, а в худшем случае просто не будет пользы.
Так как
I ( , ) = I (, ) ,
то I ( , ) можно назвать также взаимной информацией двух опытов и
друг относительно друга. Далее, так как
H() = H() + H () ,
то
I ( , ) = H() + H() - H() ,
следовательно, k l
I ( , ) = Σ Σ P(A iB j) log 2 P(A iB j) /( P(A i ) P(B j)) .
i = 1 j = 1
Таким образом, мы получили окончательную формулу относительно количества информации I ( , ).
3.2.1. Доказать, что если и произвольные опыты, то;
а) H() = H() + H() ;
б) H() ≤ H() + H() ;
в) 0 ≤ H() ≤ H() ;
г) I ( , ) = I (, ) ;
д) I ( , ) ≤ H() ;
3.2.2. Вывести формулу относительно I ( , ) .
3.2.3. Пусть опыт состоит в извлечении одного шара из урны, содержащий m чёрных и n белых шаров, опыт k - в предварительном извлечении из той же урны (без возвращения обратно) k шаров. Чему равна неопределённость опыта и информация об опыте, содержащаяся в опытах 6,
13 и 14 ?
3.2.4. Пусть из партий в n деталей, изготовленных на конвейере, для выборочного контроля изъяты m деталей. Обозначим через процент брака всей партии, а через - процент брака в выборке. Определить I ( , ).
3.2.5. (О городах лжецов и честных людей). Пусть известно, что жители некоторого города А всегда говорят правду, а жители соседнего города Б всегда обманывают. Наблюдатель Н знает, что он находится в одном из этих двух городов, но не знает, в каком именно. Путём опроса встречного ему требуется определить, в каком городе он находится, или в каком городе живёт его собеседник (жители А могут заходить в Б и обратно), или то и другое вместе. Спрашивается, каково наименьшее число вопросов, которые должен задать Н (на все вопросы Н встречный отвечает лишь "да" или "нет").