5 Другие меры информации
5.1 Информация по Кульбаку
Определение. Свойства. Пусть наблюдаемый сигнал Y описывается системой непрерывных случайных величин , которые при гипотезе H1 имеют совместную плотность вероятности , а при гипотезе Н2 – плотность . Тогда логарифм отношения правдоподобия
|
(5.1.1) |
называется информацией для различения в пользу Н1 против Н2, содержащейся в выборке . Эта величина случайна, так как значение выборки неизвестно до опыта.
В качестве гипотез Н1 и Н2 могут выбираться любые предположения, в том числе такие:
Н1 – «переданное значение сообщения равно х1»,
Н2 – «переданное значение сообщения равно х2 ».
Математическое ожидание случайной величины (5.1.1) при условии, что справедливо предположение Н1,
|
(5.1.2) |
называется средней информацией для различения в пользу Н1 против Н2.
Аналогично величина
|
(5.1.3) |
|
|
называется средней информацией для различения в пользу Н2 против Н1.
Сумма (5.1.2) и (5.1.3)
|
(5.1.4) |
называется информационным расхождением между гипотезами Н1 и Н2.
Формулы (5.1.1) – (5.1.4) можно использовать и для вычисления информации, содержащейся в системе дискретных случайных величин Y. При этом следует вместо плотностей вероятностей подставить соответствующие вероятности, а интегрирование заменить суммированием по всем возможным значениям системы дискретных случайных величин.
Перечислим основные свойства:
Выпуклость.
|
(5.1.5) |
Неравенства обращаются в равенства тогда и только тогда, когда Y не зависит от Н, т. е.
2) Аддитивность.
Если подсистемы случайных величин и независимы при каждой из гипотез, т. е.
|
(5.1.6) |
то информация, содержащаяся в системе , равна сумме информаций, содержащихся в подсистемах.
Неравенство для ошибок первого и второго рода. Рассмотрим задачу проверки гипотез. Пространство всех возможных значений сигнала разбиваем на две непересекающиеся части: Е1 и Е2. Если выборка y попала в область Е1, то считаем, что справедлива гипотеза Н1, в противном случае принимаем гипотезу Н2. При использовании такого правила решения возможны ошибки двух видов.
1) Ошибка первого рода.
Если справедливо предположение Н1 (сигнал Y имеет плотность вероятности , но в результате опыта выборочное значение y попало в область Е2 и, следовательно, была принята гипотеза Н2, то возникает ошибка первого рода (неправильное отклонение гипотезы Н1).
2) Ошибка второго рода.
Если справедливо предположение Н2, но выборочное значение y попало в область Е1 и была принята гипотеза Н1, то возникает ошибка второго рода.
Вероятность ошибки первого рода
|
(5.1.7) |
есть вероятность попадания y в область Е2 при условии, что y имеет распределение W1(y).
Вероятность ошибки второго рода
|
(5.1.8) |
есть вероятность попадания y в область Е1 при условии, что y имеет распределение W2(y).
Вероятности ошибок первого и второго рода связаны с информационными мерами Кульбака следующими неравенствами:
|
(5.1.9а) |
|
|
(5.1.9б) |
Неравенства обращаются в равенства тогда и только тогда, когда плотности вероятности W1(y) и W2(y) таковы, что
|
(5.1.10а) |
для всех у из области Е1 и
|
(5.1.10б) |
для всех у из области Е2, где С1 и C2 – некоторые постоянные.
Задав конкретные значения и , по (5.1.9) можно проверить, являются ли эти значения принципиально достижимыми при заданных вероятностных свойствах сигнала Y. Таким образом, зная информационные характеристики сигнала, по (5.1.9) можно вычислить предельные, потенциальные значения вероятностей ошибок первого и второго рода.
Критерий Неймана-Пирсона. Найден оптимальный метод различения гипотез Н1 и Н2, который при заданной вероятности ошибок первого рода обеспечивает минимальную вероятность ошибки второго рода. Такое правило называется критерием Неймана-Пирсона и основано на сравнении логарифма отношения правдоподобия с порогом С, который выбирается таким образом, чтобы обеспечить требуемую величину . Область Е1 состоит из тех значений Y, для которых справедливо неравенство
|
(5.1.11) |
Таким образом, гипотеза Н1 принимается только в том случае, когда величина информации в пользу Н1 против Н2, содержащейся в выборке y, больше заданной величины С. В противном случае Н1 отвергается и принимается гипотеза Н2.