143

5 Другие меры информации

5.1 Информация по Кульбаку

Определение. Свойства. Пусть наблюдаемый сигнал Y описывается системой непрерывных случайных величин , которые при гипотезе H₁ имеют совместную плотность вероятности , а при гипотезе Н₂ – плотность . Тогда логарифм отношения правдоподобия

(5.1.1)

называется информацией для различения в пользу Н₁ против Н₂, содержащейся в выборке . Эта величина случайна, так как значение выборки неизвестно до опыта.

В качестве гипотез Н₁ и Н₂ могут выбираться любые предположения, в том числе такие:

Н₁ – «переданное значение сообщения равно х₁»,

Н₂ – «переданное значение сообщения равно х₂ ».

Математическое ожидание случайной величины (5.1.1) при условии, что справедливо предположение Н₁,

(5.1.2)

называется средней информацией для различения в пользу Н₁ против Н₂.

Аналогично величина

	(5.1.3)

называется средней информацией для различения в пользу Н₂ против Н₁.

Сумма (5.1.2) и (5.1.3)

(5.1.4)

называется информационным расхождением между гипотезами Н₁ и Н₂.

Формулы (5.1.1) – (5.1.4) можно использовать и для вычисления информации, содержащейся в системе дискретных случайных величин Y. При этом следует вместо плотностей вероятностей подставить соответствующие вероятности, а интегрирование заменить суммированием по всем возможным значениям системы дискретных случайных величин.

Перечислим основные свойства:

1. Выпуклость.

(5.1.5)

Неравенства обращаются в равенства тогда и только тогда, когда Y не зависит от Н, т. е.

2) Аддитивность.

Если подсистемы случайных величин и независимы при каждой из гипотез, т. е.

(5.1.6)

то информация, содержащаяся в системе , равна сумме информаций, содержащихся в подсистемах.

Неравенство для ошибок первого и второго рода. Рассмотрим задачу проверки гипотез. Пространство всех возможных значений сигнала разбиваем на две непересекающиеся части: Е₁ и Е₂. Если выборка y попала в область Е₁, то считаем, что справедлива гипотеза Н₁, в противном случае принимаем гипотезу Н₂. При использовании такого правила решения возможны ошибки двух видов.

1) Ошибка первого рода.

Если справедливо предположение Н₁ (сигнал Y имеет плотность вероятности , но в результате опыта выборочное значение y попало в область Е₂ и, следовательно, была принята гипотеза Н₂, то возникает ошибка первого рода (неправильное отклонение гипотезы Н₁).

2) Ошибка второго рода.

Если справедливо предположение Н₂, но выборочное значение y попало в область Е₁ и была принята гипотеза Н₁, то возникает ошибка второго рода.

Вероятность ошибки первого рода

(5.1.7)

есть вероятность попадания y в область Е­₂ при условии, что y имеет распределение W₁(y).

Вероятность ошибки второго рода

(5.1.8)

есть вероятность попадания y в область Е₁ при условии, что y имеет распределение W₂(y).

Вероятности ошибок первого и второго рода связаны с информационными мерами Кульбака следующими неравенствами:

		(5.1.9а)
	(5.1.9б)

Неравенства обращаются в равенства тогда и только тогда, когда плотности вероятности W₁(y) и W₂(y) таковы, что

(5.1.10а)

для всех у из области Е₁ и

(5.1.10б)

для всех у из области Е₂, где С₁ и C₂ – некоторые постоянные.

Задав конкретные значения и , по (5.1.9) можно проверить, являются ли эти значения принципиально достижимыми при заданных вероятностных свойствах сигнала Y. Таким образом, зная информационные характеристики сигнала, по (5.1.9) можно вычислить предельные, потенциальные значения вероятностей ошибок первого и второго рода.

Критерий Неймана-Пирсона. Найден оптимальный метод различения гипотез Н₁ и Н₂, который при заданной вероятности ошибок первого рода обеспечивает минимальную вероятность ошибки второго рода. Такое правило называется критерием Неймана-Пирсона и основано на сравнении логарифма отношения правдоподобия с порогом С, который выбирается таким образом, чтобы обеспечить требуемую величину . Область Е₁ состоит из тех значений Y, для которых справедливо неравенство

(5.1.11)

Таким образом, гипотеза Н₁ принимается только в том случае, когда величина информации в пользу Н₁ против Н₂, содержащейся в выборке y, больше заданной величины С. В противном случае Н₁ отвергается и принимается гипотеза Н₂.