Добавил:

Tushkan Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Национальный исследовательский университет «МЭИ»

Предмет:

Теория вероятностей и математическая статистика

Файл:

Лекции / Tema_8.doc

Скачиваний:

Добавлен:

28.06.2014

Размер:

2 Мб

Скачать

☆

<<< < Предыдущая 12 / 32 3 > Следующая >>>

2. Различение двух простых гипотез.

Представим, что множество допустимых значений параметра состоит всего из двух значений:

Отсюда функция распределения либо совпадает с , либо совпадает с . Пусть основная гипотеза заключается в том, что функция распределения или, что тоже самое, :

: ,

: .

Альтернативная гипотеза заключается в том, что или :

: ,

: .

Задача проверки гипотезы в указанной постановке называется задачей различения двух простых гипотез.

Легко видеть, что в данном случае множество значений параметра , определяемых гипотезой :

отсюда,

поэтому вероятности ошибок первого и второго рода:

являются функциями только разбиения и . Отсюда следует, что для каждого критерия вероятности ошибок первого и второго рода являются числовыми значениями (а не функциями параметра ), что существенно упрощает способы сравнения критериев.

Критерии можно сравнивать по величинам ошибок: для каждого критерия однозначно определяется наибольшая из двух величин ошибок , поэтому можно считать, что из двух критериев лучше тот, у которого упомянутая наибольшая величина оказывается меньше. Принятый способ сравнения приводит к следующему определению.

Определение 8.5.

Критерий называется минимаксным критерием, если для любого критерия :

Другой способ сравнения критериев основан на функции потерь: предположим, что при ошибке первого рода «происходит потеря» в размере ( ), а при ошибке второго рода «происходит потеря» в размере ( ), тогда средняя величина потерь для всякого критерия :

Из двух критериев будем считать лучшим тот, для которого средняя величина потерь меньше. Подобный способ сравнения приводит к следующему определению.

Определение 8.6.

Критерий называется байесовским критерием, если для всякого другого критерия :

Указанные способы сравнения критериев не сообщают методов построения «наилучших» критериев – минимаксного, байесовского и рассмотренного ранее наиболее мощного. Заметим, что для построения любого критерия, как было замечено выше, достаточно указать разбиение выборочного пространства .

Выбор разбиения может быть основан на следующем простом рассуждении: пусть получена реализация наблюдения , сравним вероятность получения этой реализации в случае, когда верна гипотеза , и в случае, когда верна гипотеза . Если вероятность получения реализации наблюдения при верной гипотезе оказывается больше вероятности получения этого же наблюдения при верной гипотезе , тогда предпочтение следует отдать гипотезе , считая, что реализация наблюдения свидетельствует против гипотезы . Наоборот, если вероятность получения реализации наблюдения при верной гипотезе оказывается меньше вероятности получения этого же наблюдения при верной гипотезе , то предпочтение следует отдать гипотезе , считая, что реализация наблюдения свидетельствует против гипотезы .

Для придания приведенному рассуждению формального смысла ограничимся рассмотрением только простого случая, удовлетворяющего условиям:

(С1) при функция распределения имеет плотность вероятности .

(C2) во всем выборочном пространстве функции плотности и нигде не равны нулю:

: и .

Основная гипотеза утверждает, что плотность вероятности наблюдения есть функция , а альтернативная гипотеза утверждает, что плотность вероятности наблюдения есть функция .

Поскольку в силу предположения (С2) плотность вероятности для всех точек из , то во всех точках определено отношение .

Определение 8.7.

Отношением правдоподобия называется функция :

Общий подход к выделению множества критерия основан на сравнении отношения правдоподобия с некоторым неотрицательным числом ( ). Если отношение правдоподобия в некоторой точке оказывается меньше числа , то значит в этой точке плотность вероятности по крайней мере в раз больше плотности вероятности .

Определение 8.8.

Критерий называется критерием отношения вероятностей, если при некотором действительном неотрицательном ( ):

Критерии отношения вероятностей по отношению к другим критериям обладают важным свойством.

Утверждение 8.9.

Пусть наблюдение имеет функцию распределения , для которой выполнены условия (С1) и (C2). Если

1) – критерий отношения вероятностей при некотором фиксированном такой, что ;

2) – произвольный критерий, отличающийся от , такой, что ,

Тогда:

Доказательство:

Рассмотрим разность :

В силу условия (C1) вероятности могут быть вычислены с помощью функции плотности вероятности:

(8.1)

Поскольку множества и образуют разбиение множества :

и , то

отсюда

Аналогично,

поэтому

Таким образом, из (8.1):

(8.2)

Поскольку – критерий отношения вероятностей, то на множестве отношение правдоподобия или , тогда:

(8.3а)

Опять же в силу того, что – критерий отношения вероятностей на множестве отношение правдоподобия или , тогда:

(8.3б)

Неравенство (8.3б) в условиях утверждения всегда справедливо и всегда является строгим, поскольку по условию утверждения и , и в силу условия (С2) подынтегральные функции и . Если бы нарушалось хотя бы одно из этих условий, то в неравенстве (8.3б) оказались бы или интегралы по пустому множеству или от функций равных нулю в области интегрирования , и то и другое могло бы привести к очевидно ложному соотношению .

Из (8.2) с учетом полученных неравенств (8.3а) и (8.3б):

Таким образом,

Утверждение доказано.

Заметим, что каждый критерий отношения вероятностей полностью определяется величиной (действительно, по однозначно определяется множество , и, следовательно, однозначно определяется и множество ), поэтому вероятность ошибки первого рода и вероятность ошибки второго рода для критериев отношения вероятностей являются функциями :

Утверждение 8.10.

Пусть наблюдение имеет функцию распределения , для которой выполнены условия (C1) и (C2), основная гипотеза заключается в том, что , альтернативная гипотеза заключается в том, что . Пусть – функция вероятности ошибки первого рода и – функция вероятности ошибки второго рода критериев отношения вероятности , тогда:

1) ;

2) монотонно не возрастает: из следует ;

3) существует ;

4) ;

5) монотонно не убывает: из следует .

Доказательство:

1) Легко видеть, что при у критерия множество , поскольку нет ни одной точки , в которой . Отсюда следует, что , тогда:

Тем самым пункты 1) и 4) доказаны.

2) Пусть и – числа такие, что . Поскольку из неравенства следует неравенство , то каждая точка принадлежащая множеству также принадлежит множеству , то есть:

(8.4)

Откуда следует вложенность событий:

и неравенство для вероятностей:

Тем самым доказан пункт 5).

Из (8.4) также следует:

откуда следует вложенность событий:

и неравенство для вероятностей:

Тем самым доказан пункт 2).

3) Заметим, что в силу условия (C1):

На множестве выполняется неравенство или , тогда:

По определению есть вероятность, поэтому , так что и, следовательно, существует предел:

Тем самым доказан пункт 3).

Утверждение доказано.

Очевидно, что в общем случае произвольный критерий может быть построен совершенно произвольным образом, и поэтому не обязательно является критерием отношения вероятностей. Тем не менее, класс всех критериев отношения вероятностей обладает тем свойством, что содержит в себе «наилучшие» критерии: и минимаксный, и байесовский и наиболее мощный критерии. Этот факт доказывает приводимая далее теорема: утверждение 1 говорит о том, что при специальном выборе числа критерий отношения вероятностей является минимаксным критерием, в утверждении 2 доказывается, что при специальном выборе числа критерий отношения вероятностей является байесовским, наконец, утверждение 3 заключает, что в классе критериев с ограниченной сверху вероятностью ошибки первого рода содержится такой критерий отношения вероятностей , который является наиболее мощным критерием в классе .

Теорема 8.11.

Пусть наблюдение имеет функцию распределения , для которой выполнены условия (C1) и (С2), основная гипотеза заключается в том, что , альтернативная гипотеза заключается в том, что , и для критериев отношения вероятностей функция вероятности ошибки первого рода является непрерывной, тогда:

является минимаксным, если выбрано так, что ;
является байесовским, если ;
является наиболее мощным критерием в классе , :

если выбрано так, что (лемма Неймана-Пирсона).

Доказательство:

1) Прежде всего, покажем, что действительно существует число такое, что , для этого покажем, что функция непрерывна и принимает значения разных знаков, следовательно, обязательно пересекает ось абсцисс в некоторой точке .

Можно показать, что из условия непрерывности функции следует непрерывность функции (точнее, если в некоторой точке функция имеет разрыв первого рода (функция не может иметь разрыв второго рода, поскольку по определению ), тогда в той же самой точке функция тоже имеет разрыв первого рода, что противоречит исходному условию о непрерывности ). Из непрерывности функций и следует непрерывность функции .

В силу утверждения 8.10 пункты 1 и 4:

В силу утверждения 8.10 пункт 1 и 3:

поэтому в силу непрерывности функции , существует значение такое, что:

Отсюда следует, что , действительно, если бы , тогда:

что противоречило бы .

Поскольку , то из следует , поэтому в силу (C1) и (C2):

Поскольку , то найдется число такое, что , тогда в силу монотонного не убывания функции , (утверждение 8.10 пункт 5):

Таким образом, функция непрерывна, и , поэтому по известной теореме анализа существует точка в которой функция равна нулю:

Таким образом, значение существует, и существует критерий . Заметим, что в критерии множество , действительно, если бы , тогда и , откуда , что противоречило бы равенству .

Теперь покажем, что критерий является минимаксным критерием, для этого рассмотрим любой другой критерий и покажем, что:

В критерии либо , либо .

а) Пусть , тогда , тогда:

отсюда,

поскольку и являются вероятностями, и вероятности не больше 1.

б) Пусть , тогда для критерия либо либо .

б1) Пусть , тогда с учетом :

б2) Пусть , тогда применим к критерию (с ) и критерию (с ) утверждение 8.11, согласно которому:

тогда учитывая равенство ,

Таким образом, для критерия и любого другого критерия всегда справедливо:

Откуда следует, что критерий является минимаксным.

2) Для доказательства пункта 2 построим в явном виде байесовский критерий , который доставляет минимальное значение функции средней потери :

Преобразуем выражения для функции средней потери следующим образом:

Отсюда легко видеть, что функция средней потери принимает наименьшее значение в том случае, когда наименьшее значение принимает интеграл:

Для того чтобы значение интеграла было наименьшим, очевидно, достаточно в множество поместить те и только те точки, в которых подынтегральная функция отрицательна, поэтому в байесовском критерии множество определяется условием:

В силу условия (C2) плотность вероятности , поэтому:

Заметим, что множество есть в точности множество критерия отношения вероятностей при , поэтому критерий и следовательно байесовский критерий.

3) Для доказательства пункта 3 прежде всего покажем, что для всякого такого, что всегда найдется значение такое, что . Действительно, в силу утверждения 8.10:

Отсюда следует, что каковы бы ни было число для всегда найдется число такое, что для всех :

В силу условия теоремы является непрерывной функцией, в том числе и на отрезке , причем значение функции (в силу утверждения 8.10 пункт 1) и , отсюда по известной теореме анализа всегда найдется точка такая, что .

Критерий отношения вероятностей , поскольку . Покажем, что наиболее мощный критерий в классе , для этого покажем, что для любого другого критерия , критерий равномерно мощнее , то есть выполняется неравенство: