3. Последовательный критерий отношения вероятностей.

В параграфах 1 и 2 рассматривались задачи проверки параметрических гипотез, в которых количество случайных величин в наблюденииявлялось фиксированным числом.

Представим себе задачу проверки параметрической гипотезы и альтернативной гипотезы, в которой объем наблюденияне фиксирован и наблюдения можно получать последовательно: на нулевом шаге наблюдение отсутствует, на первом шаге наблюдением является одна случайная величина, на втором шаге наблюдением является две случайные величины, и так далее, на-ом шаге наблюдением является вектор, и при этом число шагов ничем не ограничено.

Подобная трактовка наблюдения приводит к новому классу критериев, которые называются последовательные критерии(раздел статистики, в котором изучаются последовательные критерии, называетсяпоследовательный анализ). На каждом шаге последовательный критерий принимает в точности одно из следующих решений:

1. остановиться и принять гипотезу (отклонить);

2. продолжить и получить следующее наблюдение;

3. остановиться и принять гипотезу (отклонить).

Наилучшие критерии, рассмотренные в предыдущих параграфах (минимаксный, байесовский и равномерно наиболее мощный), в каком-то смысле тоже являются последовательными критериями, которые на первых шагах выбирают «продолжить и получить следующее наблюдение», а нашаге принимаютлибои останавливаются. Каждый из рассмотренных критериев оказывался «наилучшим» в каком-то смысле: минимаксный критерий минимизировал наибольшую из двух вероятностей ошибок, байесовский критерий минимизировал значение функции средних потерь, равномерно наиболее мощный минимизировал вероятность ошибки второго рода при условии ограниченной вероятности ошибки первого рода.

Каждый последовательный критерий, как и всякий критерий, также обладает величинами вероятностей ошибок первого и второго родов, и дополнительно характеризуется средним количеством шагов, проделанных до момента остановки и принятия одной из гипотез. Очевидно, что в классе последовательных критериев с заданными величинами вероятностей ошибок первого и второго родов наилучшим следует считать тот критерий, который в среднем требует наименьшего числа шагов до остановки. Оказывается, в некоторых случаях такие критерии существуют и могут быть получены в явном виде как последовательные критерии отношения вероятностей.

Рассмотрим основные положения последовательного анализа на примере следующей простой задачи различения двух простых гипотез. Поскольку количество случайных величин в наблюдении не ограничено, то следует считать, что задана последовательность случайных величин для которой определена последовательность функций распределенияпервыхслучайных величин:

,

.

Будем считать, что каждая из функций удовлетворяет условиям (C1) и (C2) (указанным в параграфе 2).

Основная гипотеза заключается в том, что, а альтернативная гипотезазаключается в том, что.

Каждый последовательный критерий на-ом шаге располагает наблюдением, образованным первымислучайными величинами последовательности (принаблюдения нет), на основе которого принимает в точности одно из следующих решений:

1. остановиться и принять ;

2. продолжить и перейти к наблюдению ;

3. остановиться и принять .

Пусть множество есть множество всех возможных реализацийпоследовательности:

.

Для каждого определим множестваи: пусть– множество таких последовательностей, для которых критерийвыбрал остановку на шагеи принял гипотезу, а множество– множество таких последовательностей, для которых критерийвыбрал остановку на шагеи принял гипотезу.

Вполне очевидно, что при фиксированном :

,

поскольку критерий не может одновременно принять и и. Кроме того для любыхи,:

,

,

поскольку критерий не может для одной и той же последовательности одновременно остановится на шагеи на шаге, если остановка произошла на шаге, то шагавовсе не будет.

Каждому последовательному критерию соответствуют конечные или счетные совокупности множестви, и наоборот, задание двух совокупностейиоднозначно определяет некоторый последовательный критерий, поэтому в дальнейшем будем использовать обозначение.

В соответствии с определением множеств и, множествоесть множество последовательностей, при которых критерийостанавливается и принимает гипотезу, множествоесть множество последовательностей, при которых критерийостанавливается и принимает гипотезу. Очевидно, что, но не обязательно.

В случае, когда для всякой последовательностикритерийникогда не останавливается (на каждом шаге критерийпринимает решение продолжить и получить следующее наблюдение). К сожалению, такие критерии тоже попадают в класс последовательных критериев, поэтому при формулировке последовательного критерия следует отдельно рассматривать вопрос об остановке критерия за конечное число шагов.

Согласно определению вероятность ошибки первого рода критерия – это вероятность принять гипотезу в случае, когда верна гипотеза. Последовательный критерий принимает гипотезу, когда, а если верна гипотеза, то, поэтому вероятность ошибки первого рода критерия:

,.

где вероятность вычисляется при значении .

Вероятность ошибки второго рода – это вероятность принять гипотезу в случае, когда верна гипотеза. Последовательный критерий принимает гипотезу, когда, а если верна гипотеза, то, поэтому вероятность ошибки второго рода критерия:

,.

Определение 8.12.

Критерий являетсякритериемсилы, если:

,

.

Кроме вероятностей ошибок первого и второго родов, каждый последовательный критерий характеризуется случайной величиной количества шагов до остановки,. Если для элементарного событиянаблюдение, то это означает, что критерийостановился на шаге с номером, то есть количество шагов. Отсюда следует определение для случайной величины:

, если.

Поскольку для каждого последовательного критерия количество шагов до остановкиявляется величиной случайной, то дляопределена функция распределения, зависящая от параметра, и в некоторых случаях определено математическое ожидание:

.

Заметим, что при различных значениях параметра математические ожиданияимогут оказаться различными.

Пусть () и() заданные величины вероятностей ошибок первого и второго родов соответственно, рассмотрим класс последовательных критериев силы, с конечными средними количествами шагов до остановки:

.

В классе «наилучшим» критерием является критерий с наименьшими возможными значениямии. Можно показать, что существует критерий, который одновременно минимизирует оба математических ожидания, то есть для любого критерия:

,

,

и таким образом критерий является «наилучшим» в классе. Кроме того, можно показать, что наилучший критерийявляется последовательным критерием отношения вероятностей.

Определение 8.13.

Последовательный критерий являетсяпоследовательным критерием отношения вероятностей(ПКОВ), еслии при всяком:

1. ,

2. ,

где – функция плотности вероятности функции распределенияиз условия (C1).

Из определения ПКОВ следует:

1. ПКОВ останавливается на шаге и принимает гипотезу, если отношение правдоподобия, и ПКОВ не остановился ранее, то есть для всех():.

2. ПКОВ останавливается на шаге и принимает гипотезу, если отношение правдоподобия, и ПКОВ не остановился ранее, то есть для всех():.

3. ПКОВ не останавливается и получает следующее наблюдение, если отношение .

Рассмотрим первые два шага ПКОВ: на первом шаге () ПКОВ анализирует первое число из последовательности, сравнивает величинус заданными значениямии:

1. если , то ПКОВ останавливается и принимает гипотезу;

2. если , то ПКОВ останавливается и принимает гипотезу;

3. если , то ПКОВ не останавливается, получает следующее наблюдениеи переходит ко второму шагу.

На втором шаге () ПКОВ анализирует первые два числа из последовательности, сравнивает величинус заданными значениямии:

1. если , то ПКОВ останавливается и принимает гипотезу;

2. если , то ПКОВ останавливается и принимает гипотезу;

3. если , то ПКОВ продолжается, получает следующее наблюдениеи переходит к третьему шагу.

Таким образом, ПКОВ на каждом шаге вычисляет отношение правдоподобия и как только вычисленное значение окажется меньше или равноили больше или равно, то ПКОВ сразу же останавливается и принимает соответствующую гипотезу.

Рисунок 8.1. Реализация отношения правдоподобия.

Примечательно, что минимальность математических ожиданий иобеспечивается способом построения ПКОВ, основанным на сравнении именно отношения правдоподобия с двумя пороговыми значениямии, в то время как выбор постоянныхиполностью определяет вероятности ошибок первогои второгородов критерия. К сожалению, в большинстве случаев крайне сложно установить точные выражения, связывающие величиныиПКОВ с вероятностями ошибоки. Тем не менее, для некоторых ПКОВ удается установить оценки снизу и сверху для постоянныхи, в которых фигурируют вероятности ошибоки.

Утверждение 8.14.

Пусть для последовательности случайных величин функции распределенияпервыхвеличин последовательности удовлетворяют условиям (C1) и (C2). Пусть ПКОВс вероятностью 1 останавливается за конечное число шагов, тогда:

,.

Доказательство:

1) Пусть ПКОВ , тогда множествоесть множество тех последовательностей, при которых ПКОВостанавливается за конечное число шагов. Действительно, если для заданной последовательностиПКОВостанавливается на некотором конечном шаге, тои тогда.

Множество есть множество тех последовательностейдля которых ПКОВникогда не останавливается. Легко видеть, чтои множества, тогда:

.

По условию утверждения ПКОВ останавливается за конечное число шагов с вероятностью 1, это по определению означает, что, тогда:

.

Легко видеть, что , поэтому:

.

Поскольку множества ипопарно не пересекаются, то, и следовательно:

,

(8.6а)

Поскольку множества попарно не пересекаются, то в силу счетно-аддитивности меры:

(8.6б)

Множества также попарно не пересекаются, поэтому в силу счетно-аддитивности меры:

(8.6в)

Из (8.6а), (8.6б) и (8.6в) следует, что:

(8.7)

2) Заметим, что вероятности ошибок первого и второго родов критерия из (8.6в) и (8.6б):

, .

(8.8)

3) Согласно (8.8):

,

причем из условия (C1) следует, что:

.

Для всех :

,

тогда,

,

откуда с учетом (8.7) и (8.8):

,

,

.

5) Аналогично, согласно (8.8):

,

причем, из условия (C1) следует, что:

.

Для всех :

,

,

тогда,

.

Откуда в силу (8.7) и (8.8):

.

,

.

Утверждение доказано.

Предположим, требуется построить ПКОВ заданной силы (определение8.12), где. Величиныиопределяют постоянныеиПКОВ, однако выражения для них неизвестны, и построить ПКОВс вероятностями ошибок точно равнымиине представляется возможным. Тем не менее, из утверждения 8.14 известны оценки дляи, воспользовавшись которыми можно построить ПКОВ. Конечно вероятности ошибок икритерияв общем случае не совпадают с заданнымии, тем не менее, можно надеется, что эти величины будут различаться несущественно.

Утверждение 8.15.

Пусть для последовательности случайных величин функции распределенияпервыхвеличин последовательности удовлетворяют условиям (C1) и (C2). Пусть заданы числаи,и, и известно, что ПКОВс вероятностью 1 останавливается за конечное число шагов,и, тогда:

,

,

.

Доказательство:

В условиях утверждения справедливо утверждение 8.14, согласно которому для ПКОВ , си:

	(8.9а)
	(8.9б)

Из (8.9а) следует:

.

Из (8.9б) следует:

,

.

Из (8.9а) и (8.9б) следует:

,

.

Складывая неравенства, получим:

,

,

.

Утверждение доказано.

Заметим, что величины и, как правило, очень малы, поэтомуи, следовательно:

,

,

поэтому даже если вероятности ошибок ПКОВ превышают заданные значенияи, то не на много. Уменьшенные вероятностей ошибок ПКОВпо сравнению с заданнымиисовершенно точно не уменьшают средние количества шагов до остановки, то есть у ПКОВматематические ожидания количества шагов до остановкискорее всего окажутся больше аналогичных математических ожиданийПКОВс вероятностями ошибок точно равныхи. Причем разница математических ожиданий, по-видимому, будет тем больше, чем больше различаются вероятностии, и вероятностии.

Построение ПКОВ основано на утверждениях 8.14 и 8.15 справедливых для тех ПКОВ, которые с вероятностью 1 останавливаются за конечное число шагов. В общем случае, задача подсчета вероятности остановки произвольного ПКОВ за конечное число шагов может оказаться весьма сложной, поэтому перейдем к рассмотрению более простой задачи, введя дополнительное условие (C3):

(C3) Пусть при всехи:

.

Другими словами условие (C3) означает, что в последовательности случайных величинвсе величины имеют одинаковую плотность вероятностии любая конечная совокупность величин является совместно независимой.

В условиях (С1), (С2) и (С3) отношение правдоподобия на шаге принимает вид:

,

тогда условие продолжения на шаге ПКОВимеет вид:

.

Поскольку все величины в неравенстве положительные, то вычисляя логарифм от всех частей, получим неравенство:

.

Утверждение 8.16.

Пусть для последовательности случайных величин функции распределенияпервыхвеличин последовательности удовлетворяют условиям (C1), (C2) и (C3), причем дисперсии, где– случайная величина с плотностью вероятности().

Тогда для любых конечных иПКОВс вероятностью 1 останавливается за конечное число шагов.

Без доказательства.

Следствие

В условиях утверждения 8.16 можно показать, что все моменты случайной величины количества шагов до остановки конечны.

Среди всех последовательных критериев заданной силы ПКОВсилыимеет наименьшие возможные значения математических ожиданий(). Вычисление величинв общем случае представляет сложную задачу, тем не менее, в некоторых случаях может быть получено простое приближенное выражение.

Утверждение 8.17. (тождество Вальда)

Пусть в последовательности случайных величин все случайные величины имеют одинаковое распределение и конечное математическое ожидание, случайная величинапринимает значения из множества натуральных чисел, имеет конечное математическое ожидание, и при любом натуральномсобытиезависит только от случайных величин, ..,. Тогда случайная величина:

имеет математическое ожидание :

.

Если дополнительно для всех , тогда:

.

Без доказательства.

В момент остановки критерия шагравен случайной величине, поэтому случайная величина:

(8.10)

является значением отношения правдоподобия в момент остановки критерия . Если существует, тогда к последовательности случайных величини случайной величинеприменимо утверждение 8.17 (тождество Вальда), откуда следует, что:

(8.11)

где является случайной величиной с плотностью вероятности.

Поскольку величины икак правило малы, то диапазон между пороговыми значениямииоказывается очень широким, если при этом отдельные слагаемыев сумме оказываются с большой вероятностью небольшими величинами, то в момент выхода суммыиз интервала, образованного пороговыми значениями, значение суммы (8.10) незначительно отличается от самого порогового значения. В частности если математические ожидания и дисперсии случайной величины(гдеимеет плотность вероятностилибо) оказываются малыми величинами, то в момент остановки отношение правдоподобия примерно совпадает с пороговыми значениями:

, если принимается,

, если принимается.

Пусть – множество последовательностей, для которых критерийостанавливается и принимает гипотезу, а множество– множество последовательностей, для которых критерийостанавливается и принимает гипотезу.

Если верна гипотеза , то есть, тогда:

,

,

где есть вероятность ошибки первого рода критерия, которая приближенно равна, тогда:

(8.12а)

Приравнивая правые части (8.11) и (8.12а) получим:

,

,

где – случайная величина, имеющая плотность вероятности.

Аналогично, если верна гипотеза , то, тогда:

,

,

где есть вероятность ошибки второго рода критерия, которая приближенно равна, тогда:

(8.12б)

Приравнивая правые части (8.11) и (8.12б) получим:

,

,

где – случайная величина, имеющая плотность вероятности.

133