Статистические методы анализа и обработки наблюдений

Вместо вероятности р рассматривается обычно функция

L = \ n - ^ = ^ \ n f (*,), f=1

которая называется функцией правдоподобия. Используется при этом тот факт, что вероятность р и функция L имеют максимумы при одних и тех же значениях разыскиваемых параметров.

Максимум функции L можно искать по обычным прави­ лам математического анализа. Если разыскиваемые пара­ метры обозначить через а х>а2, ., ал, то для их отыскания применяются уравнения

J®L = 0 dec,

J L = 0

да, и’

ненциальное распределение. Для него функция правдо­

Дифференцируя по X и приравнивая к нулю, получим урав­ нение

= О,

откуда

п

Х = п

2 */ l= 1

Получаемые с помощью принципа максимума правдо­ подобия соотношения имеют, конечно, некоторые ошибки.

Чтобы эти ошибки оценить (найти доверительные интервалы и т. п.), нужно знать распределения исследуемых пара­ метров, что удастся далеко не всегда. Более грубо эти ошиб­ ки можно оценить по неравенству Чебышева, найдя вна­ чале дисперсии оцениваемых параметров. Для нахождения дисперсий используются ге же формулы, что и для вычис­ ления параметров; вычисляются эти дисперсии как диспер­ сии «косвенных измерений» (см. п. 4.4). Например, для найденного выше Я

7.4. Оценка вероятности случайного события. Общие методы статистических оценок можно использовать для ис­ следования вероятностей случайных событий. С необхо­ димостью такого исследования сталкиваются чаще всего при решении следующих задач.

1. Исследуется цифровой материал, связанный с собы­ тием, природа которого слабо изучена или вообще неиз­ вестна. В этом случае вероятность события является наи­ более доступной для изучения закономерностью, позволя­ ющей делать объективные выводы о рассматриваемом событии. В качестве примера приведем такое событие, как формирование пола у будущего ребенка. Природа этого события еще не известна, и единственная возможность его изучения состоит пока в обработке статистического мате­ риала, определении различных вероятностей (в п 1.2 приводилась, в частности, вероятность рождения мальчика, равная примерно 0,52).

*) Нетрудно видеть, что Я = — , где х — среднее выборки xlt

х

х2,..., хп. Поэтому от параметра Я в данном случае лучше перейти к па-

2

Sх

раметру х, дисперсия которого определяется очень легко и равна —_

(см. п. 4.4).

предсказать заранее на основании каких-либо абстрактных соображений (например, из соображений симметрии). В этом случае опытное вычисление вероятности позволило бы проверить исходные абстрактные предпосылки. Так, на­ блюдая частоту выпадения герба при бросании монеты, можно проверить гипотезу о ее симметричности. Другой пример дает теоретическая физика, где исходные гипотезы позволяют предсказывать вероятность той или иной формы распада элементарных частиц. Совпадение предсказанной вероятности с реально наблюдаемой явилось бы серьезным доводом в пользу исходной гипотезы.

3. Последняя задача связана с проверкой неизменности вероятности события в процессе испытаний. Можно вообще ставить задачу о сравнении двух или нескольких вероятно­ стей различных событий.

При наблюдениях, предназначенных для вычисления вероятности, отмечается только качественный признак — появление или непоявление исследуемого события. Коли­ чественные результаты появляются при подсчете числа появлений события. Это число является случайной вели­ чиной (п — число всех испытаний), имеющей биноми­ альное распределение (см. пп. 1.5, 2.2, 3.3). Напомним, что при биномиальном распределении случайная величина принимает лишь целые значения /г=0, 1, 2,..., п, причем

? { l t = k\ = Cknpk ( \ - p ) n- kt

где р — вероятность появления события А в единичном испытании.

Как было доказано в п. 3.3 (теорема Бернулли), вероят­ ность есть предел, к которому почти всегда (с вероятностью 1) стремится частота события А при п-^оо. Следовательно,

частота оз = может быть при достаточно большом п

принята в качестве оценки вероятности р.

Нетрудно видеть, что частота сама является случайной величиной и, следовательно, равенство содержит слу­ чайную ошибку. В связи с этим желательно уметь находить доверительные интервалы для неизвестной вероятности р. Соответствующим расчетам серьезно помогает то обсто­ ятельство, что при больших п и при р, не очень близком

Произведя 100 наблюдений, экспериментаторы получили 39 совпадений, т. е. частоту о)=0,39. При доверительной вероятности 0,95 это даст для неизвестной вероятности р оценку

0,39— 1,96 Y °- ,3-!о°о,С1 < Р < 0,39 + 1,96 Y °-,3ioo’--

или, после вычислений, 0 ,2 9 4 ^ 0 ,4 8 6 .

Мы видим, что у попадает в полученный интервал, зна­

чит, отклонение частоты от у вполне могло быть случайным

(на уровне значимости р0= 0,05).

Условия задачи позволяют применить односторонний критерий, однако это не меняет вывода. Только взяв уровень значимости р0= 0,15, мы получим односторонний интервал,

не содержащий у . Таким образом, наличие телепатии в ука­

занном эксперименте приходится считать весьма сомни­ тельным.

Изучавшаяся в § 6 нормально распределенная случайная величина имела среднее а и стандарт а, не зависящие друг от друга. Наоборот, среднее аш и стандарт ашзависят друг

этим и вызвана трудность получения точной доверительной оценки вероятности р. Формулы предыдущего пункта по­ зволяют перейти от о) к такой случайной величине ш, дис­ персия которой постоянна и не зависит от аш=р. Преобра­ зующая функция здесь равна

ib (х) = Г — - dx ■- = 2 У п arcsin V х .

) / * л = й

Это значит, что случайная величина

имеет дисперсию, равную 1. Распределение величины <ь по-прежнему будет нормальным, поэтому ее легко приме­ нять для проверки различных гипотез о вероятности р.

176 § 7 АНАЛИЗ РАСПРЕДЕЛЕНИЯ НАБЛЮДЕНИЙ

Используем величину <1>для сравнения меткости стрельбы двух стрелков. Оба стрелка сделали по 500 выстрелов; первый поразил цель 385 раз, второй —360. Здесь /г=500,

a>i—о2 должна иметь нормальное распределение с парамет­ рами а= 0, а = j/2 . Поэтому при уровне значимости ро=0,05 и одностороннем критерии критическим значением нулевой

использовать величину со. Пусть проведены k серий незави­ симых испытаний. Число испытаний в i-й серии обозначим через nh найденную из опыта частоту события А — через ш,-.

k

k

2 ®«

Х2 = £ (ш, —й)2 = ^ Щ—

имеет приближенно х2‘РаспРеДеление с /=&—1 степенями свободы *).

Для проверки гипотезы о равенстве всех вероятностей Pi= р2= ... = можно теперь использовать квантили х2'Рас_ пределения, приведенные в таблице IV Приложения. Если

*) Написанная сумма совпадает с обычным определением величи­ ны X2 (см. п. 6.2), так как здесь все дисперсии o j = 1.

X2>X i- р „> то гипотезу о равенстве вероятностей нужно

отклонить. Если же X2^ X I- P0*т0 для отклонения гипотезы оснований нет.

Описанный критерий применяют чаще всего для про­ верки того, что вероятность некоторого события А не изме­ нилась в процессе длительных исследований. Рассмотрим пример из метеорологических наблюдений. За 65 лет нашего столетия в городе N отмечалось 26 лет с майскими снегопа­ дами. За весь XIX век таких лет было 58, за весь XVIII век —62. Одновременно по летописям установлено, что в период 1390—1442 гг. (т. е. за 52 года) было 44 года со снегопадами в мае. Мы видим, что частота события «год с майским снегопадом» уменьшается со временем. Проверим на уровне значимости ро=0,05, не является ли это умень­ шение случайным.

гается.

Если вероятность р очень мала, а п велико, то дисперсия о2тпр=а, т. е. дисперсия и среднее практически совпадают. Если при этом пр<.9, то (п. 3.3) замена биномиального рас­ пределения нормальным приводит к большим погрешно­ стям. Как отмечалось в п. 3.3, в этом случае биномиальное распределение можно приближенно заменять распреде­ лением Пуассона:

Распределение Пуассона является дискретным, поэтому связанные с ним расчеты довольно трудоемки. Тем не менее, они проще, чем непосредственное использование формул

в распределении Пуассона участвует только один параметр а. Для оценки параметра а берется само число появлений события k= m о, при этом число всех испытаний п на оценку не влияет. Распределение k как случайной величины в случае распределения Пуассона оказывается тесно связан­ ным с ^-распределением. Это и позволяет получать довери­ тельные интервалы для параметра а. Приведем без доказа­

тельства соответствующие формулы.

При доверительной вероятности 1—р0 справедлива оценка

) < а < у Х ; - р./2(/2).

где степени свободы fi= 2k и /2=2(&+1). Значение квантилей величины х2 нужно брать, как обычно, из таблицы IV Приложения. Если число степеней свободы окажется рав­ ным нулю, то и соответствующая величина х2 тождественно равна нулю.

Подчеркнем еще раз, что в оценке параметра а число испытаний п не участвует — оно лишь подразумевается очень большим. Поэтому при нахождении закона распре­ деления это число можно вообще не знать. Если же цель исследования — определение вероятности р, то п потребу­

ется, ибо р = ~ . Для вероятности р получится доверитель­

ная оценка

Рассмотрим такой пример. При исследовании косми­ ческих лучей следы тяжелых мезонов были отмечены на трех снимках из 1000. Необходимо вычислить вероятность

окончательных вычислений, 0,0008 ^Ср^0,0078. Распределение Пуассона применимо к изучению редких

событий с числом появлений /г<9 (при достаточно большом п). Если /г^=9, то распределение Пуассона становится близ­

ким к нормальному. В связи с этим даже очень редкие со­ бытия можно изучать, не прибегая к распределению Пуас­ сона, если удалось зарегистрировать больше 9—10 появле­ ний события.

Различные гипотезы о вероятности р в случае распре­ деления Пуассона проверяются точно так же, как и при нормальном распределении, если вместо (7.2) перейти к ве­

личине (h=2]/~k, дисперсия которой, как нетрудно прове­ рить, также равна 1.

7.5. Использование оценок вероятности для анализа распределения. Пусть имеется выборка хх, х2, ..., хп из гене­ ральной совокупности с неизвестным распределением. Бу­ дем рассматривать в качестве случайного события А нали­ чие некоторого качества у элементов х,-. Высказывая ту или иную гипотезу о генеральном распределении, мы на основа­ нии этой гипотезы можем обычно предсказывать теорети­ чески вероятность р события А. Одновременно с этим можно, проверив наличие качества А у элементов заданной выборки, найти эмпирическую оценку этой вероятности (методами предыдущего пункта). Сравнивая эмпирическое и теорети­ ческое значения вероятности, мы получим подтверждение или опровержение высказанной ранее гипотезы.

Рассмотрим такой пример. В результате наблюдений была получена выборка из 16 элементов:

12 16 10 11 15 13 10 14 9 12 15 1489 12 11.

Высказывается гипотеза о том, что наблюдаемое распреде­ ление симметрично. Подтверждение этой гипотезы было бы очень полезным, так как позволило бы применять усиленное неравенство Чебышева (см. п. 7.2). Для проверки найдем

вначале среднее выборки л:= 11,85. Если справедлива ги­ потеза о симметричности, то вероятность значений х<.х

равна у1.

Заданную выборку можно рассматривать как последо­ вательность испытаний по проверке качества А, состоящего

в том, что элемент выборки меньше, чем х. Число всех испы­ таний здесь /г=16, число появлений качества А находится непосредственно по выборке и равно k=6. Отсюда частота

3

(D=-g-, и при доверительной вероятности 1—р0= 0,95 по­

лучается оценка | ~ 1,96 j / l ( 1—А ) 1 < р ^ 1 +

+ 1,96 "j/^A ^ 1— А^ А ИЛИ, после вычислений, 0,13<!

< р< 0,62 .

Мы видим, что значение р = А попадает в доверительный

интервал. Следовательно, наблюдаемая выборка не проти­ воречит гипотезе о симметричности генерального распре­ деления.

Сопоставление эмпирической и теоретической вероят­ ности может быть использовано и для сравнения двух гене­ ральных распределений по выборкам. Такое сравнение проводится с учетом всех элементов заданных выборок и иногда (правда, очень редко) оказывается более чувстви­ тельным, чем рассматривавшееся в п. 6.4 сравнение средних. Другим достоинством этого способа является его примени­ мость к любым видам распределений.

Сравним, например, две выборки из 15 элементов каждая:

а: 0,42 0,47 0,44 0,42 0,45 0,44 0,45 0,46 0,48 0,41 0,45 0,47 0,44 0,42 0,41

у: 0 ,40 0,42 0,43 0,44 0,39 0,41 0,44 0,43 0,45 0,42 0,43 0,46 0,42 0,40 0,42.

В качестве события А будем рассматривать тот факт, что элемент х больше соответствующего элемента у. Если обеим выборкам соответствует единое генеральное среднее, то со­

бытие А должно иметь вероятность А Сравнивая элементы

заданных выборок (первый с первым, второй со вторым и

Поэтому при доверительной вероятности 1—р0=0,95 спра­ ведлива оценка

0,8— 1,96 )/А А А ^ < Р < 0 , 8 + 1,93 J/A A A A

или, после вычислений, 0,6^р< 4,0 .