Статистические методы анализа и обработки наблюдений

162 §7. АНАЛИЗ Р АСПРЕДЕЛЕНИЯ НАБЛЮДЕНИЙ

Следовательно, критерий Колмогорова снова подтверждает наличие существенных расхождений между исследуемым и нормальным распределениями.

Перейдем теперь к критерию Пирсона. Для этого нужно

( t l j — n p i )2

вычислить значения ■ ■, которые и записаны в послед­

ней колонке таблицы 7.2. При этом первые три интервала объединены в один,так как^ = 0,2, пр2= \,9, т. е. даже в сумме эти числа меньше 5. По этой же причине объединены в один последние три интервала. Величина X2 равна сумме чисел последней колонки; число степеней свободы здесь

/ = 6—3=3. Поэтому по таблице IV Приложения Хо,95= 7,8 (в критерии Пирсона уже можно брать обычный 5%-ный уровень значимости). Так как найденное по выборке

Х 2 = 2 8 , 7 4 > Х о , 9 5 , т о и критерий Пирсона требует отклонить гипотезу нормальности.

7.2. Неравенство Чебышева и его использование. До­ пустим, что применив к результатам наблюдений описанные выше критерии, мы получили несогласие с нормальным рас­ пределением. В этом случае методы анализа, изложенные в § 6, применять нельзя. Однако статистическую обработку таких наблюдений можно проводить, если воспользоваться некоторыми другими общими теоремами теории вероятно­ стей.

Точность и надежность результатов статистической обра­ ботки при распределениях, отличных от нормального, за­ висит от того, насколько известен характер изучаемого рас­ пределения. Но и при совершенно неизвестном распределе­ нии генеральной совокупности удается получать неплохие оценки, по крайней мере для генерального среднего а.

В силу теоремы Гливенко (см. пп. 4.3, 4.4) в качестве оценки генерального среднего а всегда можно выбрать вы­

борочное среднее х. Точность такой оценки можно указать, зная генеральную дисперсию а2, вместо которой (опятьтаки в силу теоремы Гливенко) можно взять выборочную дисперсию s2. Доверительные интервалы для среднего при неизвестном распределении генеральной совокупности вы­ числяются на основании неравенства Чебышева, имеющего самый общий вероятностный характер.

164 §7. АНАЛИЗ РАСПРЕДЕЛЕНИЯ НАБЛЮДЕНИЙ

частных случаев. Значит,

— е ао

откуда и следует неравенство Чебышева:

наблюдение над величиной £. Полагая е=/га, получим, что Р{ | х —а | ^ ka\ <~£г

Мы видим, что знание генеральной дисперсии позволяет и в случае произвольного распределения находить довери­ тельные интервалы или проверять статистические гипотезы. При доверительной вероятности 1—р неравенство Чебы­ шева дает для генерального среднего а доверительную оценку

которая позволяет оценивать генеральное среднее по од­ ному наблюдению. Если вместо л:взять среднее х выборки

из п элементов, то о - о■= , откуда

V п

Полученные оценки аналогичны тем, которые были най­ дены в п. 6.1 для нормального распределения, только вместо

У Р

ухудшает оценки, чего и следовало ожидать при всеобщно­ сти этих оценок. Приведем, например, общую доверитель­ ную оценку, соответствующую вероятности 1— р = 0,95:

х—4,24о<1а<ЭН-4,24ст

(напомним, что в случае нормального распределения вместо 4,24 стояло 1,96).

до 5 (что соответствует доверительной вероятности 0,96). Считая отклонения с вероятностью р<С0,04 практически невозможными (значимыми), мы получаем следующее пра­ вило: каково бы ни было распределение генеральной совокуп­ ности с дисперсией о2, отклонение от генерального среднего больше, чем на 5о практически невозможно. Именно этим правилом и вызван коэффициент 5 в предыдущем пункте, когда мы оценивали выборочный эксцесс.

Если плотность f(x) изучаемого распределения симмет­ рично убывает по обе стороны от генерального среднего (так называемое симметричное одновершинное распределе­ ние), то неравенство Чебышева справедливо в усиленной форме:

P{\x — a \ ^ k o \ <

При доверительной вероятности 0,95 отсюда получается оценка

х —2,82а 2,82а,

а отклонения от генерального среднего, превышающие' За, считаются практически невозможными. Этим, в частности, объясняется появление коэффициента 3 при оценке выбо­ рочной асимметрии (п. 7.1), которая как раз имеет симмет­ ричное одновершинное распределение.

7.3. Подбор плотности теоретического распределения. Мы уже упоминали, что оценки, устанавливаемые на осно­ вании неравенства Чебышева, намного уступают аналогич­ ным оценкам, полученным для нормального распределения. Это не означает, однако, что нормальное распределение является каким-то исключительно хорошим распределе­ нием — здесь просто сказывается эффект большей информа­ ции. Действительно, при обработке нормального распреде­ ления мы полностью знаем плотность распределения изучае­ мой случайной величины. При использовании же неравен­ ства Чебышева о плотности распределения вообще нет ни­ каких сведений.

Если удается получить какую-либо информацию о плот­ ности изучаемого распределения или, тем более, известен

конкретный вид этой плотности, то появляются оценки, не уступающие нормальному распределению, а порой и пре­ восходящие его. При этом можно использовать общие ре­ зультаты п. 2.3, в силу которых доверительной оценке ге­ нерального среднего А ^ .а ^ .В соответствует доверительная

вероятность

в

1—р = ^ / (x)dx

А

(через f(x) обозначена плотность изучаемого распределения). Особенно просто получить оценку генерального сред­ него, зная квантили наблюдаемой случайной величины £. Как было показано в п. 5.2, доверительной вероятности

1—р всегда соответствует неравенство

Е р /2 ^SjE ^ Е 1—р/2 •

Для некоторых часто встречающихся на практике рас­ пределений составлены подробные таблицы квантилей; вспомним, например, t-, х2- и F-распределения; для других распределений построены специальные графики и т. п. Чтобы подобрать теоретическое распределение, соответст­ вующее тому, которое мы наблюдаем, можно воспользовать­ ся критериями согласия Пирсона или Колмогорова, так как они справедливы (в слегка измененном виде) для любого теоретического распределения.

Разумеется, никакие самые полные таблицы не могут охватить всех встречающихся на практике распределений. Возможна и другая ситуация: общие рассуждения подска­ зывают нам тип распределения, но остаются неизвестными его параметры. Во всех этих случаях окончательный вид распределения (его плотность) приходится устанавливать непосредственно по выборке, используя некоторые специ­ альные приемы.

т. е. такие распределения, которые становятся нормальны­ ми, если вместо наблюдений х рассматривать величину г=ф(х). Пересчитав все данные с помощью функции ф(х),

Преобразующую функцию ф(х) нетрудно найти в сле­ дующем, часто встречающемся на практике случае. Пусть отклонение экспериментального наблюдения от нормаль­ ного вызвано тем, что в процессе наблюдений изменяется генеральная дисперсия а2. Это бывает в тех случаях, когда в процессе наблюдений меняется методика испытаний или точность используемых приборов. Например, при длитель­ ной стрельбе из артиллерийского орудия начинает сильно накаляться ствол, что немедленно повышает рассеяние сна­ рядов. Производя наблюдения короткими порциями (вы­ борками), мы часто можем проследить изменение выбороч­ ного стандарта sx и даже установить его зависимость от наблюдений: sJf=cp(x). Конкретный вид функции ф(х) можно

Будем теперь подбирать преобразующую функцию ф(х) так, чтобы дисперсия величины z стала постоянной. Мы получим для ф(х) уравнение

Найденная преобразующая функция позволяет перейти к «косвенным измерениям» с постоянной дисперсией, т. е. рассматривать все наблюдения как выборку из единой ге­ неральной совокупности. Такое преобразование называется

стабилизацией дисперсии.

Рассмотрим следующий пример. При производстве ам­ миачной селитры применяется выпаривание для повышения концентрации раствора до нужной величины. В течение этого процесса производят анализ концентрации единым методом, повторяя анализ каждой пробы четыре раза. Было обнаружено, что дисперсия анализа (ошибка воспроизво­ димости) растет с увеличением концентрации:

концентрация х (в %): 20 30 40 50 60 70

стандарт анализа sx: 0,58 0,82 1,10 1,34 1,57 1,85

168 §7. АНАЛИЗ РАСПРЕДЕЛЕНИЯ НАБЛЮДЕНИЙ

Зависимость между стандартом и концентрацией выра­ жается примерной формулой

sx = 0,025A: + 0,085,

поэтому данные анализов нужно преобразовать по формуле

2 = С J 0,025*+.0,085 = 0,025 1п (°’025х + 0,085)

мы стабилизируем дисперсию, т. е. сможем считать, что после преобразования ошибки метода, применяемого при анализах концентрации селитры, подчиняются единому нормальному закону распределения.

Хорошо изученное и подробно затабулированное нор­ мальное распределение привлекает исследователей и во многих других случаях. Нередко рассматриваются раз­ личные видоизменения и модификации этого распределения. Например, изучая распределение с большой асимметрией А и средним а, рассматривают не саму случайную ошибку | —а, а ее модуль \1—а\, после чего распределение сравни­ вают с распределением модуля нормальной величины, име­ ющим плотность

В подавляющем большинстве случаев для эмпириче­ ского распределения можно получить хорошее аналитиче­ ское приближение, если использовать плотность стандарт­ ного нормального распределения ф (а:) и некоторые ее производные. Плотность f(x) и функция/7(х) искомого распре­ деления вычисляются по формулам

где А и Е — выборочные асимметрия и эксцесс изучаемого

х — а

и = -----.

о

Полученное распределение носит название распределения Шарлье. Для удобства пользования этим распределением в таблице XI Приложения прогабулированы функция ср(м) и ее производные до четвертого порядка включительно.

Найдем, например, пользуясь распределением Шарлье,

Рапределение Шарлье является приближенным, в силу чего оно слабо отражает специфику изучаемого распреде­ ления. В некоторых задачах приходится сталкиваться с распределениями, настолько отличными от нормального, что положение не спасти никакими модификациями. Многие из таких распределений в настоящее время неплохо изу­ чены, известны их определяющие свойства и признаки (см. п. 3.1). По этим признакам, однако, удается устанав­ ливать лишь тип распределения; параметры же распреде­ ления приходится оценивать по самой выборке (напомним, что такая же ситуация возникает при обработке нормально распределенной случайной величины, где параметры а и а нужно оценивать по выборке). Так, широко используемое

170§7. АНАЛИЗ РАСПРЕДЕЛЕНИЯ НАБЛЮДЕНИЙ

втеории массового обслуживания экспоненциальное рас­ пределение с плотностью

/(х) = Хе-и *

содержит параметр X; используемое в теории надежности

гамма-распределение с плотностью

/ M = c/n(m_ i)i е~х/с ( * > ° )

содержит два параметра т и с .

Для того чтобы пользоваться подобными распределени­ ями, необходимо знать формулы, которые позволяли бы по элементам выборки как можно точнее оценивать эти гене­ ральные параметры. Такие формулы можно выводить с по­ мощью общего приема, называемого принципом максимума правдоподобия и состоящего в следующем.

Предположим вначале, что плотность f(x) теоретиче­ ского распределения нам полностью известна, и пусть на опыте была получена выборка xlf х2, ., хп. Окружим каждую точку х{ окрестностью длины е. Мы получим не­ который набор интервалов. Вероятность попасть в первый

интервале границами х1—^ - , приближенно равна

/(хх)е. Точно так же вероятность попасть во второй интер­ вал равна f(x2)e, в третий — f(x3)e и т. д. Если произведе­ ны п наблюдений, то вероятность того, что одновременно первое наблюдение попадает в первый интервал, второе — во второй ит. д., есть вероятность совместного осуществле­ ния событий и в силу п. 1.3 равна произведению вероят­ ностей:

P = f (x 1) f ( x 2) . . ./(*„) в".

Если теперь известен только общий вид плотности f(x), а параметры распределения неизвестны, то эти параметры нужно выбирать такими, чтобы вероятность р была макси­ мальной. Действительно, событие с вероятностью р осу­ ществилось на самом деле — ведь у нас есть выборка xlt х2, где каждый элемент попадает в нужный интер­ вал. Естественно ожидать, что событию, осуществившемуся при первом же испытании, соответствует максимальная вероятность.