книги из ГПНТБ / Гром, В. П. Экспресс-анализ данных сдаточных испытаний судов с помощью бортовой ЭЦВМ

мерной, зависимости величин вероятностей ошибок первого И ВТО­ РОГО! рода от выбора Sκp могут быть представлены графически.

Такие кривые изображены на рис. 1—4.

Статистические критерии характеризуются понятиями состоя­

тельности и несмещенности. Состоятельность критерия означает, что при объеме наблюдений N → ∞ можно указать такую критическую

область, что вероятности ошибок первого и второго рода будут

равны нулю. Требование несмещенности заключается в том, что при проверке гипотезы G0 против альтернативной гипотезы Gi, вклю­

чающей в себя множество (может быть, бесконечное) распределе­

ний, вероятность принятия ни одного из них не должна быть

больше, нежели распределений, входящих в G0.

Рис. 1. Вид функций плотностей вероят­

Таким образом, задача разработки статистического критерия

для проверки гипотез о распределениях заключается в выборе такой

статистики S (я), которая обеспечивала бы наилучшее разделение

распределений, входящих в G0 и Gi. Однако практическое решение

этой задачи в каждом случае очень затруднительно.

Если гипотеза G0 определена как класс каких-то распределений,

а к Gi отнесены все распределения, не вошедшие в G0, стремятся отыскать такую статистику S(я), распределение которой могло бы быть определено и оставалось бы неизменным для любого распре­ деления случайной величины, входящего в G0, и в критическую

область S(я) >Sκp включают те значения S(я), которые наименее

вероятны именно при этом распределении статистики S(я). При использовании этих критериев никакие конкретные конкурирующие

гипотезы из Gi не рассматриваются. Объясняется это не только

невозможностью перебора всех гипотез из Gi, в результате чего

исследование было бы неполным, но и тем, что распределение ста­ тистики S (я) для распределений, не входящих в G0, неизвестно, и

потому проведение такого исследования просто невозможно.

Именно таким является наиболее широко используемый критерий

Пирсона χ2. Распределение статистики

20

также отличается от распределения χ2. Поэтому при проверке гипотез о распределениях по критерию χ2 имеет место погрешность

случайной величины, так и из-за конечного объема наблюдений.

В основу предлагаемого программно-логического метода про­

верки статистических гипотез о законах распределения наблюдае­

мых дискретных случайных величин положен принцип статистиче­

ского моделирования на ЭЦВМ некоторых вероятностных моделей,

связанных с мерами теории информации. В работе [8] теория

информации рассматривается как ветвь теории вероятностей и ма­

тематической статистики. Непосредственно книга посвящена

вопросу применения логарифмических мер информации к проверке

статистических гипотез в плане унификации методов статистики.

Вводится определение собственно информации с этой точки зрения,

а также информационных мер, характеризующих различимость статистических гипотез, рассматривается интерпретация в понятиях

теории информации целого ряда вопросов математической стати­

стики, выдвигается идея создания некоторых информационных кри­

териев для проверки статистических гипотез, однако все эти во­

просы разработаны в теоретическом плане.

При создании методики принята легко реализуемая на ЭЦВМ

программно-логическая модель (рис. 5) метода максимального

правдоподобия для случая дискретной случайной величины и пока­ зана связь ее с мерами информации. В результате проведенных

исследований удалось разработать:

—некоторые асимптотические свойства информационного кри­

терия максимального правдоподобия, названного в работе Q-крите-

рием, позволяющим определять вероятности ошибок первого и вто­ рого рода;

—методику и машинные алгоритмы реализации Q-критерия,

учитывающие фактический точный объем выборки;

—машинные программы реализации программно-логического

метода;

—проверки гипотез;

—методику построения областей значений параметрических

законов распределения по заданным ошибкам первого и второго рода и априорного оценивания необходимых объемов выборок.

22

Вероятность произвольного, исхода выборки объема N из гене­

ральной совокупности дискретной случайной величины х, прини­

мающей значения X0,Г Xi, • ■ ∙, x>∙ с вероятностями P0, Pi, ..., Pr соот-

ветственно, так что ɪ Pl=^ , равна

і=0

(14)

r

где ɪ Ni = N.

Z = (I

Полиномиальное распределение (14) может быть представлено произведением частного биномиального и условного полиномиаль­

ного распределений

где

V∕7=ι. (20)

ZI1X

Вдальнейшем все выкладки производятся для условного поли­ номиального распределения (16). Его совпадение с полным распре­

делением (14) рассматривается как частный случай. *Индекс везде-

опускается.

Запишем логарифм вероятности, определяемый соотноше­

нием (16),

24

Введем обозначения

совокупности дискретной случайной величины, имеющей гипотети­

ческое распределение s.

можно получить предельные значения для величины Ql(Z) при объеме выборки, стремящемся к бесконечности. При этом удобнее

в выражениях (21) — (23) принять натуральное основание логариф­

При n→ ∞ можно считать щ—пРі, так что

Аналогично можно найти предел для Q2 (/ : s)

средняя информация от наблюдения распределения j для различия

в пользу гипотезы j против гипотезы s:

∑plj^U : s). (31)

Í(≤ JJ-

Вработе [8] доказана выпуклость функции /(/ : s) как для не­

прерывных распределений, так и для дискретных, т. е.

26

Величина Q(/:s) может служить статистическим критерием.

Его состоятельность, очевидно, следует из соотношений (32), (33).

Распределение Q-критерия для каждой пары распределений / и s

и заданного объема выборки п должно быть определено достаточно

точно. Только в этом случае можно будет количественно совер­

шенно точно охарактеризовать различимость любых выборок и ста­

тистических гипотез при любом заданном объеме выборки п,

а также решить обратную задачу — определения (именно точного

определения, а не оценивания) объема выборки, необходимого для

различения тех или иных распределений и гипотез с заданной дове­

рительной вероятностью.

Построение распределений Q-критерия для конечных объемов

выборок ЛЦ/г) может быть осуществлено путем статистического

моделирования на ЭЦВМ. Для выполнения этого следует по резуль­ татам /И-кратного моделирования выборок объема N построить эмпирическую функцию распределения критерия fN[Q(j : s)], кото­

рая будет тем ближе к истинной функции распределения критерия при данном объеме выборки N, чем больше величина Μ.

Несколько непривычным может показаться то, что сам крите­

рий, характеризующий степень доверительной вероятности, оказы­ вается протабулированным с некоторой доверительной вероят­ ностью. Однако это в действительности имеет место применительно

ко всем известным критериям. Например, распределение χ2 пред­

ставляет собой распределение суммы квадратов нормально распре­

деленных случайных величин. В случае же применения критерия χ2

для проверки статистических гипотез о законах распределения

наблюдаемых случайных величин, фактически вычисляется сумма

квадратов, имеющих распределение не нормальное, а близкое к би­ номиальному (с учетом корреляции). Степень его близости к нор­ мальному определяется количеством наблюдений на интервале

группирования. Поэтому в каждом случае (каждого нового соче­ тания) случайной выборки и статистической гипотезы критерий,

называемый χ2, будет иметь свое собственное, отличное от других случаев распределение.

Пользуясь таблицами критерия χ2, следует отдавать себе отчет в том, что с фактическим распределением критерия совпадает лишь несколько первых знаков. В случае Q-критерия эта ошибка табули­

рования, во-первых, принципиально может быть сделана сколько

угодно малой за счет затрат машинного времени при табулирова­ нии, что в случае критерия χ2 в принципе невозможно, а во-вторых,

может быть легко оценена и учтена в ходе проверки статистических

гипотез о законах распределения.

Для реализации этого подхода необходима разработка машин­ ных программ, которые при высоком быстродействии обеспечили бы достаточную точность вычисления величин Q(j:s, N), являющихся малыми разностями больших величин, и построение их эмпириче­

ских распределений. Это достигается путем ввода значений лога­ рифмов факториалов в память ЭЦВМ в табличной форме.

27

стоянная. Ограничение накладывается только на максимумы вели­ чин Ni(ιti). Ошибки оценивания вероятностей ошибок первого и

второго рода (рис. 6) могут быть оценены как ошибки оценивания параметра биномиального распределения — непосредственно или

с использованием аппроксимации-нормальным законом.

Рис. 6. Вид доверительных областей значений параметров для однопа­ раметрического (ɑ) и двухпараметрического (б) законов распределений.

Система машинных программ, включающая в себя программы расчета и статистического моделирования типовых законов распре­

деления с произвольно задаваемыми параметрами, позволяет про­

верить любую последовательность статистических гипотез. Расши­ рение управляющей программы системы позволяет априорно оцени­

вать различимость гипотез, необходимые объемы выборок и строить

опорные таблицы различимости.

§ 4. Анализ и расчет представительности статистических данных

Точность и достоверность результатов статистической оценки

непосредственно наблюдаемой случайной величины определяются

абсолютным объемом выборки, по которой производится оценка.

Применительно к программно-логическому методу это, например,

означает, что с ростом объема выборки стягиваются доверительные

области значений параметров для фиксированных уровней довери­

тельной вероятности и все больше типов гипотез оказывается воз­ можным обоснованно исключить из рассмотрения.

Однако на практике точность и достоверность статистического анализа столь однозначно абсолютным объемом выборки не опре­

деляются вследствие того, что экспериментальные данные часто бывают получены в результате наблюдения лишь некоторой части

эксплуатируемых или подлежащих проверке технических устройств.

28

И вопрос о том, в какой мере результаты наблюдения части сово­

купности могут быть распространены на всю совокупность, требует отдельного рассмотрения.

Предположим, что на 10 машинах зафиксировано 25 отказов и определены типы и значения параметров распределений времени наработки на отказ. Но в одном случае вся совокупность эксплуати­

руемых машин составляет 20, в другом— 1000 единиц. Без прове­

дения каких-либо расчетов представляется достаточно очевидным,

что о 10 оставшихся не обследованными машинах в первом случае

в том, что в современной постановке задачи статистического кон­ троля производства принимаются во внимание только показатели

среднестатистические, по большому количеству проверяемых пар­

тий продукции, тогда как в задаче анализа данных сдаточных испы­

таний каждый раз рассматривается одна-единственная совокуп­ ность изделий или машин данного типа, назначение и т. д.

Заключение по каждому проверенному изделию при выборочном статистическом контроле принимается исходя из того, удовлетво­ ряет или нет оно некоторому граничному условию. Выбор и обосно­ вание планов выборочного статистического контроля осуществля­

ются по их оперативным характеристикам. Оперативная характери­ стика плана выражает зависимость вероятности принятия партии

от степени ее засоренности дефектными изделиями.

Вид оперативной характеристики представлен на рис. 7. Для

каждого плана выборочного статистического контроля обычно ука­

зывают две ее нетривиальные точки: вероятность а браковки пар­

тии с малым содержанием дефектных изделий d↑ — риск постав­ щика и вероятность β принятия партии с недопустимо высоким

содержанием дефектных изделий d2— риск заказчика.

Такое описание является вполне достаточным для решения по­

ставщиком и заказчиком массовой продукции экономических вопро-

" сов, оно позволяет определить и многие количественные показатели

29