8.2. Выравнивание статистических рядов.

Выравнивание статистических рядов - это определение плотности вероятности генеральной совокупности по статистическим (т. е. выборочным) данным. Эту задачу обычно ставят и решают, когда доступен значительный объем выборки (n порядка сотен или тысяч), поэтому применяют группировку. В этом случае задача ставится так: по данной гистограмме оценить плотность вероятности генеральной совокупности. Как и всякое оценивание по случайной выборке, эта задача не имеет однозначного решения, т. к., во-первых, гистограмма в той же мере случайна, что и выборка, во-вторых, по данной гистограмме могут быть получены разные по форме и параметрам теоретические кривые.

Обычно из физических соображений, а также по виду гистограмм выбирают общий функциональный вид плотности, т. е. задают плотность с точностью до неизвестных параметров. Как показано ниже, существуют методы проверки, соответствует ли выбранная форма плотности выборочным данным. Теперь задача сводится к оценке параметров. Пусть, например, из физических соображений и по виду гистограммы мы сочли подходящим нормальное распределение. Это значит, что искомая плотность имеет вид

,

(8.2.1)

и задача сводится к проверке непротиворечивости этой формы имеющейся выборке (см. ниже), а в случае успеха этой проверки - к оценке параметров и. И эта задача, подробное рассмотрение которой - предмет теории оценивания (см. ниже), не может быть решена точно и однозначно. Пусть, тем не менее, найдены оценкипараметров, соответственно. Тогда, подставляя в (8.2.1) оценки вместо истинных параметров, окончательно получаем

,

где -оцененная плотность.

Рассмотрим другой пример. Пусть из физических соображений и по виду гистограммы мы сочли подходящим равномерное распределение. Это значит, что искомая плотность имеет вид

.

(8.2.2)

Проверив непротиворечивость этой формы, находим оценки параметров, и подставляя эти оценки в (8.2.2), окончательно получаем

.

Как видим, действительно, задача выравнивания статистических рядов лежит на стыке двух направлений: подбор кривой и оценка параметров - задачи оценивания, проверка непротиворечивости - задача испытания статистических гипотез.

8.3. Критерии согласия.

Существуют две возможности подбора теоретической кривой по данной гистограмме. Одна возможность - провести кривую через вершины прямоугольников гистограммы, вторая - провести гладкую кривую, не только не проходящую через все вершины, но, возможно, не проходящую ни через одну вершину. В первом случае кривая будет иметь сложную форму, не отражающую реальных особенностей распределения генеральной совокупности, поскольку вершины гистограммы принципиально занимают случайное положение. Во втором случае форма подбираемой кривой неоднозначна, хотя, возможно, в большей мере соответствует представлению об особенностях изучаемого приложения и общему виду гистограммы. Обычно используют вторую возможность. В этом случае всегда имеются расхождения между точками кривой и вершинами прямоугольников гистограммы. Возникает вопрос: чем объясняются эти расхождения в данном конкретном случае - случайным характером гистограммы или несоответствием подобранной кривой особенностям экспериментально изучаемого явления. На этот вопрос возможны два разных ответа (две гипотезы). Гипотеза Н₀: «расхождение обусловлено только случайностью гистограммы», гипотеза Н₁: «расхождение обусловлено и случайностью, и несоответствием физической реальности». Выбрать один из этих ответов некоторым разумным образом, значит испытать гипотезу Н₀ против гипотезы Н₁ (иногда Н₀ называют «нулевой» гипотезой, Н₁ - альтернативной гипотезой, или просто альтернативой).

Но что значит «разумным образом»? Прежде всего, подчеркнем, что не существует идеального рецепта ответа на поставленный вопрос, т. е. способа точного выбора правильного ответа. Наоборот, при любом выборе ответа возможны два вида ошибок: можно выбрать гипотезу Н₁ в ситуации, когда на самом деле верна Н₀, и можно выбрать Н₀ в ситуации, когда на самом деле верна Н₁. Поэтому не ставится задача идеального выбора ответа, а лишь «разумного» выбора. «Разумный» выбор предполагает соблюдение двух принципов:

а) алгоритм выбора (решающее правило) должен как-то использовать выборочные значения, или, если проведена группировка, статистический ряд (см. п. 6.4), более конкретно - частоты разрядов; действительно, наши физические представления о форме кривой уже использованы на предыдущем этапе подбора кривой, с другой стороны, принятие той или иной гипотезы без использования выборочных данных означает угадывание и т. п. иррациональные процедуры, и не является научным методом;

б) при данных выборочных значениях, или, если проведена группировка, при данных частотах разрядов, из возможных решающих правил принимается то, которое максимально соответствует некоторому заранее выбранному критерию оптимальности; в этом случае говорят, что принято оптимальное решающее правило, а сам процесс выбора гипотезы называют оптимальным испытанием гипотез.

В рассматриваемой конкретной задаче сглаживания статистических рядов мы имеем дело с частным случаем оптимального испытания гипотез: испытанием гипотезы Н₀ о соответствии подобранной кривой распределения статистическому материалу (о непротиворечивости кривой) против гипотезы Н₁ о том, что разногласия между гистограммой и подобранной кривой нельзя объяснить только случайными причинами. В этой задаче критерий оптимальности называется критерием согласия. Заметим, что уже в излагаемой частной задаче проявляются все характерные черты общей задачи оптимального испытания гипотез, которая будет рассмотрена в п. 9.

Как уже указывалось в п. 8.1, не существует единственно возможного критерия оптимальности, в каждом виде испытания гипотез можно предложить разные критерии оптимальности, в том или ином смысле один лучше другого. Это положение относится и к критерию согласия, поэтому реально используют различные критерии. Любой критерий согласия строится следующим образом.

1) Выбирается количественная мера расхождения теоретической кривой со статистическим материалом, т. е. с выборкой или гистограммой. В соответствии с этой мерой величина расхождения есть число, называемое величиной критерия. Поскольку она получена с использованием случайных по своей природе выборочных значений или частот разрядов, величина критерия есть случайная величина. В частности, если взять другую выборку того же объема и принять ту же форму теоретической кривой, величина критерия будет, вообще говоря, другой.

2) В предположении, что на самом деле справедлива гипотеза Н₀, т. е. что на самом деле расхождение обусловлено только случайными причинами, рассчитывается вероятность того, что величина критерия примет значение большее или равное рассчитанного для данной выборки и данной теоретической кривой. Для того, чтобы рассчитать эту вероятность, должно быть известно распределение величины критерия как случайной величины и зависимость этого распределения от параметров задачи: объема выборки, числа интервалов гистограммы, статистических моментов выборки и т. п. Поэтому далеко не всякая разумная мера расхождения позволяет построить полезный и удобный критерий согласия.

3) Указанная вероятность сравнивается с заранее выбранной малой величиной, например, 0.1, 0.05, и т. п., называемой критической вероятностью. Если рассчитанная вероятность меньше критической, то это может означать, что по чисто случайным причинам полученная величина расхождения маловероятна, и у нас есть основание отвергнуть гипотезу Н₀, т. е. принять гипотезу Н₁ о несогласованности подобранной кривой с имеющимся статистическим материалом. Если же рассчитанная вероятность не меньше критической, у нас нет оснований отвергнуть Н₀ и мы продолжаем считать, что расхождение обусловлено чисто случайными причинами.

4) Т. о. при любом виде критерия согласия решающее правило таково: «если рассчитанная вероятность не меньше критической - оставить (принять) Н₀; если меньше критической - отвергнуть Н₀ и подбирать другую теоретическую кривую».

Еще раз подчеркнем, что не существует способа точно узнать, какая гипотеза имеет место на самом деле; любое решение может на самом деле быть ошибочным. Обратим также внимание на то, что не только вид критерия согласия (т. е. мера расхождения) произволен, но и величина критической вероятности достаточно произвольна.

Далее рассмотрим два наиболее употребительных критерия согласия.