Проверка соответствия распределения выборки нормальному закону по критерию Крамера-Мизеса-Смирнова(nω2)

Импорт данных из файла Excel. Все данные в одном столбце.

v

_{tochnost:=0.0000001}

_{Параметр tochnost необходим для отсечения паразитных величин, неизбежно появляющихся при компьютерных расчетах из-за различия между математическим и машинным 0.}

Определение размера выборки, оценок мат. ожидания и среднего квадратического отклонения:

Ранжирование исходного ряда в убывающем порядке:

Выявление повторов

Выясняем число уникальных значений в выборке, т.к. значения могут повторяться.

Создание матрицы

В первом столбце формируемой матрицы записывается уникальное значение. Во втором столбце матрицы - количество повторений значения.

Расчет эмпирических значений обеспеченности

(В листинге представлены все три упомянутые способа, в рабочей области необходимо оставить один, применяемый в данном конкретном случае).

1. По формуле Хазена.

2. По формуле Крицкого-Менкеля.

3. По формуле Чегодаева

Расчет теоретических значений обеспеченности для нормального распределения:

Расчет критерия "nw²":

Задаем уровень значимости в процентах:

Определение значений верхних доверительных границ статистики "nw²" в зависимости от уровня значимости:

Критерий хи-квадрат (Пирсона)

Сначала разберёмся с терминологией и выясним, что же такое распределение хи-квадрат (²) и каковы его свойства. Если X_i – независимые случайные величины, подчиняющиеся нормальному распределению, у которых m_x = 0, а _x = 1, то случайная величина

_

² =  X² _i подчиняется распределению ² с  степенями свободы.

ⁱ⁼¹

Это распределение определяется одним параметром , который называется числом степеней свободы (его значение равно числу независимых случайных величин под знаком суммы). Плотность вероятности равна:

 [2^(/2) (/2)]^-1 e^-(x/2) x^(/2-1) при x>0

f(² ) = 

 0 при x0

(.) - гамма-функция, x – значение случайной величины ².

Гамма-функция (p) определяется для всех действительных p>0 соотношением:

_

(p) =  x^p-xe^-x dx

0

Она обладает свойством: (p+1)= p (p), (1)=1, (n+1)=n! Математическое ожидание и дисперсия распределения хи-квадрат равны: m_x = , D_x = 2. Медиана может быть определена приближенным равенством Me  -0.66. Мода при 2 равна Mo = -2. При увеличении числа степеней свободы распределение хи-квадрат медленно приближается к нормальному. Величина (n-1)[S²_x/²_x] имеет распределение хи-квадрат с (n-1) степенями свободы. S²_x и ²_x – соответственно выборочная (оценка по данной выборке) и теоретическая дисперсия.

Критерий хи-квадрат был предложен Карлом Пирсоном в начале 20-го века и является наиболее распространенным критерием согласия. Для его применения область значений исследуемой случайной величины разбивается на k интервалов. Число интервалов можно приблизительно определить в зависимости от длины выборки n по формуле: k5lg(n). При этом число значений в каждом интервале должно быть не меньше 5. В качестве меры расхождения между эмпирической P*(x) и теоретической P(x) вероятностями «попадания» случайной величины в данный интервал можно выбрать сумму квадратов разниц, взятых с некоторыми весами C_j:

_k

 C_j (P*_j - P_j)²

^j=1

Веса вводятся потому, что одно и тоже отклонение P_j может быть малозначительным, если высока сама вероятность P_j (x) и очень заметным, если вероятность P_j (x) мала. Поэтому естественно, что C_j берутся обратно пропорциональными P_j (x). Пирсон показал, что закон распределения величины

_k

n ( (P*_j - P_j)²/ P_j) ,

^j=1

в том случае, если нулевая гипотеза верна, обладает рядом интересных свойств: он практически не зависит от закона распределения величины x и длины выборки n, а зависит только от числа интервалов k.

Если при разбиении выборки на k равновеликих интервалов число значений в каком-то оказывается меньше 5, то переходим к неравновеликим интервалам. Поэтому весьма эффективен следующий алгоритм: 1) выбрать аналитический закон для аппроксимации закона распределения случайной величины (для обоснования дальнейшего применения критериев Стьюдента и Фишера это будет нормальный закон распределения); 2) по выборке определить параметры распределения (для нормального закона это оценки математического ожидания и среднего квадратического отклонения); 3) разбить ось обеспеченностей на k интервалов и определить границы соответствующих интервалов случайной величины x в соответствии с теоретическим законом распределения. Например, если k=5, то границы интервалов на оси обеспеченностей будут соответствовать значениям 0, 20, 40, 60, 80, 100%; а ось X разобьется на интервалы: x20x; x40x<x20; x60x<x40; x80x<x60; x<x80. При реализации данной схемы интервалы по оси X не будут равновеликими, но зато вероятность попадания значения СВ в любой интервал будет одинакова: p=1/k. Одинаковым будет и теоретическое число случаев попадания СВ в каждый интервал m=n/k. Таким образом, данная схема разбивки области допустимых значений (ОДЗ) СВ X на интервалы обеспечивает следующие теоретические соотношения: m₁ = m₂ =m₃ =…= m_k = m = n/k, p₁=p₂=p₃=…=p_k=p=m/n.

В качестве меры расхождения между эмпирическими данными и аналитической функцией распределения (в соответствии с теоретическим законом распределения, степень соответствия которому как раз необходимо выяснить) используется тестовая статистика

_k

² = n  ( (P*_i - P_i)²/ P_i) ,

ⁱ⁼¹

где P*_i и P_i - соответственно эмпирическая и теоретическая вероятности попадания значения СВ в i- ый интервал, n – длина выборки (число членов выборки), k – число интервалов. К. Пирсон показал, что закон распределения данной статистики не зависит от вида исходного распределения и при достаточно большом n хорошо аппроксимируется распределением хи-квадрат с числом степеней свободы  = k – r - 1, где r – число параметров исходного распределения, определяемых по эмпирическим данным. Для двухпараметрического нормального закона (мат. ожидание и дисперсия) r = 2. Замечание. Здесь мы сталкиваемся с некоторой терминологической путаницей: хотя статистика Пирсона называется хи-квадрат, ее выборочное распределение лишь приближенно совпадает с распределением ².

Учитывая, что m₁= m₂ =m₃ =…= m_k = m = n/k, p₁=p₂=p₃=…=p_k=p=m/n и P*_i = m*/ n, выражение тестовой статистики ² можно привести к более простому для расчетов виду:

1 _k

(² )* =  (m* _i )² - n,

m ⁱ⁼¹

где m* _i и m – эмпирическое и теоретическое число случаев попадания значения СВ x в i- ый интервал.

При использовании критерия Пирсона назначают односторонний уровень значимости (обычно 5% или 10%). Гипотеза о соответствии (согласии) эмпирической и аналитической кривых обеспеченностей не опровергается, если эмпирическое значение статистики Пирсона (² )* не превышает теоретическое значение ², соответствующее принятому уровню значимости: (² )* ²_1-.

Критерий Пирсона может применяться для выяснения вопроса о лучшем соответствии аналитических кривых распределения эмпирическому распределению. При этом меньшее значение статистики (² )* будет свидетельствовать о лучшем соответствии данной аналитической функции распределения эмпирическим данным. Использование критерия Пирсона для выборок небольшого объема может приводить к неправильным выводам. Это накладывает определенные ограничения на использование данного критерия. Принято считать, что критерий Пирсона допустимо применять при n50 и желательно, чтобы число интервалов было равно 8-12 и в каждом интервале было не менее 5 элементов. Из-за этого требования применение данного критерия для анализа экологической информации зачастую проблематично, т.к. зачастую имеется гораздо меньшее количество экспериментальных данных.

В.А. Романовский предложил простое правило, значительно облегчающее применение критерия Пирсона. Это правило основывается на том, что математическое ожидание статистики (² )* = , дисперсия = 2, и что вероятность значений ², отклоняющихся от M(²) меньше,

_

чем на 3 близка к 1. Отсюда, если (² )*- /2  3, то расхождение

можно считать существенным, гипотеза о соответствии эмпирического распределения предполагаемому теоретическому опровергается, в противном случае – не опровергается при уровне значимости 0.3%.