3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

Рис. 3.6. Критические области плотности распределения: а – правосторонняя, б – левосторонняя, в – двусторонняя

При использовании механизма статистических гипотез следует помнить, что даже в случае принятия нулевой гипотезы в 100α% вывод будет ошибочным в связи со всегда имеющейся вероятностью совершить ошибку первого рода. Причем если значение статистики не попадает в критическую область, то прежде, чем принять нулевую гипотезу, необходимо оценить вероятность ошибки второго рода, т.е. рассчитать мощности критерия. Если же его величина оказывается недостаточной для решения поставленной задачи, требуется увеличение объема опытных данных (однако поскольку при обработке эксперимента исследователи зачастую уже не имеют возможности увеличить объем выборки, то они обычно пропускают данный пункт).

3.4. Отсев грубых погрешностей

Часто даже тщательно поставленные эксперименты могут давать неод-

нородные данные, поскольку в процессе эксперимента могут измениться усло-

вия проведения опытов. Если экспериментатор по каким-либо причинам не уловил этих изменений, наблюдения, соответствующие разным уровням фак-

торов, будут принадлежать к разным генеральным совокупностям. Данные, соответствующие изменившимся условиям, называют грубыми погрешностями

(ошибками) или резко выделяющимися (аномальными) значениями. Грубые по-

грешности появляются также при неправильной записи показаний приборов.

74

3.ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

Влитературе приводятся сведения о том, что экспериментальные данные могут содержать ~ 10% аномальных значений. Однако эти 10% могут дать сильное смещение при оценке параметров распределения, особенно для дисперсии, так как ошибки заметно отклоняются от основной группы значений, а на дисперсию особенно сильно влияют крайние члены вариационного ряда (вариационный ряд – результаты наблюдений, расположенные в возрастающей последовательности x1≤ x2≤ x3 ... ≤ xi …≤xn).

Вслучае отсева грубых погрешностей (ошибок) нулевая гипотеза формулируется следующим образом:

Н0 :"Среди результатов наблюдений (выборочных, опытных данных) нет резко выделяющихся (аномальных) значений ".

Альтернативной гипотезой может быть либо Н1(1): "Среди результатов наблюдений есть только одна грубая ошибка",

либо Н1(2): "Среди результатов наблюдений есть две или более грубых ошибки".

Влитературе можно встретить большое количество различных критериев для отсева грубых погрешностей наблюдений. Обычно экспериментаторы имеют дело с выборками небольшого объема (т.е. когда генеральная дисперсия σx2 неизвестна и оценивается по опытным данным через выборочную дисперсию Sx2), причем именно в этом случае аномальные данные имеют большой вес. Наиболее распространенными и теоретически обоснованными в этом случае

являются критерий Н.В. Смирнова (используется при Н1(1) ) и критерий Диксона (применим как при Н1(1) , так и при Н1(2) ).

3.4.1. Критерий Н.В. Смирнова

Если известно, что есть только одно аномальное значение (альтернатив-

ная гипотеза Н1(1) ), то оно будет крайним членом вариационного ряда. Поэтому

проверять выборку на наличие одной грубой ошибки естественно при помощи статистики

75

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

Этот критерий впервые был предложен Н.В. Смирновым. Он исследовал распределение статистик [(3.39), (3.40)] и составил таблицы процентных точек uα,n (квантили порядка р = 1 – α) для α = 0,1; 0,05; 0,01 при 3 ≤ n ≤ 20 [11].

При выбранном уровне значимости α критическая область для критерия Н.В. Смирнова строится следующим образом:

где uα,n – это табличные значения (см. [6] или табл. П.7).

Вслучае если выполняется последнее условие (статистика попадает в критическую область), то нулевая гипотеза отклоняется, т.е. выброс x1 или xn не случаен и не характерен для рассматриваемой совокупности данных, а определяется изменившимися условиями или грубыми ошибками при проведении опытов. В этом случае значение x1 или xn исключают из рассмотрения, а найденные ранее оценки подвергаются корректировке с учетом отброшенного результата.

3.4.2.Критерий Диксона

Вкритерии Диксона применяется статистика:

•если подозрительная «чужеродная» точка имеет наибольшее значение,

• если подозрительная «чужеродная» точка имеет наименьшее значе-

ние,

76

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

где xn, xn-i, xj+1 – члены вариационного ряда x1≤ x2≤ x3 ... ≤ xi …≤xn.

Диксоном были получены распределения для r10, r11, r12, r20, r21 и r22 и по-

строены таблицы для α = 0,1; 0,05; 0,01 и 0,005 при 3 ≤ n ≤ 30 [11].

Статистика

x − x

r10 = n − n−1

xn x1

используется для проверки максимального или минимального члена вариационного ряда (одна грубая ошибка, альтернативная гипотеза Н1(1) ) при 3 ≤ n ≤ 7. Если при том же объеме выборки предполагается наличие двух и более резко

выделяющихся значений (альтернативная гипотеза Н1(2) ), то используется статистика r20.

Статистики критерия Диксона, используемые при других объемах выборки, приведены в табл. 3.3.

Таблица 3.3

Статистики критерия Диксона, используемые при различных объемах выборки n

Критическая область в критерии Диксона выглядит аналогично критерию Н.В. Смирнова и включает значения

где (rij) α,n – табличные значения (см. [11] или табл. П.8).

Рассмотрим небольшой пример.

Пример 3.3. Пирометром измеряется температура поверхности нагретого тела (например, прокатываемой заготовки, причем будем предполагать, что

77

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

температура ее видимой поверхности во всех точках одинакова). Было проведено шесть измерений температуры T °С, и получены следующие значения: 925, 930, 950, 975, 990, 1080 (n = 6, причем, как видно, все значения приведены в возрастающей последовательности, т.е. в виде вариационного ряда T1=925 ≤ T2=930 ≤ T3 =950... ≤T6=1080). Можно ли значение T6=1080 считать грубой погрешностью, полученной, допустим, в результате неправильной регистрации показаний пирометра?

Для ответа на поставленный в этом примере вопрос предварительно вычислим оценки параметров распределения исследуемой случайной величины T (предполагая, что она не противоречит нормальному закону распределения):

выборочное среднее арифметическоеT и выборочное среднее квадратичное отклонение ST:

T= 1 ∑n Ti = (925 +930 +950 +975 +990 +1080) / 6 = 975; n i=1

− 16 (925 + 930 + 950 + 975 + 990 +1080)2 ] = 3280;

ST = + ST2 = + 3280 = 57,27.

В электронных таблицах Microsoft Excel для этих расчетов можно было бы использовать две статистические функции СРЗНАЧ

(925;930;950;975;990;1080) =975 и СТАНДОТКЛОН (925;930;950;975;990;1080)= 57,27128.

Теперь воспользуемся предложенным выше алгоритмом проверки статистических гипотез.

1.Формулируем нулевую гипотезу Н0: "Среди значений 925; 930; 950; 975; 990; 1080 нет грубых погрешностей".

2.Исходя из условий примера 3.2, выбираем следующую альтернативную гипотезу Н1(1) : "Значение 1080 является (одной) грубой погрешностью".

3.Сформулированная нулевая гипотеза Н0 может быть проверена по любому из приведенных в этом разделе критериев, т.е. как по критерию Н.В. Смир-

78

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

нова, так и по критерию Диксона (хотя в литературе могут быть найдены и другие критерии). Для начала остановимся на критерии Н.В. Смирнова.

4. Значение статистики критерия Н.В. Смирнова в примере 3.2 равно (см. (3.40))

_

u6 = T6 −T = 1080 −975 =1,83 . sT 57,27

5.Уровень значимости α примем равным 0,05.

6.По табл. П.7 при α = 0,05 и n = 6 находим u0,05;6 = 1,82, и с использованием (3.41) строим критическую область ω: u6 > u0,05;6, т.е. u6 > 1,82.

7.Принимаем решение: поскольку значение статистики (1,83 > 1,82) попало в критическую область – нулевая гипотеза отвергается, и в качестве рабочей принимается альтернативная гипотеза, т.е. значение 1080 с вероятностью

0,95 (уровень значимости, не превышает 0,05) по критерию Н.В. Смирнова можно считать грубой погрешностью.

Интересно отметить, что если бы на этапе 5 мы приняли α = 0,01, по таблицам критерия Н.В. Смирнова u0,01;6 = 1,94 и подсчитанное значение статистики при этом уровне значимости , то оно не попало бы в критическую область (1,83<1,94). Следовательно, при α = 0,01 мы не можем отвергнуть нулевую гипотезу, т.е. по критерию Н.В. Смирнова с вероятностью 0,99 (надежностью, достоверностью) мы не можем сказать, что значение 1080 является грубой погрешностью.

В завершение данного примера рассмотрим, как бы выглядели наши расчеты, если на этапе 3 мы бы остановились на критерии Диксона.

4. При n = 6 и альтернативной гипотезе, что имеется только одна грубая по-

грешность, в критерии Диксона используется статистика r10 (см. табл. 3.3), значение которой в примере 3.2 (см. (3.43)):

5.Уровень значимости α примем равным 0,05.

6.По табл. П.8 при α = 0,05 и n = 6 находим (r10) 0,05;6 = 0,560, и с использованием (3.44) строим критическую область ω: r10 > (r10) 0,05;6, т.е. r10> 0,560.

79