Методы исключения грубых ошибок

При получении результата измерения, резко отличаю­щегося от всех других результатов, естественно возни­кает подозрение, что допущена грубая ошибка. В этом случае необходимо сразу же проверить, не нарушены ли основные условия измерения.

Если же такая проверка не была сделана вовремя, то вопрос о целесообразности браковки одного «выска­кивающего» значения решается путем сравнения его с остальными результатами измерения. При этом при­меняются различные критерии, в зависимости от того, известна или нет средняя квадратическая ошибка, а из­мерений (предполагается, что все измерения производятся с одной и той же точностью и независимо друг от друга).

Метод исключения при известной .

Обозначим «выскакивающее» значение через х*, а все остальные результаты измерения через , _………. . Подсчитаем среднее арифметическое значение

и сравним абсолютную величину разности с величиной. Дляполученного отношения

подсчитаем вероятность 1—2Ф(t) (Приложение табл.2.) Это даст вероятность того, что рассматриваемое отношение случайно примет значение, не меньшее чем t, при условии, что значение х* не со­держит грубой ошибки (что ошибка результата х* только случайна). Если подсчитанная указанным образом вероятность окажется очень малой, то «выскакивающее» значение содержит грубую ошибку и его следует исключить из дальнейшей обработки результатов измерений.

Какую именно вероятность считать очень малой, за­висит от конкретных условий решаемой задачи: если на­значить слишком низкий уровень малых вероятностей, то грубые ошибки могут остаться, если же взять этот уровень неоправданно большим, то можно исключить результаты со случайными ошибками, необходимые для правильной обработки результатов измерения. Обычно применяют один из трех уровней малых вероятностей:

5% уровень (исключаются ошибки, вероятность по­явления которых меньше 0,05);

1 % уровень (исключаются ошибки, вероятность появ­ления которых меньше 0,01);

0,1% уровень (исключаются ошибки, вероятность по­явления которых меньше 0,001).

При выбранном уровне малых вероятностей «выска­кивающее» значение х* считают содержащим грубую ошибку, если для соответствующего отношения t вероятность 1—2Ф(t)<. Чтобы подчеркнуть вероят­ностный характер этого заключения, говорят, что зна­чение х* содержит грубую ошибку с надежностью вывода Р=1—. Значение t = t(Р), для которого 1—2Ф(t) = и, значит, 2Ф(t) =Р, называется критическим значением отношения t при надежности Р. Так, если = 0,01 (1% уровень), то Р = 0,99, критическое значение t = tР) = 2,576, и как только отношение t превзойдет это критическое значение, мы можем браковать «выскакивающее» значение х* с надежностью вывода 0,99.

Пример. Пусть среди 41 результата независимых измерений, произведенных со средней квадратической ошибкой =0,133, обна­ружено одно «выскакивающее» значение x*=6,866, в то время как среднее из остальных 40 результатов составляет =6,500. Можно ли считать, что «выскакивающее» значение содержит грубую ошибку, и исключить его из дальнейшей обработки?

Решение. Разность между «выскакивающим» значением и сред­ним составляет = 0,366, поэтому отношениеt равно

По табл.2 для t=2,72 оцениваем вероятность 1— 2Ф (t)= 0,0066 < 0,007. Следовательно, с надежностью вывода Р > 0,993 можно считать, что значение x* содержит грубую ошибку, и исклю­чить это значение из дальнейшей обработки результатов измерения.

Подчеркнем, что указанный прием применяется только тогда, когда величина средней квадратической ошибкиточно известна заранее.

Метод исключения при неизвестной .

Если ве­личина заранее неизвестна, то она оценивается при­ближенно по результатам измерений, т. е. вместо нее применяют эмпирический стандарт:

(1)

При этом абсолютную величину разности меж­ду «выскакивающим» значением х* и средним значением остальных (приемлемых) результатов делят на эмпири­ческий стандарт и полученное отношение(2) сравнивают с критическими значениями (Приложение табл. 3).

(2)

Если при данном числе п при­емлемых результатов отношение (2) оказывается между двумя критическими значениями при надежностях и ( >), то с надежностью вывода, большей можно считать, что «выскакивающее» значение содержит грубую ошибку, и исключить его из дальнейшей обработки ре­зультатов.

Заметим, что если надежность вывода окажется недо­статочной, то это свидетельствует не об отсутствии грубой ошибки, а лишь об отсутствии достаточных оснований для исключения «выскакивающего» значения.

Пример. Пусть для n результатов независимых равноточных измерений некоторой величины среднее значение равно = 6,500,а эмпирический стандарт s = 0,133, и пусть (n + 1)-е измерение дало результат х* = 6,866. Можно ли исключить этот результат из даль­нейшей обработки?

Решение. Здесь отношение (2) равно t = 0,366/0,133 = 2,75. Если число приемлемых результатов n = 40, то полученное отношение превосходит критическое значение 2,742 при надежности P = 0,99 и значение х* можно исключить с надежностью вывода, большей 0,99. Если же число приемлемых результатов n = 6, то полученное отно­шение меньше критического значения 2,78 даже при надежности P=0,95 и значение x* исключать не следует.

Грубые ошибки возникают вследствие нарушения основных условий измерения или в результате недосмотра экспериментатора. Внешним признаком результата, содержащего грубую ошибку, является его резкое отличие по величине от результатов остальных измерений.

Выбор метода зависит от того, известна ли среднеквадратическая ошибка измерений σ (съёмка данных на конкретном элементарном объекте измерений проводится с помощью одного и того же устройства и в одних и тех же условиях, поэтому можно считать, что все измерения проводятся с одной и той же точностью и, кроме того, независимо друг от друга).

При известной среднеквадратической ошибке измерений применяют следующий метод:

Для каждого экспериментального значения X_* находят выражение

, (3)

где - среднее арифметическое всех значений (кроме X_*),

n – количество этих значений;

Ф(t) – функция, возвращаемый результат которой определяется с помощью массива значений или с помощью формулы

, (4)

где t > 0,

ф( - t ) = - ф( t), (5)

Если α < А, значит с вероятностью (1- α)*100% можно утверждать, что X_* - грубая ошибка.

Принято выбирать А из 0.05, 0.01, 0.001 для вероятностей 95, 99, 99.9% соответственно.

Отличительной чертой исключения грубых ошибок при неизвестной σ является её замена в формуле (1) эмпирическим стандартом

, (6)

где i – номер любого значения, кроме номера исследуемого значения X_* .

После удаления грубых ошибок из набора значений, можно найти интервал, в котором будет находиться действительное значение.

X_д = X_cp ± sigma,

где sigma = σ, если известно среднеквадратическое отклонение, или

,

если σ неизвестно.

Но полученный интервал можно будет считать верным, только в определённом случае.

Все доверительные оценки, как средних значений, так и дисперсий основаны на гипотезе нормальности закона распределения случайных ошибок измерения и поэтому могут применяться лишь до тех пор, пока результаты эксперимента не противоречат этой гипотезе.

Если результаты эксперимента вызывают сомнение в нормальности закона распределения случайных ошибок, то для решения вопроса о пригодности или непригодно­сти нормального закона распределения надо произвести достаточно большое число измерений и применить один из описанных ниже критериев.

Критерий соответствия ² («хи-квадрат»). Ре­зультаты измерений (разумеется, свободные от система­тических ошибок) группируют по интервалам таким обра­зом, чтобы эти интервалы покрывали всю ось (-, +) и чтобы количество данных в каждом интервале былодостаточно большим (во всяком случае не менее пяти, лучше десяти). Для каждого интервала () под­считывают число результатов измерения, попавших в этот интервал. Затем вычисляют вероятность попа­дания в этот интервал при нормальном законе распре­деления вероятностей:

(7)

где - среднее арифметическое значение результатовизмерения, s—эмпирический стандарт (средняя квадратическая ошибка), Ф — интеграл вероятностей, представленный таблицами 1 и 2(см. приложение). Затем, вычисляют сумму

(8)

где L - число всех интервалов число всех результатов измерений (-,), (),…,(), n - число всех результатов измерений ().

Если сумма (8) окажется больше критического значения по табл. 4 принекоторой доверительной вероятности P и числе степе­ней свободы k = L-3, то с надежностью P можно счи­тать, что распределение вероятностей случайных ошибок в рассматриваемой серии измерений отличается от нор­мального. В противном случае для такого вывода нет достаточных оснований.

При отсутствии достаточных оснований для того, чтобы отвергнуть гипотезу о нормальном распределении слу­чайных ошибок измерения, эта гипотеза принимается, так как в обычных ситуациях эта гипотеза часто может быть обоснована теоретически. Однако следует иметь в виду, что даже малая величина суммы (8) не может служить доказательством нормальности закона распределения.

Отметим еще важное свойство критерия :

если распределение отлично от нормального, то при достаточно большом числе измерений сумма (8) превысит соот­ветствующее критическое значение . Поэтому, если при произведенном числе измерений критерий дал малую надежность, но сомнение в нормальности распределения осталось, то следует увеличить число измерений (в не­сколько раз!).

Указанное выше число степеней свободы k = L-3 относится только к тому случаю, когда оба параметра нормального закона распределения определяются по ре­зультатам измерений, т.е. когда вместо точных значе­ний а и применяются их эмпирические значения и s. Если значение а точно известно (например, при измерении эталона), то число степеней свободы равно k = L-2, если известны оба параметра а и , то число степеней свободы равно k = L-1. На практике такая ситуация встречается редко, и поэтому для получения числа сте­пеней свободы не менее пяти надо брать число интерва­лов не менее восьми.

В заключение заметим, что эффективность критерия повышается, если в каждый из выделенных интервалов попадает примерно одинаковое количество данных. Это следует учитывать при группировке первичного материала (если возможно).

Пример. Приведем пример расчета вероятностей для приме­нения критерия .Возьмем интервальный ряд данных, значения параметров нормального рас­пределения для которого были посчитаны: =8,63, s = 0,127. Для применения критерия ² объединим крайние интервалы, чтобы число данных в каждом интервале стало не менее пяти. Полученные данные представлены в первых двух столбцах табл. 1. Крайние интервалы взяты бесконечными. В третьем столбце подсчитаны отношения

для правых концов интервалов, например, = (8,425-8,63)/0,127 =-1,614. В четвертом столбце приведены соответствующие значения интеграла вероятностей Ф ()(Приложение табл. 1). При этом произведена линейная интерполяция. По значе­ниям Ф ()-в пятом столбце вычислены вероятности- как разностисоответствующих значений Ф (t):

например, р₂ = -0,3888 - (-0,4467) = 0,0579. При вычислении ве­роятности учтено, что Ф(-) = -0,5. Последние столбцы таб­лицы не нуждаются в пояснении. Сумма чисел последнего столбца дает нужное значение ² =2,528. Сравнение этого значения с крити­ческими значениями при числе степеней свободы k =10-3 = 7 по­казывает, что нет оснований сомневаться в нормальности распреде­ления (основания для подобного сомнения могли бы возникнуть, если бы вычисленное значение ² было бы по крайней мере раз в 5—6 больше).

Таблица 1

Интервалы
(-; 8,425) (8,425; 8,475) (8,475; 8525) (8,525; 8,575) (8,575; 8,625) (8,625; 8,675) (8,675; 8,725) (8,725; 8,775) (8,775; 8,825) (8,825; +)	7 5 8 10 18 17 12 9 7 7	-1,614 -1,220 -0,827 -0,433 -0,039 0,354 0,748 1,142 1,536 +	-0,4467 -0,3888 -0,2959 -0,1676 -0,0156 0,1383 0,2728 0,3733 0,4377 0,5000	0,0533 0,0579 0,0929 0,1283 0,1520 0,1539 0,1345 0,1005 0,0644 0,0623	1,67 -0,79 -1,29 -2,83 2,80 1,61 -1,45 -1,05 0,56 0,77	0,523 0,108 0,179 0,624 0,516 0,168 0,157 0,110 0,048 0,095
Суммы	100=n	-	-	1,0000	-	2,528=

Для этого определяется критерий соответствия χ2, который должен быть достаточно мал. В этом случае с определённой достоверностью можно будет говорить о нормальности распределения набора значений, а как следствие этого – право с определённой вероятностью утверждать, что полученный интервал верен.

Результаты измерений, освобождённые от грубых ошибок, группируют по интервалам таким образом, чтобы они покрыли всю ось и чтобы количество данных в каждом интервале было достаточно большим.

Для каждого интервала подсчитывают число результатов измерения mi , попавших в этот интервал.

Затем вычисляется вероятность pi попадания в этот интервал при нормальном законе распределения вероятностей

,

где Xi – правая граница i-го интервала.

Необходимо заметить, что для первого интервала

,

Для последнего интервала

В качестве проверки правильности расчёта значений pi можно использовать равенство

.

Непосредственно χ2 находится по формуле:

,

где l – количество интервалов.

Если полученное значение χ2 окажется больше критического значения χ2кр , при некоторой доверительной вероятности Р и числе степеней свободы k = l – 3, то с надёжностью Р можно считать, что распределение вероятностей случайных ошибок в рассматриваемой серии измерений отличается от нормального. В противном случае для такого вывода нет достаточных оснований.

При отсутствии достаточных оснований для того, чтобы отвергнуть гипотезу о нормальном распределении случайных ошибок измерения, эта гипотеза принимается, а следовательно интервал Xд = Xcp ± sigma можно считать верным. Разработанная автоматизированная система позволяет оперативно проводить оценку грубых ошибок эксперимента и достоверность нормального распределения результатов. Ввод данных осуществляется автоматически с устройства либо из предварительно подготовленного файла данных.

Рис.1. Пример работы автоматизированной системы оценки статистических данных