36. Совместная обработка нескольких рядов наблюдений

Если многократные наблюдения проводятся в течение длительного периода времени, необходимо учитывать, что изменение параметров средств измерений и внешней среды может вызвать систематические или случайные изменения математических ожиданий и с.к.о. результатов наблюдений. Для того чтобы эти измерения не ускользнули от внимания оператора, измерения производятся часто в несколько серий, причем перед каждой серией измерений иногда заново настраивают измерительную аппаратуру и принимают меры к стабилизации параметров внешней среды.

В этом случае получаем m групп по n_j (j =1,…, m) результатов наблюдений в каждой. Группы наблюдений будут равнорассеянными, если средние арифметические и оценки с.к.о. во всех группах являются оценками одного и того истинного значения измеряемой величины и одного и того же с.к.о.

Равнорассеянность групп наблюдений проверяется методами математической статистики, известными под общим названием дисперсионного анализа.

Предположим, что все N результатов наблюдений равнорассеяны. Тогда и , где x_ij – i-й результат наблюдения в j-й группе.

Вычислим групповые средние арифметические и общее среднее : j=1,…m, .

Очевидно, что для каждого x_ij имеет место тождество

Возведем в квадрат обе его части и просуммируем их по всем i и j:

Но сумма по определению для всех j. Поэтому т.е. сумма квадратов отклонений результатов наблюдений от общего среднего равна сумме квадратов отклонений групповых средних от общего среднего и сумме квадратов отклонений результатов наблюдений от групповых средних.

Можно получить следующие оценки с.к.о. результатов наблюдений:; ; ; , ,

где - с.к.о., характеризующее общее рассеивание в ряде наблюдений;

- с.к.о., характеризующее рассеивание между групповыми средними;

- с.к.о., характеризующее рассеивание внутри каждой j-й группы;

- с.к.о., характеризующее среднее рассеивание внутри групп.

Для проверки гипотезы о равнорассеянности наблюдений используется распределение, которое получается следующим образом: если U и V - две независимые случайные величины, подчиняющиеся - распределению с k₁ и k₂ степенями свободы соответственно, то их отношение имеет F-распределение Фишера с k₁ и k₂ степенями свободы.

F–распределению Фишера подчиняется распределение отношения двух независимых оценок дисперсии и , вычисленных на основании n₁ и n₂ нормально распределенных результатов наблюдений, т.е. отношение имеет F–распределение с (n₁-1), (n₂-1) степенями свободы.

Если при выбранном уровне значимости q окажется, что где , то говорят, что различие оценок незначимо, и они являются двумя независимыми оценками одной и той же дисперсии. В противном случае приходится признать это различие существенным, имеющим более глубокие причины, нежели просто расхождения, вызванные ограниченностью опытных данных.

Гипотезу о равнорассеянности групп результатов наблюдений проверяют в два этапа.

1 Вначале проверяется гипотеза о равенстве дисперсий во всех m группах наблюдений. Для этого их располагают в вариационный ряд в порядки возрастания ,…, - и проверяют значимость отношения . Если это отношение незначимо, то незначимы и все остальные. Тогда следует принять иследуемую гипотезу как правдоподобную и считать, что рассеяние результатов наблюдений относительно средних во всех группах одинаково. В противном случае приходится признать распределения в группах с дисперсиями и отличными друг от друга и проверить значимость отношений всех других дисперсий.

2 При равенстве дисперсий в группах проверяется гипотеза о равенстве математических ожиданий во всех группах наблюдений. Если эта гипотеза верна , то и являются независимыми точечными оценками одной и той же дисперсии и их отношение должно подчиняться F–распределению с m-1 и N-m степенями свободы. Если расхождение этих оценок значимо при выбранном уровне значимости, что при проведении измерений имеют место случайные или систематические сдвиги результатов наблюдений, вследствие чего расхождения между средними оказались больше тех, которые могут быть оправданы ограниченностью опытных данных.

При небольшом количестве групп наблюдений можно для всех комбинаций серии измерений (обозначим их индексы через c и d) вычислить величины t_c-d и

использовать их для проверки гипотезы о равенстве математических ожиданий: .

Можно показать, что если результаты измерений распределены нормально, то t_c-d имеет распределение Стьюдента с n_c+n_d 2 степенями свободы.

Задаваясь определенной доверительной вероятностью Р, по таблице Ж.1 можно найти соответствующее значение t_p, и если , то гипотеза о равенстве математических ожиданий принимается. Распределением Стьюдента пользуются и в том случае, если проверка равенства дисперсии в группах дала отрицательные результаты.

Если проведенные вычисления показали, что оценки дисперсии и средних групп наблюдений незначимо отличаются друг от друга, то группы наблюдений считаются равнорассеянными. Их можно объединить в один ряд и обрабатывать по правилам, описанным в предыдущем параграфе.

Значимое различие групповых средних говорит о том, что на формирование результата измерений большое влияние оказывает какой-то определенный фактор или группа факторов и совместная обработка результатов невозможна.

В том случае, когда значимо различие дисперсий , а средние групп являются оценками одного и того же истинного значения измеряемой величины, группы результатов называются неравнорассеянными (неравноточными).

34. Алгоритм обработки при количестве наблюдений n>40 заключается в следующем.

1 Группируют результаты наблюдений в порядке возрастания их значений: x_min–x_max .

2 Полученный диапазон результатов наблюдений разделяют на r одинаковых интервалов, равных .

3 Находят середины каждого интервала x_jср и середину интервала с наибольшей частотой принимают за начало отсчета Х₀ («ложный нуль»). Вычисляют для каждого интервала .

4 Вычисляют точечные оценки первых двух начальных моментов сгруппированного распределения величины :

,

5 Находят точечную оценку второго центрального момента сгруппированного распределения величины :

6 . Получим формулы, по которым вычисляют оцен-ки первого начального и второго центрального моментов результатов измерений: , .

7 Полученные оценки моментов неизбежно отличаются от моментов несгруппированного распределения, поскольку при группировании предполагается, что все частоты сконцентрированы в серединах интервалов. Для исправления оценок моментов результатов измерений можно принять: , .

8 Вычисляют точечные оценки математического ожидания измеряемой величины и с.к.о. результатов наблюдений: , .

9 Вычисляют случайные отклонения результатов наблюдений V_i . Используя критерий «трех сигм», определяют наличие грубых погрешностей и, если последние обнаружены, соответствующие результаты отбрасывают и повторяют вычисления в соответствии с п.1-8.

10 Вычисляют оценку с.к.о. результата измерения.

11 Используя критерий , проверяют нормальность распределения резуль-татов наблюдений.

12 По заданной доверительной вероятности Р определяют коэффициент Стьюдента (для Р=0,9 t_p=1,645; для Р=0,95 t_p=1,960; для Р=0,99 t_p=2,576).

13 Рассчитываются доверительные границы случайной погрешности результата измерения.

35. Обработка исправленных результатов прямых равнорассеянных наблюдений

Напомним, что исправленными результатами наблюдений называются результаты, не содержащие систематические погрешности измерений.

Исправленные результаты наблюдений x₁,…,x_n, полученные при прямых измерениях постоянной физической величины Q_х, называются равнорассеянными (равноточными), если они являются независимыми, одинаково распределенными случайными величинами.

Равнорассеянные результаты получают при измерениях, проводимых одним наблюдателем или группой наблюдателей с помощью одних и тех же средств измерений в неизменных условиях внешней среды. Результаты обрабатывают по-разному в зависимости от того, мало (n40) или велико (n>40) количество наблюдений.

Алгоритм обработки при количестве наблюдений n40 заключается в следующем.

1 Определяют точечную оценку математического ожидания измеряемой величины – среднее арифметическое результатов наблюдений по формуле i = 1,…, n . Полученное числовое значение округляют так , чтобы случайные отклонения результатов наблюдений имели не больше трех значащих цифр.

2 Вычисляют случайные отклонения результатов наблюдений V_i по формуле V_i = x_i – . Правильность расчетов и V_i может быть проверена путем суммирования всех случайных отклонений V_i+.

3 Определяют оценку c.к.о. результатов наблюдений _х по формуле . (1.18)

4 Определяют наличие грубых погрешностей и, если последние обнаружены, соответствующие результаты отбрасывают и повторяют вычисления в соответствии с п. 1 – 3.

При количестве наблюдений n >30 наиболее часто используют критерий «трех сигм».

Более строгим является критерий, который заключается в проверке гипотезы, что результат наблюдения x_i не будет содержать грубой погрешности, если он является одним из значений случайной величины x с нормальным законом распределения при количестве наблюдений n [4]. Ф.Е. Граббсом были табулированы q-процентные точки распределения максимальных по модулю отклонений результатов наблюдений от их среднего значения

>, то такое наблюдение содержит грубую погрешность (для уровня значимости q) и должно быть исключено при обработке результатов наблюдений.

5 Определяют оценку с.к.о. результата измерения по формуле .

6 При помощи составного критерия производится проверка нормальности распределения результатов наблюдений.

7 По заданной доверительной вероятности Р и числу наблюдений n определяется коэффициент Стьюдента t_p.

8 Рассчитываются доверительные границы случайной погрешности результата измерения .

Если сравнивать значения t_p для разных распределений, то оказывается , что при Р>0,85 значение t_p максимальны для нормального распределения. Поэтому при неизвестной функции распределения (или невозможности проверки принадлежности результатов наблюдений к нормальному распределению) рекомендуется распределение считать нормальным, так как надежность оценки повышается.

32-33. Проверка нормальности распределения результатов наблюдений

В учебном пособии [1] было показано, что сходимость результатов наблюдений можно оценить наиболее полно, если их распределение является нормальным. Поэтому исключительно важную роль при обработке результатов наблюдений играет проверка нормальности распределения.

Эта задача представляет собой частный случай более общей проблемы, заключающейся в подборе теоретической функции распределения, в некотором смысле наилучшим образом согласующейся с опытными данными.

При большом числе результатов наблюдений (n>40) данная задача решается в следующем порядке.

Группируют результаты наблюдений в порядке возрастания их значений: X_min  X_max. Весь диапазон результатов наблюдений разделяют на r интервалов шириной X_j (j=1,…, r) и подсчитывают частоты m_j, равные числу результатов, лежащих в каждом j-м интервале, т.е. меньших его правой и больших или равных левой границе.

Отношения P_j^* = m_j/n , где n–общее число наблюдений, называются частостями и представляют собой статистические оценки вероятностей попадания результата наблюдений в j-й интервал. Распределение частостей по интервалам образует статистическое распределение результатов наблюдений.

Если теперь разделить частость на длину интервала, то получим величины p_j*= P_j* / X_j = m_j / (n  X_j) ,являющиеся оценками средней плотности распределения в интервале X_j .

Если отложить вдоль оси результатов наблюдений интервалы X_j в порядке возрастания индекса j и на каждом интервале построить прямоугольник с высотой, равной p_j*, то получим график, называемый гистограммой статистического распределения (рисунок 1.1). Площадь всех прямоугольников равна единице:

.

Рисунок 1.1

При увеличении числа интервалов r гистограмма все больше приближается к плавной кривой, ограничивающей единичную площадь, - к графику дифференциальной функции распределения.

При построении гистограмм рекомендуется пользоваться следующими правилами:

- число r интервалов выбирается в зависимости от числа наблюдений n (при n=4070 r=79; при n=100500 r=812; при n=5001000 r=1016; при n=100010000 r=1222);

- длины интервалов удобнее выбирать одинаковыми. Однако если распределение крайне неравномерно, то в области максимальной концентрации результатов наблюдений следует выбирать более узкие интервалы;

- масштабы по осям гистограммы должны быть такими, чтобы отношение ее высоты к основанию составляло примерно 5:8.

После построения гистограммы надо подобрать теоретическую плавную кривую распределения, которая, выражая все существенные черты статистического распределения, сглаживала бы все случайности, связанные с недостаточным объемом экспериментальных данных. Принципиальный вид теоретической кривой выбирают заранее, проанализировав метод измерения или хотя бы по внешнему виду гистограммы. Тогда определение аналитического вида кривой распределения сводится к выбору таких значений его параметров, при которых достигается наибольшее соответствие между теоретическим и статистическими распределениями.

Одним из методов решения этой задачи является метод моментов. При его использовании параметрам теоретического распределения придают такие значения, при которых несколько важнейших моментов совпадают с их статистическими оценками. Так, если статистическое распределение, определяемое гистограммой, приведенной на рисунке 1.1, мы хотим описать кривой нормального распределения, то естественно потребовать, чтобы математическое ожидание и дисперсия последнего совпадали со средним арифметическим и оценкой дисперсии, вычисленным по опытным данным.

Далее законно возникает вопрос, объясняются ли расхождения между гистограммой и подобранным теоретическим распределением только случайными обстоятельствами, связанными с ограниченным числом наблюдений, или они вызваны тем, что результаты наблюдений в действительности распределены иначе.

Для ответа на этот вопрос используют методы проверки статистических гипотез. Идея их применения заключается в следующем. На основании гистограммы, полученной при обработке опытных данных, строится гипотеза, состоящая в том, что результаты наблюдений подчиняются распределению F(x) с плотностью p(x).

Для того чтобы принять или опровергнуть эту гипотезу, выбирается некоторая величина U, представляющая собой меру расхождения теоретического и статистического распределений. В качестве меры расхождения можно принять сумму квадратов разностей частостей и теоретических вероятностей попадания результатов наблюдений в каждый интервал, взятых с некоторыми коэффициентами:где C_j – коэффициенты, называемые весами разрядов; P_j – теоретические вероятности, определяемые как . Здесь p(x) - предполагаемая плотность распределения.

Мера расхождения U является случайной величиной и, как показал К. Пирсон, независимо от исходного распределения подчиняется ² – распределению [2] c k степенями свободы. если все частоты m_j5 и число измерений стремится к бесконечности, то веса C_j выбираются равными n / P_j . Число степеней свободы распределения k = r – s, где r – число независимых связей, наложенных на частости P_j*.

Если проверяется гипотеза о нормальности распределения, то к числу этих связей относятся равенство среднего арифметического и точечной оценки дисперсии соответственно математическому ожиданию и дисперсии предполагаемого нормального распределения. Кроме того, всегда требуется, чтобы сумма частостей по всем интервалам была равна единице. Поэтому в данном случае s=3.

Мера расхождения U, выбранная по К. Пирсону, обозначается через ²_k . Для удобства вычислений ее можно записать в виде

где . Если вычисленная по опытным данным мера расхождения ²_k окажется в указанном интервале, то гипотеза принимается. Это, конечно, не значит, что гипотеза верна. Можно лишь утверждать, что она правдоподобна, т.е. не противоречит опытным данным. Если же ²_k выходит за границы доверительного интервала, то гипотеза отвергается как противоречащая опытным данным.

Поскольку проверка гипотезы основывается на опытных данных, то при принятии решения всегда возможны ошибки. Отвергая в действительности верную гипотезу, мы совершаем ошибку первого рода. Вероятность ошибки первого рода называется уровнем значимости и составляет q = 1. Принимая в действительности неверную гипотезу, мы совершаем ошибку второго рода. Вычислить ее вероятность, вообще говоря, невозможно, поскольку для этого нужно рассмотреть все прочие возможные гипотезы, являющиеся альтернативой обсуждаемой гипотезы. Можно лишь утверждать, что при уменьшении ошибки первого рода ошибка второго рода увеличивается, поэтому не имеет смысла брать слишком высокие значения доверительных вероятностей.Описанная процедура проверки гипотезы о том, что данное статистическое распределение является распределением с плотностью p(x), называется критерием согласия ².Проверка нормальности распределения согласно критерию ² сводится к следующему:

1 Данные наблюдений группируют по интервалам, как при построении гистограммы, и подсчитывают частоты m_j. Если в некоторые интервалы попадает меньше пяти наблюдений, то такие интервалы объединяют с соседними. При этом число степеней свободы k, конечно, уменьшается.

2 Вычисляют среднее арифметическое и точечную оценку среднего квадратического отклонения (с.к.о.) результатов наблюдений _х, которые принимают в качестве параметров теоретического нормального распределения с плотностью p(x). Формулы для расчетов и _х приведены в п. 1.2 настоящего учебного пособия.

3 Для каждого интервала находят вероятности попадания в них результатов наблюдений по формуле , где Ф(z) - интегральная функция нормированного нормального распре-деления; x_jmax и x_jmin- максимальное и минимальное значения х на j-м интервале.

которая связана с интегральной функцией нормиро-ванного нормального распределения соотношением

при этом для и для Z<0 .

4 Для каждого интервала вычисляют величины ²_j (j =1,…, r) по формуле (1.6) и суммируют их по всем j по формуле (1.5), в результате чего получают меру расхождения ²_k .

5 Определяют число степеней свободы k = r3 и, задаваясь уровнем значимости q =1- , находят ²_k;q/2 и ²_k;1-q .

Если ²_k;q/2²_k²_k;1-q/2 , то распределение результатов считают нормальным.

При 10 < n 50 для проверки нормальности распределения используется составной критерий [3], который заключается в следующем.

Критерий 1. Исходя из результатов наблюдений X₁,…,X_n вычисляем значение параметра d по формуле , где .

Выбирается уровень значимости q и исходя из значений q и n находятся значения точек распределения (1.10) d_n;q/2 и d_n;1-q/2, приведенные в таблице В.1. Считается, что гипотеза о нормальности по критерию 1 не отвергается, если d_{n;1- q/2} d d_{n; q/2} . В противном случае гипотеза отвергается.

Критерий 2. Принимается, что гипотеза о нормальности по критерию 2 не отвергается, если не более m разностей превзошли , где Z – аргумент интегральной функции нормированного нормального распределения Ф(Z). Значение Z находится из таблицы Г.1, исходя из значения Ф(Z), равного доверительной вероятности . Значение определяется по n и уровню значимости q как корень уравнения . При 10  n  20 следует принимать m=1. Если 20 < n  50, то m=2. Если число разностей больших , превышает m, то гипотеза о нормальности отвергается.

Гипотеза о нормальности принимается, если для проверяемой группы результатов наблюдений выполняются оба критерия. Уровень значимости составного критерия где q₁ и q₂ – уровень значимости для критериев 1 и 2 соответственно.