Статистические методы анализа и обработки наблюдений

Оценка зависимости случайных величин по выборочному коэффициенту корреляции называется корреляционным ана- 1 лизом. Пример корреляционного анализа будет дан ниже, в п. 9.4. Сейчас лишь отметим в заключение, что наличие корреляции ( да и всякой стохастической связи) еще не озна­ чает наличия причинно-следственной зависимости между величинами. Корреляция может возникнуть и в том случае, когда обе величины являются следствиями единой причины, не отмечавшейся при наблюдении. В качестве примера ука­ жем на первые опыты Беккереля, который заметил, что интенсивность рентгеновских лучей тем выше, чем сильнее люминесцирует катодная трубка, испускающая эти лучи, и на основании этого ошибочно предполагал, что рентге­ новские лучи являются следствием всякой люминесценции.

процессе испытаний. При этом корреляционный анализ пред­ ставляет собой как бы новую ступень, ибо одновременно оценивает и степень неслучайности наблюдаемых изменений.

Следующей, еще более высокой ступенью должно явиться выяснение точных количественных характеристик изменения случайной величины. Подобно тому как сово­ купность значений случайной величины описывалась на­ бором неслучайных параметров, так и стохастическую, т. е. содержащую элемент случайности, связь нужно научиться выражать через строгие функциональные (неслучайные) соотношения.

Прежде всего покажем, что одну из наблюдаемых вели­ чин всегда можно считать неслучайной. Действительно, отмечая одновременно значения двух величин, £ и г), мы при сопоставлении этих величин можем отнести все ошибки лишь к величине т|. Таким образом, ошибка наблюдения Ат] будет складываться из собственной случайной ошибки величины т] и из «ошибки сопоставления», возникающей из-за того, что с величиной rj сопоставляется не совсем то значение |, которое имело место на самом деле,

222 §9. ЗАВИСИМОСТЬ МЕЖДУ СЛУЧАЙНЫМИ ВЕЛИЧИНАМИ

Поясним сказанное на примере. Допустим, что изучается зависимость сопротивления электролита от температуры, и

и сопротивление измеряются отдельно своими приборами, то оба найденных числа содержат свои случайные ошибки, т. е. не являются истинными значениями. Тем не менее, мы можем считать, что температура в нашем опыте в точности равна 20° и случайным является лишь сопротивление. При этом значение R= 15 ом будет приписано не «своей» темпе­ ратуре, ибо реальная температура равна, очевидно, какомуто t ^ t . Если R окажется не зависящим от t, то для R безразлично, какой температуре его припишут. Если же R зависит от t, то малое изменение температуры вызовет соответствующее изменение сопротивления, что войдет как составная часть в общую ошибку величины R.

Итак, вместо сопоставления двух случайных величин

каждом значении параметра случайная величина имеет какое-то распределение, которое называется условным. Если это распределение меняется от одного значения параметра к другому, то, значит, между £ и т) имеет место стохасти­ ческая связь.

Распределение случайной величины г\ при любом фик­ сированном значении х параметра £ полностью определя­ ется функцией распределения F(y), которая в общем случае зависит и от х :

F{y) = F(x, у).

Зная функцию двух переменных F(x, у), мы получаем полное описание зависимости г\ от £, притом выраженное в точных функциональных соотношениях.

Функция F(x, у) носит название условной функции рас­ пределения, ее отыскание, как правило, оказывается весьма трудной задачей. Гораздо проще исследовать зависимость между £ и т], когда условное распределение величины г\ при каждом значении параметра £ подчинено нормальному закону. Нормальное распределение полностью определено средним и дисперсией, благодаря чему для описания зави­

симости Ti от £ достаточно лишь указать, как при изменении параметра £ изменяются среднее и дисперсия величины гр Будем в дальнейшем значения параметра | обозначать через х, значения величины г; — через у. Обозначая через ау и а* среднее и дисперсию величины г], мы приходим к

необходимости отыскания двух функций:

ay = fi(x), o2y --=f2(x).

Зависимость дисперсии ст* от параметра х носит название

скедастической зависимости. Она характеризует изменение точности методики наблюдений при изменении параметра и используется редко. На практике обычно довольствуются «сводной» дисперсией, характеризующей рассеяние у по всем значениям параметра — нечто вроде средневзвешенной дисперсии по всем отдельным наблюдениям.

Гораздо важнее знать точную зависимость средних ау от х, которая носит название регрессии. Поскольку средние ау представляют собой истинные значения наблюдаемой величины Т1(п. 4.2), то регрессия дает истинную зависимость величин | и т], лишенную всех случайных наслоений. По­ этому идеальной целью всяких исследований зависимых величин является отыскание уравнения регрессии, а дис­ персия используется лишь для оценки точности полученного результата.

Точное уравнение регрессии можно написать только, зная средние ау для всех допустимых значений х параметра £. В практических наблюдениях такая ситуация, конечно, невозможна. Более того, даже отдельные значения средних ау не могут быть найдены точно, а допускают лишь при­ ближенные оценки. В связи с этим и мы можем искать лишь уравнения приближенной регресии, оценивая тем или

регрессии и оценить допускаемую при этом ошибку. В даль­ нейшем уравнение приближенной регрессии мы будем за­ писывать в виде у= /(х), понимая под этим, что ay^f(x).

Уравнение приближенной регрессии существенно зави­ сит от выбираемого нами принципа приближенности. Под­ бирать это уравнение мы должны по значениям (х,-, у{).

224 §9. ЗАВИСИМОСТЬ МЕЖДУ СЛУЧАЙНЫМИ ВЕЛИЧИНАМИ

Поэтому здесь может возникнуть ошибка двоякого рода: во-первых, ошибка, связанная с тем, что у{ не совпадают с соответствующими средними ау, во-вторых, ошибка интер­ поляции, ибо самое точное уравнение для нескольких точек (а их у нас т штук) не гарантирует точности в промежуточ­ ных точках. Из сказанного видно, что бессмысленно гоняться за такими уравнениями, которые на всех парах чисел (х,-, у () давали бы точные равенства. Последним, к сожале­ нию, грешат очень многие экспериментаторы — построив на координатной плоскости несколько найденных из опыта точек, они в качестве графика зависимости берут плавную кривую, непременно проходящую через все построенные точки!

Итак, метод интерполяции с заданных точек, весьма полезный при обработке неслучайных данных, в теории случайных величин неприменим. Необходимо искать прин­ цип приближенности, который бы использовал существен­ ные статистические свойства самого уравнения регрессии. В качестве такого принципа берут обычно принцип наимень­

в качестве меры рассеяния всегда берется дисперсия (сред­ нее из суммы квадратов отклонений). Этот принцип поз­ воляет сравнивать, какое из двух произвольных уравнений дает лучшее приближение регрессии. Пусть, например, заданы два уравнения: y=fi(x) и/ /=/2(х). Согласно первому уравнению, значению х,- должно соответствовать значение ^(х,), на самом же деле задано значение yh т. е. получается отклонение iji— (х,). Общей мерой рассеяния всех yi вокруг функции /у(х) будет величина

где 1г — число связей, накладываемых на выборку функцией / L(x) (см. об этом ниже). Аналогично получается мера рас­ сеяния вокруг функции /2(х):

226 §9- ЗАВИСИМОСТЬ МЕЖДУ СЛУЧАЙНЫМИ ВЕЛИЧИНАМИ

Производя вычисления по принципу наименьших квад­ ратов, мы сталкиваемся, таким образом, со следующим про­ тиворечием. С одной стороны, желательно рассматривать более широкий класс функций, например, многочлены с более высокой степенью. С другой стороны, такое расшире­ ние приводит к увеличению числа связей I и, значит, к уве­ личению дисперсии D. Выход отсюда может быть только один: провести тщательное предварительное исследование изучаемой зависимости с тем, чтобы в уравнение прибли­ женной регрессии вошло лишь минимальное необходимое число неопределенных коэффициентов. В большинстве слу­ чаев удается ограничиться уравнением первой степени

у = а + р*,

накладывающим на выборку лишь две связи.

Обычно уравнение приближенной регрессии ищут не сразу, а по этапам: сначала определяют один-два коэф­ фициента, добавляя к ним постепенно новые члены. Напри­ мер, вначале ищут уравнение первого порядка, затем до­ бавляют квадратный член, член третьего порядка и т. д. Добавляемые члены получаются, как правило, со все мень­ шими коэффициентами, пока, наконец, эти добавки не пере­ станут быть значимыми по сравнению со случайными ошибками наблюдений. Кроме того, при каждой новой добавке нужно проверять, чтобы не увеличилась дисперсия D (за счет увеличения числа связей /), в противном случае от добавки нужно отказаться. Различные критерии, позво­ ляющие проверять необходимость вводимых добавок, будут рассмотрены в следующем пункте.

9.3. Вычисление и анализ приближенной регрессии.

Принцип наименьших квадратов позволяет полностью вы­ числить уравнение приближенной регрессии заданного типа (с неопределенными коэффициентами). Для этого вна­ чале составляется сумма

ривать как функцию от этих неопределенных коэффициен­ тов. Задача состоит в том, чтобы найти набор коэффициентов а, р, у, минимизирующий величину 5.

228 §9- ЗАВИСИМОСТЬ МЕЖДУ СЛУЧАЙНЫМИ ВЕЛИЧИНАМИ

Покажем для примера, как составляются нормальные уравнения для регрессии второго порядка у=а+ $х-\-ух2. В этом случае

Поэтому нормальные уравнения имеют такой вид:

Относительно неизвестных коэффициентов а, (3, и у получи­ лась линейная система уравнений третьего порядка; ее нетрудно решить, например, с помощью определителей.

После того как уравнение приближенной регрессии найдено, его надо подвергнуть статистическому анализу. Этот анализ состоит из двух существенно различающихся частей. Во-первых, нужно оценить ошибку от замены истин­ ной регрессии приближенной, проверить значимость всех слагаемых найденного регрессионного уравнения в сравне­ нии со случайной ошибкой наблюдений — такое иссле­ дование носит название регрессионного анализа. Во-вторых, нужно оценить силу связи, т. е. долю регрессии в общем рассеянии значений у{ — такое исследование по причинам, указываемым в следующем пункте, называется корреля­ ционным анализом.

Чтобы оценить степень приближенности найденного уравнения регрессии, находят оценки для всех коэффици­ ентов а, р, у, ... , входящих в это уравнение. Такая задача оказывается в большинстве случаев очень трудной, так как коэффициенты а, р, у, как случайные величины (при слу­ чайной выборке) имеют весьма сложные распределения. В следующем пункте мы укажем, как оценивать коэффи­ циенты а и Р в регрессии вида у= a -ffix.

В тех случаях, когда число наблюдений m достаточно велико, распределения коэффициентов получаются близ­ кими к нормальному и поэтому достаточно лишь оценить их дисперсии. Это можно сделать, если считать а, р, у, косвенными измерениями и выразить их дисперсии через дисперсии величин х и у (п. 4.4).

9.3. ВЫЧИСЛЕНИЕ И АНАЛИЗ ПРИБЛИЖЕННОЙ РЕГРЕССИИ 229

Если все коэффициенты уравнения приближенной регрес­ сии определяются сразу, регрессионный анализ заканчи­ вается на оценке коэффициентов. Однако, как уже указы­ валось в предыдущем пункте, уравнение регрессии находят чаще всего не сразу, а путем последовательных уточнений. В регрессионный анализ входят при этом различные критерии, позволяющие принять или отвергнуть вводимую поправку.

Допустим, что первоначальное уравнение приближенной регрессии y=f{x) предлагается заменить уточненным урав­ нением y=f(x) -Ьф(х ). Поправка ф(х) может быть отверг­ нута по следующим двум причинам:

1)у нее может оказаться слишком много связей, накла­ дываемых на выборку;

2)она может быть слишком мала по сравнению со слу­ чайной ошибкой наблюдений оу.

Проверка первой возможности является основным кри­ терием и должна проводиться всегда. Вторая возможность поддается проверке только в том случае, когда есть доста­ точно надежная оценка для случайной ошибки наблюдений

оу. Серьезным преимуществом второй проверки перед первой является то, что в первом случае мы испытываем лишь конкретную добавку ф(х) и, в частности, должны ее вначале . * рассчитать по принципу наименьших квадратов, хотя она Д впоследствии может оказаться лишней. В то же время во V '''°г

втором случае проверяется только сама функция f(x) — н у ж -'^ ны ли ей вообще добавки? Поэтому наиболее рациональна следующая последовательность проверок. Сначала про­ веряют вторую возможность (если, конечно, для этого есть необходимые данные). Если проверка покажет излишность дальнейших добавок, то уравнение у=[{х) считают окон­ чательным. Если же окажется, что функция f(x) нуждается

в дальнейших уточнениях, переходят к анализу конкретных добавок ф(х) по первой возможности.

Рассмотрим теперь методику проверки каждой из воз­ можностей. Пусть функция f(x) содержит 1г связей, накла­ дываемых на выборку, функция /(х)+ ф(л') содержит /2 связей. Вычисляем дисперсии

230 §9. ЗАВИСИМОСТЬ МЕЖДУ СЛУЧАЙНЫМИ ВЕЛИЧИНАМИ

Согласно общим положениям п. 9.2 поправка ф(лг) должна быть безусловно отвергнута, если окажется, что D2^ D t. Но даже и уменьшение дисперсии не означает, что поправку ф(х) нужно принять — это уменьшение должно быть зна­ чимым (неслучайным). Значимость уменьшения дисперсии проверяется по критерию Фишера. А именно, уменьшение дисперсии нужно считать значимым (и, следовательно, при­ нять поправку ф(х)), если окажется, что

где число Fx_p берется из таблицы VII Приложения соответ­

заться необходимой другая. Поэтому все намечаемые по­ правки необходимо заранее расположить в порядке их предполагаемого убывания. Это позволяет прекращать анализ после первой же отвергнутой поправки, так как остальные будут еще меньше. В частности, подбирая регрес­ сию в виде многочлена, слагаемые нужно проверять в по­ рядке возрастания степеней.

Перейдем к анализу второй возможности. Для этого анализа необходимо знать дисперсию сг2=ст2, связанную со случайными ошибками наблюдений у; (мы предполагаем, что все наблюдения ведутся с одинаковой точностью). Эту дисперсию можно оценить, если дублировать наблюдения yt при каждом фиксированном х{. Каждая /-я серия дубли­ рующих наблюдений даст свою оценку дисперсии s’-, после чего можно взять средневзвешенную дисперсию по всем i (см. п. 4.4). Обозначим найденную таким образом дисперсию через s2, ее число степеней свободы — через f. Это / равно числу всех наблюдений минус число серий.

Если / очень велико, то с достаточной степенью точности можно считать, что s2=cr2. Может оказаться и так, что дис­ персия а2 известна из большого числа предыдущих опытов. Во всех этих случаях мы и за генеральной дисперсией а2 сохраним прежнее обозначение s2, но будем считать, что число ее степеней свободы f=oo.