Примем полученное значение за критическую точку, определяемую как

квантиль u α из нормального распределения. Из таблицы нормального

1− 2

распределения, полагая Ф(2,812) = 0,9975 =1 − α2 , находим α0 = 0,005.

Таким образом, при α < α0 = 0,005 гипотеза H0 для данного значения r = 0,51 будет приниматься.

2. Пусть α = 0,05 . По таблице нормального распределения нахо-

r > rкр = 0,31условие отклонения H0 в пользу H1 .

Глава 9Регрессионный анализ

Зависимость между случайными величинами X и Y называется стохастической, если с изменением одной из них (например, Х) меняется закон распределения другой (Y). В качестве примеров такой зависимости приведем зависимость веса человека (Y) от его роста (Х), предела прочности стали (Y) от ее твердости (Х) и т.д.

В теории вероятностей стохастическую зависимость Y от Х описывают условным математическим ожиданием:

145

которое, как видно из записи, является функцией от независимой переменнойх, имеющейсмыслвозможного значенияслучайнойвеличиныХ.

Уравнение у = у(х) называется уравнением регрессии Y по X, переменная х - регрессионной переменной или регрессором, график функции у = у(х) - линией или кривой регрессии. Кривые регрессии обладают следующим свойством: среди всех действительных функций ϕ(x) мини-

мум M[(Y − ϕ(x))2 ] достигается для функции

ϕ(x) = M[Y / X = x],

т.е. регрессия Y по Х дает наилучшее в среднеквадратичном смысле предсказание величины Y по заданному значению Х = х. На практике это используется для прогноза Y по Х: если непосредственно наблюдаемой величиной является лишь компонента Х случайного вектора (X,Y) (например, Х - диаметр сосны), то в качестве прогнозируемого значения Y (высота сосны) берется условное математическое ожидание y(x). Наиболее простым является случай, когда регрессия Y по Х линейна:

y(x) = a0 + a1x .

Если (Х,Y) - случайный вектор, распределенный по двумерному нормальному закону, то [см. [2], с. 88] коэффициенты a0 и a1 опреде-

ляются равенствами:

так что уравнением регрессии является прямая линия

y(x) = mY + ρ σY (x − mX ) ,

σX

проходящая через центр рассеивания (mX , mY ) с угловым коэффициен-

В реальных экспериментах, связанных со статистической обработкой опытных данных, условный закон распределения случайной величины Y при условии Х = х обычно заранее не известен. В таком случае речь может идти лишь о каком-либо приближении к теоретической кривой регрессии, построенном на основе выборочных данных. Другими словами, задача заключается в подборе подходящей функциональной зависимости, наилучшим (в некотором статистическом смысле) образом приближающей стохастическую зависимость.

146

Во многих случаях можно считать, что "независимая" переменная Х находится под контролем экспериментатора и может быть измерена с любой заданной точностью, в то время как измеряемые значения Y как

функции от Х (выборочные значения yi при фиксированных xi ) опре-

деляются с ошибкой (содержат шум измерения). Если вид функциональной зависимости зафиксирован, то статистическую модель регрессии можно записать следующим образом:

где a0, a1,..., am - набор неизвестных параметров, определяющих функциональную зависимость (параметры регрессии); ε(xi ) - случайные величины, складывающиеся при каждом фиксированном xi из шума

измерений и ошибки модели. Разделить эти ошибки важно при исследовании качества построенной модели.

Следует иметь в виду, что наличие шума измерения делает невозможной задачу интерполяции, т.е. график искомой зависимости не должен проходить через все выборочные точки, он должен проходить таким образом, чтобы "сглаживался" шум. Поскольку уровень шума определяется дисперсией D[ε] , то задача состоит в подборе параметров

a0,...,am , минимизирующих D[ε] . В действительности минимизируется

не сама дисперсия (она неизвестна), а ее выборочная оценка, которая, как будет показано ниже, пропорциональна сумме квадратов отклонений (по оси Оу) кривой регрессии от соответствующих выборочных

значений yi , т.е. пропорциональна величине

k =1

Указанный критерий минимизации суммы квадратов отклонений носит название метода наименьших квадратов (МНК), а полученные в результате решения этой задачи оценки a~0, a~1,.., a~m параметров называ-

ются МНК-оценками. Основанием для выбора критерия МНК служит следующая теорема.

Теорема 9.1. Пусть в модели регрессии (9.1) случайные величины εi , i =1,2,...,n независимы в совокупности и одинаково распределены

по закону N (0, σ2 ) (физически условие M[εi ] = σ2 , i =1,2,...,n означает, что измерения проводятся с одинаковой точностью). Тогда МНК-оценки

147

a~0 ,a~1,..,a~M параметров регрессии совпадают с оценками максимального

правдоподобия.

Заметим, что по условию теоремы

M[ yk ] = yk0 = ϕ(xk ;a0, a1,...am ) ; D[ yk ] = D[εk ] = σ2,

поэтому наблюдаемые значения yk одинаково распределены по закону

N (yk0,σ2 ). Так как ε1, ε2,..., εn независимы в совокупности, то функция правдоподобия выборки запишется в виде

Из этого выражения следует, что max LY (σ2; a0 , a1,.., am ) min ∑n ε2k

k =1

что и требовалось доказать. Замечание. На практике ошибки измерений часто удовлетворяют по-

ставленнымвтеоремеусловиямвсилуцентральнойпредельнойтеоремы. Регрессионный анализ проводится в три этапа. На первом этапе по характеру корреляционного поля выдвигают гипотезу о виде функциональной зависимости ϕ(xk ;a0, a1,...am ) . Довольно часто используют

следующее представление для функции ϕ :

m

ϕ(xk ; a0 , a1,...am ) = a0 + ∑ak ϕk (x) , k =1

где ϕk (x) - известные координатные функции. Такая модель регрессии называется линейной по параметрам. В частном случае, когда ϕk (x) = xk , модель называется полиномиальной.

На втором этапе по имеющимся выборочным данным осуществляют подгонку модели, т.е. находят МНК-оценки неизвестных параметров регрессии a0 , a1,...am .

На третьем этапе анализируют качество построения модели: проверяются так называемые корректность и адекватность модели. Этот этап осуществляется средствами проверки статистических гипотез.

Пример 1. Построение прямой регрессии Y по Х.

148

Пусть получена выборка (xk , yk ) , k =1,2...,n из двумерного рас-

пределения (X,Y). Корреляционный анализ показал, что корреляционная связь Y по Х значима на некотором уровне . Выдвигается гипотеза о том, что уравнение прямой регрессии

y(x) = ax +b + ε(x)

должно хорошо аппроксимировать стохастическую зависимость Y от Х. Найти МНК-оценки параметров а и b.

Пусть задан план эксперимента, т.е. совокупность точек x1, x2,..., xn . Выбор этих точек - отдельная задача, решаемая в рамках

теории оптимального планирования эксперимента, на данном этапе она не обсуждается.

Часто точки x1, x2,..., xn распределяют эквидистантно, пере-

крывая интересующий нас интервал на оси Ох.

Искомые оценки являются решениями следующей задачи минимизации:

Применим классический метод поиска безусловного экстремума дифференцируемой функции ψ(a,b) . Запишем необходимые условия

экстремума:

dψ = 0;

da

dψ = 0.

db

Получаем следующую систему линейных алгебраических уравнений для неизвестных значений а и b:

Деля обе части на n и вводя обычные обозначения для выборочных характеристикслучайноговектора(X,Y), приводимданнуюсистемуквиду

149