3) Предположения о том, что дисперсия случайной ошибки уравнения регрессии является постоянной для всех наблюдеn ний и ковариация случайных ошибок любых двух разных набn

13



















.





G

людений равна нулю, можно записать с помощью ковариациn онной матрицы случайных ошибок нормальной линейной моn дели парной регрессии:

²



⁰



₀

_{0 0} ^G2 ⁰ 



^{0 G2} 

(3)



Данную ковариационную матрицу можно преобразовать следуюГ

щим образом:

₁

G

^20



0

0

1

0

₀ 

 

⁰ _{G2 n,}



1





где G² — дисперсия случайной ошибки уравнения регрессии ; I_n — единичная матрица размерности n n.

Ковариация — это показатель тесноты связи между изучаемыn

ми переменными, которая вычисляется по формуле:

Covx, yx y−x y,

где ^xy — среднее арифметическое значение произведения факторного и результативного признаков:



n

i

x_i y xy^i1 _n .

На диагонали ковариационной матрицы случайных ошибок нормальной линейной модели парной регрессии располагаетn ся дисперсия случайных ошибок, так как ковариация переn менной с самой собой равна дисперсии переменной. Таким образом:

,





Cov()G²( );

4) случайная ошибка уравнения регрессии имеет нормальный закон распределения:



~N(0,G²n).









ЛЕКЦИЯ № 3. Методы оценивания

и нахождения параметров уравнения регрессии.

Классический метод наименьших квадратов (МНК)

 n

На первом этапе проведения регрессионного анализа была выбрана функция f(x), отражающая зависимость результативного признака y от факторного признака x. Необходимо оценить неизn вестные параметры модели. В качестве методов оценки неизвестn ных параметров уравнения регрессии ј, могут выступать:

1) сумма квадратов отклонений наблюдаемых значений реn зультативного признака y от теоретических значений y, расn считанных на основании регрессионной функции, f(x):

n



F  (y_i −f (x_i , ))²

1

i

n

или F  (y_i −y_i )².

1

i

Этот метод оценивания неизвестных параметров уравнения регрессии называется методом наименьших квадратов (МНК). Термин МНК был впервые использован в работе А. М. Лежанй дра в 1805 г. Можно выделить следующие достоинства метода:

а) расчеты сводятся к механической процедуре нахождеn ния коэффициентов;

б) доступность полученных математических выводов. Основным недостатком МНК является чувствительность оцеn нок к резким выбросам, которые встречаются в исходных данn ных.

2) сумма модулей отклонений наблюдаемых значений резульn тативного признака y от теоретических значений _y (рассчиn танных на основании регрессионной функции ) f(x):

n



F  y_i −f (x_i , )

i1

n

или F  y_i −y_i .

i1

Основным достоинством метода является нечувствительность оценок к резким выбросам (в отличие от МНК). Среди недоГ статков можно выделить следующие:

а) сложности в ходе вычислительной процедуры;

б) зачастую большим отклонениям в исходных данных следует придавать больший вес для уравновешивания их в общей сумме наблюдений;

15



 n

в) неодинаковым значениям оцениваемых параметров ј, могут соответствовать одинаковые суммы модулей отклоn нений;

 

n n



F  g(y_i −f (x_i, )) или F  g(y_i −y_i ), i1 i1

где g — мера или вес, с которой отклонение (y_i — f(x_i,)) входит в функционал F. Примером меры g является функn

ция Хубера, которая при малых значениях переменной x является квадратичной, а при больших значениях x — лиn

нейной:



_x²_{, x c}







g(x)2cx−c², x c −2cx−c², x−c ,

где c — ограничения функции.

 n

Третий метод оценки неизвестных параметров уравнения реn грессии , ј, — объединие достоинства предыдущих двух меn тодов. Оценки неизвестных параметров, найденные с его помоn щью, являются менее чувствительными к случайным выбросам в исходных данных, чем оценки, полученные МНК. Этот метод применяют, когда выборка сильно «засорена».

 n

Для нахождения оптимальных значений неизвестных паn раметров , ј, необходимо минимизировать функционал F по данным параметрам:



n



1) F  (y_i −f (x_i, ))² min _{— процесс минимизации}

 n



^{i 1} функционала F состоит в отыскании таких параметров , ј, , при которых сумма квадратов отклонений наблюдаемых значений результативноn го признака yот теоретических значений y была бы минимальной;



n

i i



2) F  y −f (x , ) min ^{— процесс минимизации} i1 функционала F состоит

 n

в отыскании таких параметров , ј, , при которых сумма

модулей отклонений наблюдаемых значений результативного признака yот теоретических значений ^y была бы минимальной;

n



3) F  g (y_i −f (x_i, ))min

i1

— процесс минимизации функционала F состоит

16

 n

в отыскании таких параметров , ј, , при которых сумма отклонений наблюдаемых значений результативного признаn ка y от теоретических значений ^y с учетом заданных весов g была бы минимальной.

Наиболее распространенным методом оценивания параметn ров уравнения регрессии является метод наименьших квадратов.