2. Альтернативный метод нахождения параметров

уравнения парной регрессии



 

 

Традиционно параметры уравнения парной регрессии и оцениваются с помощью МНК, однако в случае парной регрессиn онной модели возможен и другой подход к оценке параметров реn грессионной функции. Запишем уравнение парной регрессии в следующем виде:

yy_yx x−x , (1)

где y — значение зависимой переменной;

x — значение независимой переменной;

^y — среднее значение зависимой переменной, вычисленное на основе выборочных данных. Чаще всего это значение выn числяется по формуле средней арифметической:



n

y_i

n

y ^i1 , (2)

i

_{где y — значения зависимой переменной,} i1,n; n — объем выборки;

x — среднее значение независимой переменной, которое выn числяется аналогично среднему значению зависимой переn менной;

yx

— выборочный коэффициент регрессии y по x. Он характеn ризует, насколько в среднем изменится результативный покаn затель y при изменении факторного показателя x на единицу своего измерения.

Вычисляется выборочный коэффициент регрессии y по x с поn мощью следующей формулы:



y

S

_yx r_yx _Sx , (3)

yx

где r — выборочный парный коэффициент корреляции, определяемый как:

yx−yx yx

y x

(4)

yx

Выборочный парный коэффициент корреляции показывает тесноту связи между изучаемыми признаками. Он изменяется в пределах [—1; +1]. Если r , то связь между признаками прямая. Если r_yx —, то связь между признаками обратная.

20

yx

yx yx

Если r = 0, то связь между признаками отсутствует. Если r = 1 или r =—1, то связь между изучаемыми признаками является функциональной, т. е. характеризуется полным соответствием между x и y. Примером функциональной зависимости могут слуn жить математические и статистические формулы, например: S = a². При таком значении парного коэффициента корреляции регресn сионный анализ между изучаемыми показателями не проводится. Данная связь не подлежит численной характеристике, так как на практике массовым социальноnэкономическим явлениям присуn щи иные виды связи (в частности, корреляционная связь);

_yx — среднее арифметическое значение произведения факторn ного и результативного признаков;

y

S — выборочное среднеквадратическое отклонение зависимой переменной y. Этот показатель характеризует, на сколько единиц в среднем отклоняются значения зависимого признака y от его среднего значения ^y. Он вычисляется по формуле:

S_y y² −y² ; (5)

^y2 — среднее значение из квадратов значений результативной переменной y:

y

n

_i²

n

y² ^i1 ; (6)

^y2 — квадрат средних значений результативной переменной y:

 



2

ⁿ 

 

 

1



_y2 _in^yi _{; (7)}

 

 

x

S — выборочное среднеквадратическое отклонение независиn мой переменной x. Этот показатель характеризует, на сколько единиц в среднем отклоняются значения независимого признака x от его среднего значения ⎯x. Он вычисляется аналогично среднеn квадратическому отклонению зависимого показателя y.

y x

yx

При оценивании коэффициента в модели регрессионной зависимости результативного показателя y от факторного показаn теля x с помощью рассмотренного метода следует помнить о том, что r_yx = r_xy , но _x _y.

21

ЛЕКЦИЯ № 4. Оценка дисперсии

случайной ошибки регрессии.

Состоятельность и несмещенность МНКГоценок.

Теорема Гаусса — Маркова

В большинстве случаев генеральная дисперсия случайной ошибки — величина неизвестная, поэтому возникает необходиn мость в расчете ее несмещенной выборочной оценки.

Несмещенной оценкой дисперсии случайной ошибки линейn ного уравнения парной регрессии является величина:

i

n

^e2

n

1







G²( )S²( )ⁱ ₋₂, 

где n — объем выборки;

e_i — остатки регрессионной модели:

i i i i





e y −y y −₀ −₁x_i .

Оценка дисперсии, вычисляемая по формуле (1), также назыn вается исправленной дисперсией.

В случае множественной линейной регрессии оценка дисперn сии случайной ошибки вычисляется по формуле:

1

i





e

2

n

_i ^S2^{( )}n−k−1^,



где k — число оцениваемых параметров модели регрессии. Оценкой матрицы ковариаций случайных ошибок _{ov( )} буn

дет являться оценочная матрица ковариаций:





C( )S²( )n, (2)

где In — единичная матрица.

2

Оценка дисперсии случайной ошибки уравнения регрессии подчиняется (хиnквадрат) закону распределения с (n — k — 1)





степенями свободы, где k — число оцениваемых параметров. Докажем несмещенность оценки дисперсии, т. е. необходимо

доказать, что (S²( ))G²( ).

22

n

 

Примем без доказательства следующее выражения: (S² ( ))ⁿ⁻¹G² ( ),





n

S²( )_n−1S²( ),



где G²() — генеральная дисперсия случайной ошибки; S²() — выборочная дисперсия случайной ошибки;

 

² _{( )} — выборочная оценка дисперсии случайной ошибки. Тогда:

−





−

 

(

 







n n

S²( ))_n−1S²( ) _n−1(S²( ))_nⁿ ₁ⁿ_n ¹G²( )G²( ),

что и требовалось доказать.

)

^{Таким образом,} S² (^{является несмещенной оценкой для}

G²().

Теоретически можно предположить, что оценка любого параn метра регрессии, полученная методом наименьших квадратов, состоит из двух компонент:

1) константы, т. е. истинного значения параметра;

2) случайной ошибки Cov(x,), вызывающей вариацию параn метра регрессии.

На практике такое разложение невозможно в связи с неизn вестностью истинных значений параметров уравнения регрессии и значений случайной ошибки, но в теории оно может оказаться полезным при изучении статистических свойств МНКnоценок: состоятельности, несмещенности и эффективности.

.

1

^{Докажем, что значение МНКnоценки} ^{зависит от величины}

случайной ошибки 



МНКnоценка параметра регрессии рассчитывается по формуле:

.





^{Cov(x,y) 1} G²(x)

Ковариация между зависимой переменной y и независимой переменной x может быть представлена как:

x











Cov(x,y)Cov(x,( ₀ ₁x))Cov(x, ₀)Cov(x, ₁ )Cov(x, ). 

Дальнейшие преобразования полученного выражения провоn дятся исходя из свойств ковариации:

1) ковариация между переменной x и какойnлибо константой ^{A равна нулю:} Cov(x,A)0, где Aconst;

23

1

 



 .





2) ковариация переменной x с самой собой равна дисперсии ^{этой переменной:} Cov(x,x)G²(x).

Следовательно, на основании свойств ковариации можно заn писать, что:





Cov(x, ₀ )0, так как ₀ const;







Cov(x, ₁ x )₁ Cov(x, x )₁ G ²(x).

Таким образом, ковариация между зависимой и независимой переменными Cov(x, y) может быть представлена в виде выражеГ ния:

1



Cov(x,y)G²(x)Cov(x, ).





В результате несложных преобразований МНКnоценка параn метра уравнения регрессии ₁ принимает вид:

G²(x)Cov(x, ) Cov(x, ) ¹ G² (x) ¹ G²(x)

(3)



1

Из формулы (3) следует, что МНКnоценка действительно моn жет быть представлена как сумма константы и случайной ошибки Cov(x, ), которая и вызывает вариацию данного параметn

ра регрессии.

0

_{Аналогично доказывается, что и оценка параметра регрессии} ,

)

полученная методом наименьших квадратов, и несмещенная оценка дисперсии случайной ошибки ² (могут быть предстаn влены как сумма постоянной составляющей (константы) и слуn чайной компоненты, которая зависит от ошибки уравнения реn грессии .