2. Эффективность мнКйоценок. Теорема Гаусса—Маркова

С помощью теоремы Гаусса — Маркова доказывается эффекn тивность оценок неизвестных параметров уравнения регрессии, полученных с помощью МНК.

Нормальная, или классическая, линейная модель парной реn грессии (регрессии с одной переменной) строится исходя из слеn дующих предположений:

i

1) факторный признак x является неслучайной или детермиn

;

нированной величиной, не зависящей от распределения слуn

i

чайной ошибки уравнения регрессии 



2) математическое ожидание случайной ошибки уравнения

i

_{регрессии равно нулю во всех наблюдениях:} ( )0, _где i1,n;

i





3) дисперсия случайной ошибки уравнения регрессии является постоянной для всех наблюдений: D( _i )( ² )G² const;

27







,





4) случайные ошибки уравнения регрессии не коррелированы







между собой, т. е. ковариация случайных ошибок любых двух разn

_{ных наблюдений равна нулю:} Cov( _i, _j )( _i_j )0, где ij. Это верно тогда, когда изучаемые данные не являются временn ными рядами;

i

5) основываясь на 3 и 4nм предположениях, добавляется услоn вие о том, что ошибка уравнения регрессии является случайn ной величиной, подчиняющейся нормальному закону распреn деления с нулевым математическим ожиданием и дисперсией G² / ∼N(0,G²).

 n

Тогда оценки неизвестных параметров уравнения регрессии, полученные методом наименьших квадратов, имеют наименьn шую дисперсию в классе всех линейных несмещенных оценок, т. е. оценки МНК являются эффективными оценками неизвестных параметров , ј, .

Для нормальной линейной модели множественной регрессии теорема Гаусса — Маркова звучит точно так же.



Дисперсии МНКnоценок неизвестных параметров записыn ваются с помощью матрицы ковариаций. Матрица ковариаций МНКnоценок параметров линейной модели парной регрессии выглядит так:





Cov( )^G2 ^{( 0 )}

 ⁰

₀ _G2( 1₎



где _G² _{( 0 )} — дисперсия МНКnоценки параметра уравнения регрессии;

−







^G2( ₁⁾ —дисперсия МНКnоценки параметра уравнения регрессии . Общая формула для расчета матрицы ковариаций МНКnоцеn

^{нок коэффициентов регрессии:} Cov( )G²( )(X^T X ) ¹,

)

^где G² ( ^{— дисперсия случайной ошибки уравнения регрессии.} Рассмотрим процесс определения дисперсий оценок коэффиn

циентов линейной модели парной регрессии, полученных с поn

мощью метода наименьших квадратов.



Дисперсия МНКnоценки коэффициента уравнения регрессии :

 

0

 

 

G x

)

(



²  ² G²() _n 1_{G2 (x)} ;



дисперсия МНКnоценки коэффициента уравнения регрессии :

28





(

)

2



G²( ₁)_n ^G _G2(x),



где ^G2 ^{( )} — дисперn

сия случайной ошибки уравнения регрессии ;

_G²_(x) — дисперсия независимого признака уравнения реn грессии;

n — объем выборочной совокупности.

На практике значение дисперсии случайной ошибки уравнеn



)

ния регрессии G² (зачастую неизвестно, поэтому для опредеn ления матрицы ковариаций МНКnоценок применяют оценку дисперсии случайной ошибки уравнения регрессии ^{S2( ).} В слуn чае парной линейной регрессии оценка дисперсии случайной ошибки будет рассчитываться по формуле:

n

−





i

n

^e2 G²( )S²( )^i1 ₂ ,

i i i

_где e² y −y _{— остатки регрессионной модели.}

Тогда общую формулу для расчета матрицы ковариаций МНКnоценок коэффициентов регрессии на основе оценки дисn персии случайной ошибки уравнения регрессии можно записать следующим образом:

−1





G( )S²( )(X^T X) .



В случае линейной модели парной регрессии оценка дисперсии МНКnоценки коэффициента уравнения регрессии :

 

n n

i

2

e²  x_i

n

0

1 1

S² () ^{i i} ; ^{n(n−2)}^(x_i ^−x)2

1

i



оценка дисперсии МНКnоценки коэффициента уравнения реn грессии :

n

1

i

n

^e2 S²() ^i1 .

^(n−2)^(x_i ^−x)2



i 1

29

ЛЕКЦИЯ № 5. Определение качества модели

регрессии. Проверка гипотез о значимости коэффициентов регрессии, корреляции

и уравнения парной регрессии

Качество модели регрессии — адекватность построенной моn дели исходным (наблюдаемым) данным.

Качество парной линейной регрессии определяется с поn мощью парного линейного коэффициента корреляции:

r   ,

xy−xy Cov(x, y ) ^yx G(x)G(y) G(x)G(y)

где G(x) — среднеквадратическое отклонение независимого призn нака;

G(y) — среднеквадратическое отклонение зависимого признака.

Коэффициент парной линейной корреляции можно рассчиn _{тать через МНКnоценку параметра уравнения регрессии} :

r .





G(x) ^yx G(y)

−

yx

Парный коэффициент корреляции показывает тесноту связи между изучаемыми признаками. Он изменяется в пределах [−1; + 1]. Если r то связь между признаками прямая. Если r_yx −, то связь между признаками обратная. Если r_yx= 0, то связь между признаками отсутствует. Если r_yx = 1 или C = 1,то связь между изучаемыми признаками является функциональной,

т. е. характеризуется полным соответствием между x и y. Чем блиn

же |r_xy| к 1, тем более тесной считается связь между изучаемыми признаками.

Парный коэффициент корреляции определяется для количеn ственных переменных.

Если парный линейный коэффициент корреляции r_yx возn

вести в квадрат, то получим коэффициент детерминации r²_yx. Данный коэффициент показывает, на сколько процентов вариаn

ция результативного признака объясняется вариацией факторноn

го признака в общем объеме вариации.

Чтобы оценить качество линейной множественной модели реn грессии, необходимо воспользоваться теоремой о разложении дисперсий.

30

.

,

i



Общая дисперсия зависимой переменной может быть разлоn жена на две составляющие — объясненную и необъясненную поn строенным уравнением регрессии дисперсии:





G²(y)²(y)²(y),

где

n

(y_i −y_i )²

2



(y)^{i 1} _n

— объясненная с помощью поn строенного уравнения регрессии дисперсия переменной y;

y

( )





i

n

^{— необъясненная или осn} ^e2 таточная дисперсия переn ^{2 i 1} менной y. ⁿ



С помощью данной теоремы можно рассчитать множественn ный коэффициент корреляции между результативным признаn ком y и несколькими факторными признаками x:

R_y 

²(y)

G²(y)

Множественный коэффициент корреляции показывает тесn ноту связи между результативным и факторными признаками. Трактовка его значений аналогична трактовке значений парного линейного коэффициента корреляции.

Квадрат множественного линейного коэффициента корреляn ции называется теоретическим коэффициентом детерминации:

R .



2

₂ (y) ^y G² (y)

y

Этот коэффициент показывает, на сколько процентов вариаn ция результативного признака объясняется вариацией факторn ных признаков x. Величина 1−R ² показывает ту долю вариации

результативного признака, которую модель регрессии учесть не смогла.

n

Среднеквадратическая ошибка (Mean square error — MSE) уравнения регрессии схожа по построению с показателем средГ неквадратического отклонения:

MSE 

^e2 i1

n−h

где h — число параметров уравнения регрессии.

31

Если MSEокажется меньше y, то построенную модель можn но считать качественной. Показатель среднеквадратического отn клонения наблюдаемых значений зависимой переменной от моn дельных значений, рассчитанных по уравнению регрессии, определяется как:

1

i

n



^e2 (y)^i_n .

Показатель средней ошибки аппроксимации рассчитывается по формуле:

.

A 

i



₁ ⁿ y−y ^y n _i1 y_i

Максимально допустимым значением данного показателя считается 12—15%. Если средняя ошибка аппроксимации составn ляет менее 6—7%, то качество модели считается хорошим.