Несмещенность оценок параметров регрессии
|
__ |
|
|
|
|
|
|
|
mˆ xy x y |
, |
|
|
__ |
|
формула (3) |
|
x2 x 2 |
|
|
|
ˆ |
|
|
|
b y mˆ x. |
|
|
|
|
|
|
Доказательство несмещенности параметра m:
|
|
__ |
|
Mmˆ |
xy x y |
||
M |
__ |
|
|
|
|
|
2 |
|
x2 x |
|
|
Несмещенность оценок параметров регрессии
В силу детерминированности X, свойств математического ожидания
__
и определения x, y, xy
|
|
1 |
n |
1 |
n |
|
|
1 |
n |
1 |
n |
|
|
|
M |
xi yi x |
|
yi |
|
|
xiMyi x |
|
Myi |
||
Mmˆ |
|
n i 1 |
n i 1 |
|
|
n i 1 |
n i 1 |
|||||
|
__ |
|
|
|
|
|
__ |
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
x2 x2 |
|
|
|
|
|
|
x2 x2 |
|
|
Так как Myi=mxi+b, то, после приведения подобных членов,
получаем |
Mmˆ m, |
|
что и требовалось доказать
Несмещенность оценок параметров регрессии
Доказательство несмещенности параметра b:
Mbˆ M y mˆ x
В силу свойств математического ожидания и детерминированности X, получаем: Mbˆ My xMmˆ.
Так как Mmˆ m и по определению y имеем:
Mbˆ M 1 n y xm
n ii 1
Несмещенность оценок параметров регрессии
Так как Myi=mxi+b, и в силу свойств математического ожидания получаем:
ˆ |
1 |
n |
1 |
n |
Mb |
|
(mxi b) mx m |
|
xi b mx mx mx b b, |
|
n i 1 |
n i 1 |
||
что и требовалось доказать
Теорема Гаусса-Маркова
В условиях классической нормальной регрессионной модели оценки (3) имеют наименьшую дисперсию в классе всех линейных несмещенных оценок.
(3) - самые эффективные оценки - Best Linear Unbiased Estimates (BLUE)
ˆ 2
s2
где
ОЦЕНИВАНИЕ ДИСПЕРСИИ ВОЗМУЩЕНИЙ
|
1 |
ei2 |
e |
|
|
Cмещенная оценка |
|||
|
n |
|
|
Q |
|
|
|||
|
n i 1 |
n |
n |
|
Qe |
|
|
||
|
|
1 |
|
|
|
|
|
||
|
|
|
ei2 |
|
Несмещенная оценка |
||||
|
|
|
|
|
|
||||
|
n |
2 i 1 |
|
|
n |
2 |
|||
|
|
|
|
|
ˆ |
|
|
|
Число неизвестных |
|
|
|
|
|
|
|
|
параметров (m, b) |
|
ei yi yˆi yi b |
mˆ xi |
||||||||
ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ
|
|
Обозначим: |
|
|
|
|
|
|
||
|
|
|
|
ˆ |
yi |
yˆi |
, |
|
|
|
|
|
yˆi mˆ xi b, ei |
|
|
||||||
|
|
n |
2 |
n |
|
|
2 |
n |
ˆ |
2 |
|
|
Qe ei |
(yi yˆi ) |
|
||||||
|
|
|
|
( yi mˆ xi b) |
|
|||||
|
|
i 1 |
|
i 1 |
|
|
|
i 1 |
|
|
|
y |
|
|
|
|
|
|
|
|
Qe- остаточная сумма |
y |
|
|
|
|
|
|
|
ˆ |
y |
|
i |
|
|
|
|
|
|
|
|||
y |
ei |
|
|
|
|
|
yi |
|
||
|
|
|
|
|
|
|
|
поле корреляции |
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
yˆi |
|
|
|
|
|
|
|
|
|
xi |
|
|
|
|
x |
|
|
|
|
|
|
|
|
|
|
|
|
ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ
Компоненты
дисперсии
Регрессионная
Остаточная
Общая
Сумма |
|
|
|
Число |
|
квадратов |
|
|
степеней |
||
|
|
|
|
|
свободы |
|
n |
|
y)2 |
|
p |
QR (yˆi |
|
|
|||
|
i 1 |
|
|
|
|
|
|
|
2 n-(p+1) |
||
Q n |
(y yˆ |
) |
|||
e |
|
i |
i |
|
|
|
i 1 |
|
|
|
|
|
|
|
|
|
n-1 |
|
n |
|
y)2 |
||
Q |
(yi |
|
|||
|
i 1 |
|
|
|
|
|
|
|
|
|
|
Средние
квадраты
sR2 QR |
|
|||
|
|
|
p |
|
|
|
|
|
|
s |
2 |
|
Qe |
|
|
n (p 1) |
|
||
ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ
Чем меньше остаточная сумма Qe, тем выше качество модели.
Чем больше регрессионная сумма QR, тем выше качество модели.
Чем больше отношение QR/Qe, тем выше качество модели.
Для перехода к стандартному распределению следует рассматривать не суммы, а средние квадраты.
ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ
s2 |
~ 2( p) |
|
|
|
|
|
Q Q Q |
|
||||||||
Можно доказать, что |
|
|
|
R |
e |
|
||||||||||
R |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
2 |
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
~ |
(n |
p |
1) регр модели |
|
|
|||||||||||
se |
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
QR |
|
|
В условиях классической норм |
|||||
|
|
s2 |
|
|
|
|
|
|
|
|
Q (n p 1) |
|
|
|||
|
|
|
|
|
p |
|
|
|
|
|
|
|
||||
F |
|
R |
|
|
|
|
|
|
|
|
|
R |
|
|||
se2 |
|
Qe |
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
Qe p |
|
|
||||
|
|
|
|
n p 1 |
|
|
|
|
|
|||||||
F статистика _ с _ степенями _ свободы k1 p,k2 n p 1