1. Состоятельность и несмещенность мнКйоценок
Для того чтобы оценку i , полученную с помощью метода наименьших квадратов, можно было бы принять за оценку параn метра i , необходимо и достаточно, чтобы оценка i удовлетвоn ряла трем статистическим свойствам: несмещенности, состояn
тельности и эффективности.
1. i называется несмещенной оценкой для параметра i , если ее выборочное математическое ожидание равно оцениваемому параметру генеральной совокупности, т. е.
(i )i , (3)
24
2
−
1
i
2
−
1 1
i
)
−
i i i ,
где — смещение оценки.
1
Докажем, что МНКnоценка 1 является несмещенной оценn кой параметра для нормальной линейной регрессионной модеn
ли. Исходя из предпосылок данной модели, можно записать: 1) x — неслучайная детерминированная величина;
2) G2(x) = const — дисперсия независимого признака является известной постоянной величиной;
3) E(Cov(x,)) = 0 — случайная ошибка и независимый призn нак не коррелированы между собой;
i
4) E() = 0 — математическое ожидание случайной ошибки уравнения равно нулю во всех наблюдениях;
1 2 1 2
5) Cov(, ) = E(, ) = 0 — случайные ошибки уравнения реn грессии не коррелированы между собой, т. е. ковариация слуn чайных ошибок любых двух разных наблюдений равна нулю. Исходя из определения свойства несмещенности необходимодоказать, что 1 1.
Доказательство через ковариационную матрицу:
Cov(x,1 1 G2(x)
Cov(x, )
1 G2(x)
0
1G2(x)1
или в развернутом виде
() (xi −x) (xi x)
(xi −x) (xi x)
1
.
−
2
1
i
(xi −x) xi x
1
Таким образом, МНКnоценка является несмещенной оценn
кой параметра .
0
Несмещенность МНКnоценки доказывается аналогично. Запишем доказательство несмещенности МНКnоценок параn
1
метров в матричной форме:
)
− −
((XT X ) 1 XTY )(XT X) 1 XT (X
(XT X)−1 XT X (XT X)−1 XT (( XT X)−1 XT ( ) ) ,
i
,
т. е. что доказывает несмещенность МНКnоценок параметров .
25
2. i является состоятельной оценкой для параметра i , если она удовлетворяет закону больших чисел (ЗБЧ). Закон больших
чисел гласит о том, что с увеличением выборки значение оценки i стремится к значению параметра i генеральной совокупности:
Pi −i 1при n. (4)
Это же условие можно записать с помощью теоремы Бернулли:
P
i ⎯⎯i при n,
т. е. значение оценки i сходится по вероятности к значению параметра i генеральной совокупности при условии, что объем
выборки стремится к бесконечности.
Для определения состоятельности оценки достаточно выполn нения двух условий:
i i
1) = 0 или 0 при n — смещение оценки равно нулю или стремится к нему при объеме выборки, стремящемся
к бесконечности;
2) G2(i )0 при n— дисперсия оценки параметра стреn мится к нулю при объеме выборки, стремящемся к бесконечn
ности.
Докажем первое условие состоятельности для МНКnоценки 1 : 1 1 −1 1 −1 0.
Докажем второе условие состоятельности для МНКnоценки:
2
−
1
i
)
1 1
2 G2()( −2 (xi −x)
(xi x)
2
−
i
(xi −x) 2 2 (xi x)
2 2
i
(xi −x)2 2 G2(x) . (xi −x)2 (xi −x)
i
Докажем состоятельность МНКnоценок параметров в матn ричной форме:
26
,
2
T
Cov( )( −)− ((XT X)−1 XT T X(XT X)−1)= ( XT X)−1 ( T)X( XT X)−1 G ( )( XT X)−1
1
1
Таким образом, МНКnоценка подчиняется нормальному заn кону распределения с математическим ожиданием и дисперсией
2
−
1 1
i
(G2 (x)/ (x −x)2 ) / ~ N; G2 (x) (xi x)
1
−
или 1 ~ N 1; G2( )(X T X)22 ,
22
где индекс указывает на расположение дисперсии параметра в матрице ковариаций.Состоятельность МНКnоценки 0 доказывается аналогично.
Величины
S
X X
S
2 T −1 1 22
1
0
называются оценками стандартных ошибок МНКГоценок и Эффективность МНК—оценок доказывается с помощью теоn
ремы Гаусса—Маркова.
Таким образом, оценки параметров уравнения регрессии и дисперсии случайной ошибки, полученные методом наименьn ших квадратов, являются оптимальными оценками, т. е. несмеn щенными, состоятельными и эффективными.