13. Оценка параметров парной регрессионной модели методом наименьших квадратов (мнк) в координатной форме.

Подставим вектор оценок параметров модели ( ) в выражение оценки эндогенной переменной ( , получим:

где

матрица линейного преобразования, матричный оператор, называемый проектором, в силу свойства идемпотентности (матрица N совпадает со своим квадратом: ):

Таким образом, элементы вектора оценок являются проекцией вектора наблюдений У на плоскость L, проходящую через векторы, яв­ляющиеся столбцами расширенной матрицы регрессоров: I =(l,...,l)^T

и X. Вектор остатков е = У - , в соответствии с методом наименьших квадратов, должен иметь наименьшую длину, так как критерий отбора (функционал качества) МНК, в матричной форме, есть не что иное, как квадрат нормы вектора остатков

длина элемента евклидова пространства.

Длина будет наименьшей, если вектор е ортогонален плоскости L, т. с. ортогонален каждому вектору, принадлежащему данной плоскости, в частности, векторам / и X, а это означает, что скалярные произведения соответствующих векторов должны быть равны нулю, т. е.

Таким образом, мы снова получили необходимые условия экстре­мума — систему нормальных уравнений, в результате решения которой получаются МНК-оценки параметров модели, обеспечивающие мини­мальное значение функционалу качества.

14. Доказательство несмещенности МНК-оценки свободного члена в парной регрессионной модели.

Используем уравнение: = a + b

a = - b

15.Доказательство несмещенности МНК-оценки параметра при регрессоре в парной регрессионной модели.

МНК-оценка параметра при регрессоре несмещенная, так как математическое ожидание оценки этого параметра равно его истинному значению

16. Несмещённая оценка дисперсии возмущений модели парной регрессии.

Математическое ожидание суммы квадратов остатков:

где - след автоковариационной матрицы, который равен сумме её диагональных элементов.

=

Так как .

Таким образом, несмещённая оценка дисперсии возмущений:

Обозначения:

– автоковариационная матрица вектора остатков

, где

17. Основные числовые характеристики вектора оценок параметров классической регрессионной модели.

Теорема Гаусса—Маркова. Пусть матрица X имеет полный ранг. При выполнении условий Гаусса—Маркова МНК-оценки параметров а, b относятся к классу линейных по Y, несмещенных оценок с минимальной дисперсией.

1. Вектор оценок параметров =(X^TX)^-1X^TY=AY, где размерность А=(k,n)

2. Математическое ожидание E= =Axβ=I_k*β=β.

Оценка называется эффективной, если она удовлетворяет критерию E( ( (

- альтернативная оценка, полученная по выборке того же объема.

Эффективность несмещенных оценок

Критерий эффективности: E = min(по )Var{ }. Несмещенная оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с другими оценками в классе выбранных процедур,

3. Автоковариационная матрица вектора оценок параметра

Оценка автоковариационной матрицы: Оценка дисперсии

Несмещенная оценка дисперсии возмущений: , где (n-k)число степеней свободы.

Выводы: МНК оценки параметров являются: а) несмещенными, б) линейными, в) эффективными, по теореме Гауса-Маркова.