12. Предпосылки метода наименьших квадратов (мнк)

Пусть поле корреляции такое, что точки (Xi; Yi) примерно наход–ся на некоторой прямой:

Т огда в природе связь м/у перем–ми X и Y явл–ся линейной и уравнение регрессии имеет вид: y=β0+β1x+ε (1)

здесь β0, β1– коэф–ты, которые неизвестны, а ε– случайный фактор возмущения.

Уравнение (1) будем наз–ть модельным уравнением регрессии, т.к. коэф β0, β1 неизвестны, а известны статистич–е данные (Xi; Yi), i=1,n (сверху черточка), то возникает задача оценки по имеющ–х выборки уравнения (1).

Такой оценкой явл–ся выбороч–е ур–е регрессии.

y˜=b0+b1x (2)

Построение ур–ия (2) сводится к определению параметров b0, b1, которые будут точечными оценками коэф β0, β1 соотв–но.

Точечные оценки можно получать различными методами.

Нап., существет «Наивный» способ:

Б ерем 1-ую и n–ую точки и соединяем прямой

b1=tgα (тангенс альфа)

Однако этот метод не явл–ся научно–обоснов–ым и дает «плохие» оценки.

В эконометрике наиб–е распостр. для получ–я параметров ур–я регрессии получил МНК.

Этот метод дает «хорошие» оценки не всегда, а при выполнении опред–х условй.

Выборочные знач–ия (Xi; Yi) должны удовлетв–ть ур–ю (1), т. е.

Yi= , i = 1,n (сверху черточка) (3)

Чтобы МНК дал «хорошие» оценки должны выпол–ся след–е предпосылки МНК относит. ур–я (3).

1. В ур–ии (3) возмущение явл–ся случ. величинами, а знач–е объясняющей перем. Xi – есть неслуч. величины.

2. M(εi)=0, i=1,n (сверху черточка)

3. D(εi)=σ²=const. Это свойство наз–ют гомоскедастичностью возмущений (одинаковый разброс). Если это св–во не выполн–ся, т.е. D(εi)=σi², то это наз–ют гетероскедастичностью (различный разброс).

4. M(εi * εj )=0, i ≠ j, т. е. возмущения в различных наблюдениях не явл–ся коррелиров–ми.

5) εi~N (0, σ²)

Если модель (3) удовл–ет указ–ым предпосылкам, то ее наз–ют нормальной классической линейной регрессионной моделью.

13. Мнк и мнк-оценки параметров парной регрессии. Теорем Гаусса-Маркова

Согласно МНК неизвест–е b0 и b1 выбир–ся таким образом, чтобы сумма квадратов отклонений статистич. значений yi от значений , опред–х по формуле , i = 1,n была минимальной.

Здесь ei = yi - – остаток в i-ом наблюд–ии

Сумма квадратов отклон–ий: Q( ) = (1) д.б. линейной

Для нахожд–я минимума функции 2–х перем–х (1) приравнив–м частные производные к 0.

Q/ =0 ; Q/ =0

В итоге получаем след–е формулы для опред–я параметров и .

(2)

Формулу (2) наз–ют МНК–оценками, здесь

= 1/n Σxi = 1/nΣyi =1/nΣxiyi =1/nΣxi²

Теорема (Гаусса–Маркова):

Если регрессионная модель формулы Yi= , i = 1,n (3) удовл–ет предпосылкам 1)–4), т.е.:

1. В ур–ии (3) возмущение явл–ся случ. величинами, а знач–е объясняющей перем. Xi – есть неслуч. величины.

2. M(εi)=0, i=1,n (сверху черточка)

3. D(εi)=σ²=const. Это свойство наз–ют гомоскедастичностью возмущений (одинаковый разброс). Если это св–во не выполн–ся, т.е. D(εi)=σi², то это наз–ют гетероскедастичностью (различный разброс).

4. M(εi * εj )=0, i ≠ j, т. е. возмущения в различных наблюдениях не явл–ся коррелиров–ми.

то МНК оценки имеют наименьшую дисперсию в классе всех линейных несмещенных оценок, т.е. они явл–ся несмещенными и эффективными.