Метод наименьших квадратов. Свойства коэффициентов регрессии.

1. Что такое ковариация?

Ковариация – мера взаимосвязи (линейной зависимости) 2х случайных величин (переменных). Cov(x,y)=E[(x-μ_x)(y-μ_y)]. Ковариация в оценке силы связи между переменными не так полезна, как корреляция.

2. Что выражает ковариация переменных в регрессионной модели?

Зависимость или независимость переменных модели.

3. Каковы основные этапы построения и анализа регрессионной модели?

• Выдвижение рабочей гипотезы - Построение модели

• Анализ качества и интерпретация модели - Определение путей изменения модели

• Выдвижение новых гипотез и построение новых моделей. - Практическое использование модели

4. В чем роль теоретической (гипотетической) регрессии в прикладном эконометрич. анализе?

Теоретическая (гипотетическая) регрессия позволяет производить теоретические расчеты (имеется в виду оценка последствий изменений значения какой-то объясняющей переменной), а также она используется для прогнозирования значений зависимой переменной.

5. Почему расчетная регрессия не совпадает с теоретической?

Из-за наличия случайного члена невозможно рассчитать истинные значения ,α при попытке определить положение линии регрессии, т.к. остатки не совпадают со значениями случайного члена.

6. В чем состоит разница между случ членом регрессии и остатками в регрессионном анализе?

Случайный член указывает на то, что существует случайная составляющая, которая влияет на зависимую переменную; остаток - измеренная величина отклонения между фактическим и расчетным значением переменной. Случайный член (u_i) включается в регрессию для подтверждения существования случайного фактора, оказывающего влияние на зависимую переменную. Y_i=β₁+β₂X_i+u_i

Остаток (e_i) – измеримая разность между действительной величиной Y в соответствующем наблюдении и расчетным значением по регрессии. e_i=Y_i-

7. В чем состоит идея метода наименьших квадратов?

Идея МНК основана на том, чтобы минимизировать сумму квадратов отклонений расчетных значений от эмпирических, т.е. нужно оценить параметры о функции f(a,x) таким образом, чтобы ошибки еi= уi-f(а,х), точнее - их квадраты, по совокупности были минимальными. Для этого нужно решить задачу минимизации суммы квадратов остатков S=e12+..+en2 в минимизации суммы квадратов остатков:

8. В чем состоят основные достоинства и недостатки метода наименьших квадратов с точки зрения прикладной эконометрики?

Достоинства:

1. Наиболее простой метод выбора значений b₁ и b₂, чтобы остатки были минимальными;

2. При выполнении условий Гаусса-Маркова МНК-оценки будут наилучшими (наиболее эффективными) линейными (комбинации Y_i) несмещёнными оценками параметров регрессии (b₁ и b₂₎.

Условия Гаусса-Маркова: - модель линейна по параметрам и правильно специфицирована;

• объясняющая переменная в выборке имеет некоторую вариацию;

• математическое ожидание случайного члена равно нулю;

• случайный член гомоскедастичен;

• значения случайного члена имеют взаимно независимые распределения;

• случайный член имеет нормальное распределение

Недостатки:

МНК-оценки являются эффективными линейными несмещёнными ТОЛЬКО при выполнении ВСЕХ условий Гаусса-Маркова, что на практике встречается редко.

9. Как получить уравнения метода наименьших квадратов, используя производные?

y=a+bx; S²=∑(y_i-a-bx_i)²=> (S²)_a^’=0 и (S²)_b^’=0

Условия первого порядка для точки минимума: и И

10. Как выписать уравнения метода наименьших квадратов, не используя производные?

11. Пусть выборка состоит из трех точек (x1, y1), (x2, y2), (x3, y3). Как вывести уравнения метода наименьших квадратов, используя условия первого порядка для производных.

12. Как коэффициенты регрессии выражаются через основные статистические характеристики выборки (среднее, дисперсия, ковариацию и др.).

13. Почему коэффициенты регрессии могут рассматриваться как случайные переменные? Каковы практические последствия этого факта?

Значения коэффициентов не могут быть точно предсказаны, находится их оценка (как частный случай). Коэффициент регрессии, вычисленный методом наименьших квадратов, - особая форма случайной величины, свойства которой зависят от свойств случайного члена в уравнении. Коэффициент регрессии, полученный по любой выборке, состоит из 2 слагаемых: 1) постоянной величины, равной истинному значению коэффициента, и 2) случайной составляющей, зависящей от случайного члена в выборке.

Последствия этого факта таковы, что возникает отклонение фактического значения от расчетного, в результате которого образуются остатки.

14. Что означает, что оценка коэффициента регрессии является несмещенной?

МО оценки равняется соответствующей характеристике генеральной совокупности.

15. Что означает, что оценка коэффициента регрессии является эффективной?

Она является надежной\точной с определенным уровнем значимости и чем он меньше, тем меньше вероятность ошибки (функция плотности вероятности распределения как можно более сжата вокруг истинного значения, т.е. дисперсия данной оценки минимальна). P-value низкий, что означает маленькую вероятность ошибки.

16. Что означает, что оценка коэффициента регрессии является состоятельной?

Это оценка, которая дает точное значение для большой выборки независимо от входящих в нее конкретных наблюдений, другими словами несет в себе меньшую среднеквадратичную ошибку. Если предел оценки по вероятности равен истинному значению характеристики генеральной совокупности, тогда оценка состоятельная.

17. Каковы свойства есть у остатков в парной регрессии? Запишите эти свойства в строгой математической форме?

, i=1,2,…,n, где отклонения е_i – ошибки (остатки) модели, которые являются оценками теоретического случайного отклонения ε_i. Остатки- разница между реальными значениями и оценочн.

e_ср=0, Cov(y_оц.,e)=0, Var(e_i)=const, Cov(e_i,e_j)=0. Свойства при МНК: ∑e_i=0 и ∑X_ie_i=0

18. На какие компоненты раскладывается общая сумма квадратов остатков? В чем их смысл?

Общая сумма квадратов остатков (TSS) раскладывается на «объясненную» сумму квадратов (ESS) и остаточную («необъясненную») сумму квадратов (RSS). TSS = ESS+ RSS Подобное разложение позволяет оценить, на сколько хорошо выбранная модель (регрессия) объясняет поведение зависимой переменной. В частности, это используется при расчете коэффициента детерминации (R²). R² показывает долю объясненной дисперсии зависимой переменной. R²=ESS/TSS=1-RSS/TSS