16.Предпосылки применения метода наименьших квадратов (мнк)

Теорема Гаусса-Маркова формулирует условия, при которых МНК позволяет

получить наилучшие оценки параметров линейной модели множественной регрессии.

Теорема начинается с описания условий, которые накладываются на вектор

случайных возмущений. Эти условия принято называть предпоссылками теоремы Гаусса- Маркова.

И так. Если:

1.Математическое ожидание случайных возмущений во всех наблюдениях равно нулю: M(Ū|X)=0

2. Дисперсия случайных возмущений во всех наблюдениях одинакова и равна константе _u: ²(Ū|X)= _u²

3.Ковариация между парами случайных возмущений в наблюдениях равны нулю

(случайные возмущения в наблюдениях независимы): cov(u_i,u_j)=0 (i≠j)

4.Ковариация между вектором регрессоров и вектором случайных переменных равнa нулю( регрессоры и случайные возмущения независимы): cov( )=0

17.Оценка параметров парной регрессионной модели методом наименьших квадратов

Предположим, что в ходе регрессионного анализа была установлена линейная взаимосвязь между исследуемыми переменными х и у, которая описывается моделью регрессии вида: y_i=a+b*x_i

В результате оценивания данной эконометрической модели определяются оценки неизвестных коэффициентов.Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) минимальна:

Для того чтобы найти минимум функции, надо вычислить частные производные по каждому из параметров a и b и приравнять их к нулю. Тогда мы получаем следующую систему нормальных уравнений для оценки параметров a и b

Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:

Эта формула получена из первого уравнения системы, если все его члены разделить на n:

, где cov(x,y) — ковариация признаков; σх2— дисперсия признака х. Поскольку , получим следующую формулу расчета оценки параметра b

Таким образом:

Свойство несмещенности оценок состоит в том, что математическое ожидание оценки должно быть равно истинному значению параметра.

Свойство состоятельности оценок состоит в том, что с увеличением наблюдений оценка становится более надежной в вероятностном смысле.

Оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с любыми другими оценками этого параметра в классе выбранных процедур.

18.Оценка параметров парной регрессионной модели методом наименьших квадратов. Система нормальных уравнений

Предположим, что в ходе регрессионного анализа была установлена линейная взаимосвязь между исследуемыми переменными х и у, которая описывается моделью регрессии вида: y_i=a+b*x_i

В результате оценивания данной эконометрической модели определяются оценки неизвестных коэффициентов. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) минимальна:

Для того чтобы найти минимум функции, надо вычислить частные производные по каждому из параметров a и b и приравнять их к нулю. Тогда мы получаем следующую систему нормальных уравнений для оценки параметров a и b

Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:

Эта формула получена из первого уравнения системы, если все его члены разделить на n:

, где cov(x,y) — ковариация признаков; σх2— дисперсия признака х. Поскольку , получим следующую формулу расчета оценки параметра b

Таким образом:

Свойство несмещенности оценок состоит в том, что математическое ожидание оценки должно быть равно истинному значению параметра.

Свойство состоятельности оценок состоит в том, что с увеличением наблюдений оценка становится более надежной в вероятностном смысле.

Оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с любыми другими оценками этого параметра в классе выбранных процедур.