Метод наименьших квадратов. Предпосылки применения метода для оценивания регрессионной модели. Система нормальных уравнений и ее решение.
Согласно
МНК неизвестные параметры b0
и b1
выбираются таким образом, чтобы сумма
квадратов отклонений эмпирических
значений yi
от значений
, найденных по уравнению регрессии
=
+
,
была минимальной:
=
=
)
=
)
=
[
=
S
=
=
= S(
min
Функция S зависит от двух переменных b0 и b1 на основании необходимого условия экстремума приравниваем к нулю ее частные производные первого порядка по каждой из переменных:
=
=
2
)=0
2
Откуда после преобразований получим систему нормальных уравнений для определения параметров линейной регрессии:
=
Теперь, разделив обе части уравнения на n, получим систему нормальных уравнений в виде:
=
Решением этой системы являются искомые значения коэффициентов выборочной функции регрессии, которые можно рассчитать по формулам:
=
=
-
*
Коэффициент b1 называется выборочным коэффициентом регрессии (или просто коэффициентом регрессии) Y по X. Коэффициент регрессии показывает, на сколько единиц в среднем изменяется переменная Y при увеличении переменной Х на одну единицу.
Таким образом, мы получим выражение выборочной функции парной линейной регрессии, которое является оценкой функции парной линейной регрессии для ГС.
Предпосылки:
1. случайный характер остатков;
2. нулевая средняя величина остатков, не зависящая от xi;
3. гомоскедастичность – дисперсия каждого отклонения ei, одинакова для всех значений x ;
4. отсутствие автокорреляции остатков – значения остатков ei распределены независимо друг от друга;
5. остатки подчиняются нормальному распределению.
Если распределение случайных остатков ei не соответствует некоторым предпосылкам МНК, то следует корректировать модель.
Свойства коэффициентов функции регрессии, полученных с помощью МНК:
Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям.
Оценки считаются эффективными, если они характеризуются наименьшей дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному.
Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки.
Указанные критерии оценок (несмещенность, состоятельность и эффективность) обязательно учитываются при разных способах оценивания. Метод наименьших квадратов строит оценки регрессии на основе минимизации суммы квадратов остатков. Поэтому очень важно исследовать поведение остаточных величин регрессии ei.
Вопрос 11.Методы оценивания
Метод наименьших квадратов
Функция потерь
Метод взвешенных наименьших квадратов
Метод максимума правдоподобия
Максимум правдоподобия и логит/пробит модели
Алгоритмы минимизации функций
Начальные значения, размеры шагов и критерий сходимости
Штрафные функции, ограничение параметров
Локальные минимумы
Квази-ньютоновский метод
Симплекс-метод
Метод Хука-Дживиса
Метод Розенброка
Матрица Гессе и стандартные ошибки
