Лекция 5 Тема: Оценка параметров модели парной линейной регрессии по методу наименьших
квадратов
Рассмотрен основной метод оценки параметров модели регрессии – метод наименьших квадратов (МНК), его достоинства и недостатки. Приведен вывод формул МНК для парной линейной регрессии.
Основные вопросы:
1.Модель парной линейной регрессии. Причины существования случайного члена уравнения регрессии.
2.Метод наименьших квадратов (МНК). Преимущества и недостатки метода.
3.Оценка параметров модели парной линейной регрессии по методу наименьших квадратов.
Основные понятия:
Метод наименьших квадратов (МНК) – основной метод оценки параметров модели регрессии. В данном методе в качестве критерия точности модели используется минимум суммы квадратов остатков (отклонений расчетных значений y от наблюденных значений).
Введение
Регрессия – это зависимость среднего значения случайной величины от некоторой другой величины или нескольких величин, или условное математическое ожидание. Модель регрессии описывает вероятностное соотношение между объясняющими переменными (регрессорами, независимыми переменными) и зависимой (результирующей) переменной. Самой простой и теоретически разработанной является модель линейной регрессии.
1. Модель парной линейной регрессии. Причины существования случайного члена уравнения регрессии
Модель парной линейной регрессии Y на X в генеральной совокупности имеет вид: y = (αx + β)+ε ,
y – значение зависимой переменной;
x– значение независимой (объясняющей) переменной;
αи β – параметры уравнения регрессии (константы);
|
y =αx + β – неслучайная составляющая, предсказанные, расчетные значения y; |
|
|||||||||
|
ε – случайная составляющая, характеризует отклонения реальных значений y от |
||||||||||
расчетных, в данном случае от прямой линии. Значения ε |
называют также ошибки или |
||||||||||
остатки – то, что в изменении y не объясняется данной моделью. |
|
|
|
||||||||
у |
|
|
|
α – коэффициент регрессии; определяет среднее по |
|||||||
|
|
|
|
совокупности изменение y при увеличении x на одну |
|||||||
|
|
∆y = α |
единицу |
своего |
измерения |
и |
характеризует |
угол |
|||
|
|
наклона |
прямой |
y =αx + β |
к |
оси Ox. Если |
∆x |
||||
|
|
|
|
||||||||
|
|
∆x = 1 |
(изменение x) равно 1, то ∆y (изменение y ) равно α . |
||||||||
|
β |
β – свободный член уравнения регрессии, значение |
|||||||||
|
|
|
|||||||||
0 |
|
|
х |
y при x = 0. Если имеющиеся значения x далеки от 0, |
|||||||
|
|
экономическую трактовку β |
не выполняют. |
|
|||||||
|
|
|
|
||||||||
|
Рисунок 5.1 – Графическое |
Иногда строят |
модель без свободного члена |
||||||||
представление параметров парной |
|||||||||||
(β = 0), |
чтобы |
при |
x = 0 |
получить y = 0. |
Но |
||||||
|
|
линейной регрессии |
|||||||||
|
|
статистическое качество такого уравнения хуже. |
|
||||||||
|
|
|
|
|
|||||||
Объективные причины существования случайного члена ε :
1. На величину y, кроме x, влияют и другие переменные, не включенные в модель регрессии.
26
2.Уравнение регрессии описывает среднее по совокупности изменение y, и для отдельных элементов совокупности будут иметь место отклонения от общей тенденции.
Возможны также субъективные причины:
3.Неправильно выбранная форма зависимости.
4.Неправильное описание структуры модели. Например, для временного ряда величина y может зависеть от значения x не в текущий, а в некоторый предыдущий момент времени.
5.Ошибки измерения.
Задача исследования – по имеющейся выборке значений X и Y найти значения a и b – оценки параметров α и β , наилучшие в некотором смысле. В результате получается
уравнение регрессии |
|
y = ax +b +e , |
(1.1) |
а полученные по уравнению модельные значения: |
|
y = ax +b . |
(1.2) |
В эконометрическом исследовании значения параметров модели α и β оценивают на основании имеющейся выборки, содержащей n пар наблюдений ( xi , yi ). Обозначим a – оценку параметра α , b – оценку β . Тогда оцененное уравнение регрессии (модель регрессии) будет иметь вид: y = ax +b +e , где e – остаточная компонента.
Выводы
Случайная составляющая в модели регрессии присутствует обязательно, и стоит задача: по возможности уменьшить ее значения.
2. Метод наименьших квадратов. Преимущества и недостатки метода
Рассмотрим наиболее часто используемый метод оценки параметров модели α и β . В данном методе в качестве критерия точности модели используется минимум суммы квадратов остатков (отклонений) ei – разностей наблюденных значений yi и расчетных
значений yi , полученных подстановкой в уравнение регрессии имеющихся значений xi .
Для линейной регрессии |
|
|
ei = yi − yi = yi −(axi +b) = yi −axi −b , |
(5.1) |
|
и критерий имеет вид: |
|
|
n |
n |
|
Qe (a,b) = ∑ei2 |
= ∑(yi −axi −b)2 → min. |
(5.2) |
i =1 |
i =1 |
|
Qe рассматривается как функция переменных a и b. Именно a и b следует найти, значения xi и yi (i =1 n ) – известные элементы выборки.
Наилучшая по МНК прямая линия всегда существует, но даже наилучшая не всегда является достаточно хорошей. Если в действительности зависимость y = f(x) является, например, квадратичной, или зависимость вообще отсутствует, то адекватно ее не может описать никакая прямая линия, хотя среди прямых линий обязательно найдется «наилучшая».
Достоинство МНК – существование и единственность решения задачи (5.1), причем для линейной модели решение можно найти аналитически.
Недостаток МНК – придание слишком большого веса наблюдениям, далеко отстоящим от основной массы (так называемым выбросам). Потому большое значение имеет графическое представление данных и анализ резко выделяющихся наблюдений.
Кроме МНК, для оценки параметров модели регрессии используется также метод наименьших модулей (вместо квадратов отклонений используются их абсолютные значения). Преимущества: устойчивость к выбросам. Недостатки: нет аналитического
27
решения даже для линейной модели, а найденное приближенными методами решение может быть не единственным.
Выводы
МНК – не единственный, но наиболее часто используемый метод оценки параметров модели регрессии.
3. Оценка параметров модели парной линейной регрессии по методу наименьших квадратов
Поскольку Qe как функция переменных a и b непрерывна, выпукла и ограничена
снизу нулем, она имеет минимум. В точке минимума обращаются в нуль частные производные.
|
∂Q |
e |
= −2∑(yi −axi −b) = 0 |
|
|
||
|
∂b |
. |
|
|
∂Qe |
= −2∑(yi −axi −b) xi = 0 |
|
|
∂a |
|
|
Отсюда получаем систему уравнений МНК для определения параметров уравнения регрессии:
|
∑yi −a ∑xi −n b = 0 |
|
|
|
n b +(∑xi ) a = ∑yi |
|
||||||||||
|
x y |
−a |
∑ |
x2 |
−b |
∑ |
x |
= 0 |
( |
x |
) b + ( |
x2 )a = |
∑ |
x y |
(5.3) |
|
∑ |
i i |
|
i |
|
i |
|
|
∑ |
i |
∑ |
i |
i |
i |
|||
Решить систему уравнений можно различными способами.
Найдем решение по правилу Крамера: a = ∆∆a ; b = ∆∆b , где ∆, ∆a , ∆b – определители. Получим формулу для расчета коэффициента регрессииa :
|
|
|
a = |
n ∑xi yi −∑xi ∑yi |
. |
|
|
(5.4) |
|||||||||
|
|
|
n |
∑ |
x2 −( |
x |
i |
)2 |
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
i |
∑ |
|
|
|
|
|
|
||
Разделив числитель и знаменатель формулы (5.3) на n2 , получим: |
|
||||||||||||||||
|
|
|
|
|
− x y |
|
Cov(X;Y ) |
|
|
|
|
s y |
|
|
|||
a = |
|
|
xy |
= |
= r(X ,Y ) |
(5.4’) |
|||||||||||
|
|
|
|
−(x)2 |
|
D(x) |
sx |
||||||||||
x2 |
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
||||||||
Здесь Cov(X ;Y ) – |
|
выборочная |
ковариация, D – дисперсия, s |
– стандартное |
|||||||||||||
отклонение, r(X ,Y ) – коэффициент корреляции. Из формулы (5.4’) следует: коэффициент
корреляции и коэффициент регрессии имеют один и тот же знак, который определяется ковариацией.
Аналогично можно получить формулу для расчета свободного члена b , но обычно
используют другой прием. Разделим первое уравнение системы (5.3) на n , получим: |
|
a x +b = y . |
(5.5) |
Отсюда следует, что линия регрессии проходит через центр тяжести скопления точек данных – точку с координатами ( x ; y ).
Выразим b из уравнения (5.5): |
|
b = y −a x . |
(5.6) |
Формула (5.6) обычно используется для расчета свободного члена b .
Сумма отклонений и среднее значение отклонений равны нулю. В этом легко убедиться, подставив выражение b из формулы (5.6) в формулу (5.1) и просуммировав:
∑ei = ∑yi −a ∑xi −n y −a n x = 0.
В модели без свободного члена y =αx +ε линия регрессии y = a x проходит не
через точку со средними значениями x и y, а через начало координат. Такую модель строят,
28
чтобы при x = 0 получить y = 0. Этот прием применяют только в случае, когда в выборке
есть значения, близкие к 0, и значение x = 0 экономически возможно.
Формула МНК для расчета a в модели регрессии без свободного члена имеет вид:
a = |
∑xi yi |
. |
(5.6) |
|
∑xi2 |
||||
|
|
|
Сумма отклонений в модели без свободного члена не равна нулю, а сумма квадратов отклонений больше, чем в модели со свободным членом.
Выводы
Коэффициент корреляции и коэффициент регрессии имеют один и тот же знак, который определяется ковариацией.
Вмодели со свободным членом линия регрессии проходит через точку, координаты которой – средние значения x и y, в модели без свободного члена – через начало координат.
Вмодели со свободным членом сумма отклонений и среднее значение отклонений равны нулю.
Заключение
Наиболее часто для оценки параметров модели регрессии используется метод наименьших квадратов (МНК), минимизирующий сумму квадратов отклонений значений, рассчитанных по модели регрессии, от имеющихся в выборке наблюдений.
Достоинство МНК – существование и единственность решения, причем для линейной модели решение можно найти аналитически. Недостаток МНК – придание слишком большого веса наблюдениям, далеко отстоящим от основной массы. Потому большое значение имеет графическое представление данных и анализ резко выделяющихся наблюдений.
Вопросы для закрепления материала
1.Почему в модели регрессии обязательно присутствует случайная составляющая?
2.Как используется МНК для оценки параметров модели регрессии (идея метода)?
3.Система уравнений МНК для парной линейной регрессии.
4.Формулы МНК для оценки параметров линейной регрессии.
5.Связь коэффициентов корреляции и регрессии.
29