12
Это предположение называют условием равноизменчивости (гомоскедастичности) ошибок εi и соответственно объясняемой переменной yi. Под гетероскедастичностью ошибок εi и объясняемой переменной yi понимают условие
var(εi ) = δ 2 (εi ) ¹ const , |
var( yi ) = δ 2 ( yi ) ¹ const . |
(1.22) |
2.Парная линейная регрессия
2.1.Метод наименьших квадратов
Мы уже отмечали ранее, что если между переменными х и у существует теоретическая линейная связь в виде
y = α + βx, |
(2.1) |
то наблюдаемые значения xi, yi, i =1, 2, …, n этих переменных связаны линейной моделью наблюдений
yi = (α + βxi ) +εi , i =1, 2, , n. |
(2.2) |
13
Если α и β – истинные значения параметров линейной модели связи, то величина εi = yi - (α +βxi) представляет собой ошибку в i-м наблюдении.
Поиск коэффициентов α и β осуществляется таким образом, чтобы величина ε i стремилась к минимуму (в идеале к нулю). Если εi = 0, то все точки лежат на одной прямой. В результате получают подобранную модель линейной связи
yˆi |
= a + bxi . |
(2.3) |
В подобранной модели наблюдаемому значению x i |
переменной х сопоставляется значение |
|
yˆi переменной у. Значения подобранное yˆi и реальное наблюдаемое у |
обычно отличаются. |
|
Разность |
|
|
ei = yi |
− yˆi = yi − (a + bxi ) |
(2.4) |
называется остатком в i-м наблюдении.
Для реальных данных, как правило, все остатки отличны от нуля, так что часть из них имеет положительный знак, а остальные – отрицательный. При этом необходимо соблюдение принципа наименьших квадратов
n |
n |
|
åei2 |
= å( yi − yˆi )2 → min, |
|
i=1 |
i=1 |
|
n |
|
|
å( yi − a − bxi )2 → min. |
(2.5) |
|
i−1
Получаемые при этом оценки а и b называются оценками наименьших квадратов. Свойством оценок наименьших квадратов является то, что соответствующая им прямая проходит через точку (x, y ) . Поиск пары чисел а и b с помощью метода наименьших квадратов (МНК) сводятся к математической задаче поиска точки минимума функции двух переменных. В результате получаем коэффициенты в подобранной модели
|
n |
|
|
b = |
å (xi - x)( yi - y) |
= |
|
i=1 |
|
||
|
n |
||
å ( xi - x)2
i=1
a = y
xy - x × y = cov( x( , )y) , var x
−bx ,
(2.6)
(2.7)
|
|
|
n |
|
|
|
|
n |
|
|
где |
|
|
å( xi - x)( yi - y) |
|
|
|
|
å( x - x)2 |
|
|
cov(x, y) = |
= xy - x × y, var( x) |
= |
. |
|
||||||
|
i=1 |
i=1 |
|
|||||||
|
n |
n |
|
|||||||
|
|
|
|
|
|
|
|
|
||
|
При подстановке в формулу (2.3) выражения (2.7) получаем оценку уравнения парной |
|||||||||
линейной регрессии (функция регрессии) |
|
|
|
|
||||||
|
|
|
|
|
|
yˆi |
= y −bx +bxi . |
(2.8) |
||
|
При выполнении стандартных предположений регрессионного анализа, МНК-оценки |
|||||||||
параметров уравнения регрессии будут обладать следующими статистическими свойствами: |
|
|||||||||
|
1. |
Несмещенность. |
|
|
|
|
|
|
|
|
14
Статистическая оценка некоторого параметра называется несмещенной, если ее
математическое ожидание равно истинному значению этого параметра. В случае парной линейной регрессии: М(a)=α, М(b)=ß.
2. Состоятельность.
При неограниченном возрастании объема выборки значение оценки должно стремиться по вероятности к истинному значению параметра, а дисперсии оценок параметров должны уменьшаться и в пределе стремиться к 0: var( a) →0 , var( b) →0 при n → ∞ .
3. Эффективность.
Оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с другими оценками заданного класса.
2.2. Использование оцененной модели для прогноза
Пусть мы имеем модель наблюдений в виде
yi = α + βxi +εi , i =1, 2, , n, |
(2.9) |
и хотим дать прогноз, каким будет значение объясняемой переменной y 0 при некотором выбранном (фиксированном) значении x 0 объясняющей переменной x если мы будем продолжать наблюдения.
Мы умеем оценивать коэффициенты α и β |
методом наименьших квадратов и получать |
подобранную модель |
|
yˆ = a +bx , |
(2.10) |
где yˆ – прогнозируемое значение объясняемой переменной.
Вопрос: насколько надежным является выбор такого значения в качестве прогнозируемого? Выбирая в качестве прогноза в (n+1)-м наблюдении для y0 значение yˆ0 = a + bx0 мы тем
самым допускаем ошибку прогноза
yˆ0 − y0 = (a + bx0 ) − (α + βx0 + ε 0 ) = (a − α ) + (b − β )x0 + ε 0 . (2.11)
Эта ошибка является следствием: |
|
- неопределенности, связанной с отклонением вычисленных значений |
случайных величин |
а и b от истинных значений параметров α и β ; |
|
- неопределенности, связанной со случайной ошибкой ε0 в (n+1)-м наблюдении.
При наших стандартных предположениях о линейной модели ошибка прогноза является
случайной величиной с математическим ожиданием |
|
M ( yˆ0 − y0 ) = M (a −α) + x0 M (b − β ) + M (ε0 ) = 0; |
(2.12) |
[ M(a) = α; M(b) = β; M(ε0) = 0 ].
Теоретическая точность такого прогноза характеризуется дисперсией ошибки прогноза
var( yˆ0 − y0 ) = var( ε0 ) = 0 . |
(2.13) |
Далее мы будем рассматривать оценку этой дисперсии S εi , то есть оценку дисперсии ошибки прогноза (дисперсию остатков)