Линейная множественная регрессия
лекция №3
ЭКОНОМЕТРИЧЕСКАЯ МОДЕЛЬ: ПРОСТРАНСТВЕННАЯ ВЫБОРКА
Y =f(X)+
|
y1 |
|
|
f1(x11, x12 |
,..., x1p ) |
|
1 |
|
|
|
|
|
|
|
|
2 |
|
Y |
y2 |
|
|
f2 (x21, x22,..., x2 p ) |
|
|
||
|
|
, f (X ) |
|
|
, |
|
|
|
|
|
|
... |
|
... |
|||
|
... |
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
yn |
|
|
fn (xn1, xn2,..., xnp ) |
|
n |
||
n - число наблюдений, р - число объясняющих переменных,
p>1 - множественная регрессия
xij - значение j-ой (j=1,…,p) объясняющей переменной
в i-ом наблюдении, ( xi,1, xi,2,…,xip,yi) - i-oe наблюдение, i=1,…,n.
Y =f(X)+
fi - линейные функции:
y = + |
x |
i1 |
+ x |
i2 |
+…+ |
x |
ip |
|||||||
)i 0 |
1 |
|
|
|
|
2 |
|
|
1 |
p |
|
|||
Обозначим: |
|
|
0 |
|
|
|
|
|
x11 |
|
||||
|
|
|
|
1 |
|
|
|
|
|
1 |
x21 |
|||
|
|
|
|
|
, |
X |
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
... |
|
|
|
... ... |
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
1 |
xn1 |
|||
|
|
|
p |
|
|
|
|
|||||||
Тогда |
Y =X + |
|
+ |
(при р=1 0=b 1=m |
... |
x1p |
... |
x |
... |
2 p . |
... |
|
... |
x |
|
np |
(*)
Линейная множественная модель пространственной выборки
b - оценка |
|
|
||||
Y =Xb+e |
(**) оценка модели (*) |
|||||
b0 |
|
|
e1 |
|
|
|
|
|
|
|
|
|
ˆ |
b1 |
|
|
e2 |
|
, |
|
b |
|
, e |
|
Y Xb - оценки Y |
||
|
|
|
|
|
||
... |
|
|
... |
|
|
|
|
|
|
|
|
|
|
bp |
|
|
en |
|
|
|
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ (МНК)
n |
|
2 |
n |
2 |
|
|
Qe |
( yi yˆi ) |
|
||||
|
ei |
e e (Y Xb) (Y Xb) min (1) |
||||
i 1 |
|
|
i 1 |
|
|
b |
|
|
|
|
|
||
|
|
e1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
e2 |
|
2 |
2 |
2 |
e e (e1,e2 |
,...en ) ... |
e1 |
e2 |
... en |
||
|
|
|
|
|
|
|
|
|
e |
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
Так как (Xb) |
b X |
, из (1) получаем : |
||||
|
|
|
|
|
|
|
Qe Y Y b X Y Y Xb b X Xb
n
ei2
i 1
Так как в силу скалярности Y Xb (Y Xb) b X Y, тт
Qe Y Y 2b X Y b X Xb
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
Необходимое условие минимума Qe:
|
|
Qe |
|
|
|
|
|
b |
|
|
|
|
|
|
|
||
|
0 |
|
|||
Qe |
|
Q |
|
|
|
|
|
e |
|
0. (2) |
|
|
|
|
|||
b |
|
b1 |
|
||
|
|
||||
|
|
... |
|
|
|
|
Q |
|
|||
|
|
b |
e |
|
|
|
|
p |
|
|
|
|
|
|
|
|
|
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
Правила дифференцирования для матриц:
b (b c) c, b (b Ab) 2Ab,
где b,c - вектор-столбцы, А - матрица, симметричная относительно главной диагонали
Из (2) получаем: |
|
Qe |
|
|
|
|
|
|
|
|||
|
|
b |
2X Y |
|
|
2X Xb 0 |
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
МНК-оценка параметров |
|
X Xb X Y |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
линейной множественной |
|
если матрица X X неособенная,то |
||||||||||
|
|
|
|
|
|
|
|
|
|
|
При р=1 получаем |
|
|
|
|
1 |
|
|
|
|
(3) |
|
|
||
модели |
|
b ( X X ) |
|
X Y |
|
|
|
формулы |
||||
|
|
|
|
|
|
|
|
|
|
|
|
парной модели |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
независимости от единиц измерения
Стандартизированный коэффициент регрессии:
bj bj ssxyj
Коэффициент эластичности:
E j bj xyj
показывает, на сколько величин sy
изменится в среднем Y при изменении
только xj на величину sxj
показывает, на сколько процентов изменится среднее значение Y при изменении только среднего xj на 1%
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
|
n |
|
|
|
n |
|
|
|
xi1 |
X X i 1 |
|
... |
|
|
n |
|
xip |
|
|
i 1
n
xi1 i 1
n
xi12
i 1
...
n
xi1xip i 1
...
...
...
...
n |
|
|
|
xip |
|
|
|
i 1 |
|
|
|
n |
|
|
|
|
|
, |
|
xi1xip |
|||
i 1 |
|
|
|
... |
|
|
|
|
|
|
|
n |
2 |
|
|
|
|
|
|
xip |
|
|
|
i 1 |
|
|
|
|
|
n |
|
|
|
yi |
|
|
|
i 1 |
|
|
|
n |
|
|
|
yi xi1 |
|
X Y |
|
|
|
|
i 1 |
||
|
... |
|
|
|
|
n |
|
|
|
yi xip |
|
|
i 1 |
|
|
X X неособенная столбцы Х независимы ранг r(X)=p+1
МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
Предположим, что:
X - детерминированная величина;
1,…, n- независимые нормальные одинаково распределенные случайные величины: i~N(0, 2); M{ }= 2En;
! ранг r(X)=p+1.
В этих предположениях MxY=X , и соотношение
Y =X + (*)
называется классической нормальной линейной регрессионной моделью
(Classical Normal Linear Regression model).