ЭКОНОМЕТРИКА и математическая экономика / Эконометрика. Учебник продвинутый (2005)
.pdf7.1. Различные формы уравнения регрессии |
|
|
223 |
|
или в оценках |
|
|
|
|
X = Za + 1N b + e. |
(7.2) |
|||
В сокращенной форме: |
|
|
|
|
ˆ |
ˆ |
|
|
(7.3) |
X = Zα + ε, |
|
|
||
или |
|
|
|
|
ˆ |
ˆ |
|
|
(7.4) |
X = Za + e. |
|
|
||
Оператор МНК-оценивания ((6.11, 6.13) в п. 6.2) принимает теперь вид: |
||||
a = M −1m, |
b = x¯ |
− |
za,¯ |
(7.5) |
|
|
|
|
|
где M = 1 N Zˆ Zˆ — ковариационная матрица переменных |
z между собой, |
1 ˆ ˆ — вектор ковариаций переменных с переменной . Первую часть m = N Z X z x
оператора (7.5) часто записывают в форме:
ˆ ˆ −1 ˆ ˆ (7.6) a = Z Z Z X.
МНК-оценки e обладают следующими свойствами ((6.6, 6.12) в предыдущей
главе): |
|
|
|
|
|
|
|
e¯ = |
1 |
1 |
e = 0, |
cov (Z, e) = |
1 |
Zˆ e = 0. |
(7.7) |
|
N |
||||||
|
N N |
|
|
|
|
Коэффициент детерминации рассчитывается следующим образом (см. (6.20)):
|
|
sq2 |
|
s2 |
|
|
R2 |
= |
|
= 1 − |
e |
, |
(7.8) |
s2 |
s2 |
|||||
|
|
x |
|
x |
|
где s2x — дисперсия объясняемой переменной, s2e — остаточная дисперсия,
sq2 |
(6.2.6) |
−1m |
(7.9) |
= a M a = a m = m a = m M |
— объясненная дисперсия.
Уравнение регрессии часто записывают в форме со скрытым свободным членом:
X = Zα + ε, |
(7.10) |
X = Za + e, |
(7.11) |
224 |
Глава 7. Основная модель линейной регрессии |
|
α |
, a = |
a |
где Z = [Z 1N ], α = |
. |
|
β |
|
b |
При таком представлении уравнения регрессии оператор МНК-оценивания
записывается следующим, более компактным, чем (7.5), образом: |
|
|||||
|
|
|
|
a = M −1m, |
(7.12) |
|
где M = |
1 |
Z Z, m = |
1 |
Z X , или |
|
|
N |
N |
|
|
|||
|
|
|
|
|
||
|
|
|
|
a = Z Z −1 |
Z X. |
(7.13) |
M и m также, как M и m, являются матрицей и вектором вторых моментов, но не центральных, а начальных. Кроме того, их размерность на единицу больше.
Оператор (7.12) дает, естественно, такой же результат, что и оператор (7.5). Этот факт доказывался в п. 4.2 для случая одной переменной в правой части уравнения.
В общем случае этот факт доказывается следующим образом. |
|
|
Учитывая, что |
|
|
ˆ |
|
(7.14) |
X = X + 1N x,¯ |
||
Z = ˆ |
, |
(7.15) |
Z + 1N z¯ |
1N |
|
можно установить, что |
|
|
M + z¯ z¯ |
z¯ |
(7.16) |
M = |
, |
|
z¯ |
1 |
|
m + z¯ x¯ |
|
|
m = |
, |
|
x¯
и записать систему нормальных уравнений, решением которой является (7.12) в следующей форме:
M + z¯ z¯ z¯ |
a |
m + z¯ x¯ |
|
|
|
= |
. |
z¯ |
1 |
b |
x¯ |
7.1. Различные формы уравнения регрессии |
225 |
Вторая (нижняя) часть этой матричной системы уравнений эквивалентна второй части оператора (7.5). После подстановки b, выраженного через a, в первую (верхнюю) часть данной матричной системы уравнений она приобретает следующий вид:
M a + z¯ za¯ + z¯ x¯ − z¯ za¯ = m + z¯ x,¯
и после приведения подобных становится очевидной ее эквивалентность первой части оператора (7.5).
Что и требовалось доказать.
Кроме того, можно доказать, что
M −1 = |
M −1 |
−M −1z¯ . |
(7.17) |
|
−zM¯ −1 |
1 + zM¯ −1z¯ |
|
Этот факт потребуется ниже. (Правило обращения блочных матриц см. в Приложении A.1.2.)
Справедливость этого утверждения проверяется умножением M −1 из (7.17) на M из (7.16). В результате получается единичная матрица.
МНК-оценки вектора e ортогональны столбцам матрицы Z:
Z e = 0. |
(7.18) |
Доказательство наличия этого свойства получается как побочный результат при выводе оператора оценивания (7.12) путем приравнивания нулю производных остаточной дисперсии по параметрам регрессии, как это делалось в п. 6.2.
Поскольку последним столбцом матрицы Z является 1N , из (7.18) следует,
что |
|
1N e = 0, |
(7.19) |
т.е. e¯ = 0. Из остальной части (7.18):
Z e = 0, |
(7.20) |
что в данном случае означает, что cov(Z, e) = 0.
Действительно, раскрывая (7.20):
(7.15) ˆ ˆ
Z e = Z e + z¯ 1N e = Z e = 0.
←−−→
=0
226 |
Глава 7. Основная модель линейной регрессии |
Таким образом, (7.18) эквивалентно (7.7).
Однако уравнения (7.10) допускают и иную интерпретацию. Если последним в Z является не 1N , а столбец «обычной» переменной, то это — регрессия без свободного члена. В таком случае из (7.18) не следует (7.19), и свойства (7.7) не выполняются. Кроме того, для такой регрессии, очевидно, не возможна сокращенная запись уравнения. Этот случай в дальнейшем не рассматривается.
В дальнейшем будет применяться в основном форма записи уравнения со скрытым свободным членом, но чтобы не загромождать изложение материала, символ « » будет опускаться, т.е. соотношения (7.10, 7.11, 7.12, 7.13, 7.18) будут использоваться в форме
X = Zα + ε, |
(7.21) |
X = Za + e, |
(7.22) |
a = M −1m, |
(7.23) |
a = Z Z −1 Z X, |
(7.24) |
Z e = 0. |
(7.25) |
Случаи, когда a, Z, m, M означают не a, Z, m, M , а собственно a, Z, m, M , будут оговариваться специально.
7.2. Основные гипотезы, свойства оценок
Применение основной модели линейной регрессии корректно, если выполняются следующие гипотезы:
g1. Между переменными x и z существует линейная зависимость, и (7.10) является истинной моделью, т.е., в частности, правильно определен набор факторов z — модель верно специфицирована.
g2. Переменные z детерминированы, наблюдаются без ошибок и линейно независимы.
g3. E(ε) = 0.
g4. E (εε ) = σ2IN .
Гипотеза g2 является слишком жесткой и в экономике чаще всего нарушается. Возможности ослабления этого требования рассматриваются в следующей главе. Здесь можно заметить следующее: в тех разделах математической статистики, в которых рассматривается более общий случай, и z также случайны, предполагается, что ε не зависит от этих переменных-регрессоров.
7.2. Основные гипотезы, свойства оценок |
227 |
|
|
В этих предположениях a относится к классу линейных оценок, поскольку |
|
|
a = LX, |
(7.26) |
где |
(7.13) |
|
L = (Z Z)−1 Z — детерминированная матрица размерности (n + 1) × N , |
идоказывается ряд утверждений о свойствах этих МНК-оценок.
1)a — несмещенная оценка α.
Действительно:
a |
(7.26), g1 |
LZ=In+1 |
α + Lε |
(7.27) |
= L (Zα + ε) = LZα + Lε |
= |
и
g3
E (a) = α.
2) Ее матрица ковариации Ma удовлетворяет следующему соотношению:
|
|
|
Ma |
= |
1 |
σ2M −1, |
|
|
|
|
|
|
|
|
|
|
|
|
|
(7.28) |
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
в частности, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
σa2j = |
σ2 |
mjj−1, j = 1, . . . , n + 1 (σa2n+1 ≡ σb2), |
|
|
|
|||||||||||||||||||||||
N |
|
|
|
|||||||||||||||||||||||||
где mjj−1 — j-й диагональный элемент матрицы M −1 . |
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
Действительно: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(7.27) |
|
|
|
|
|
g4 |
|
|
|
|
|
= σ2 (Z Z)−1= |
1 |
|
||||||||||||
Ma = E ((a − α)(a − α) ) = |
E (Lεε L ) = σ2LL |
|
|
σ2M −1. |
||||||||||||||||||||||||
N |
||||||||||||||||||||||||||||
Этот результат при n = 1 означает, что σ2 = |
|
σ2 1 |
, и его можно получить, исполь- |
|||||||||||||||||||||||||
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
a |
|
N sz2 |
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
зуя формулу (5.17) распространения ошибок первичных измерений. |
|
|
|
|||||||||||||||||||||||||
Действительно, a = |
di (xi − x¯), где di = |
|
|
|
zi − z¯ |
2 |
. Тогда |
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(zi − z¯) |
|
|
|
|
|
|
|
||||||
|
|
|
∂a |
1 |
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
= − |
|
l=1 dl |
+di = di |
|
|
|
|
|
|
|
||||||||||||
|
|
|
∂xi |
N |
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
=0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
←−−−−−→ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
и в соответствии с указанной формулой: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
σ2 = σ2 |
d2 = σ2 |
|
|
(zi − z¯)2 |
|
|
|
= |
|
|
σ2 |
= |
σ2 |
|
1 |
. |
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
a |
i |
(zi − z¯)2 |
2 |
|
|
|
|
|
(zi − z¯)2 |
|
N sz2 |
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
7.2. Основные гипотезы, свойства оценок |
229 |
где tr(·)— операция следа матрицы, результатом которой является сумма ее диагональных элементов.
Далее, в силу коммутативности операции следа матрицы
tr (B) = tr (IN ) − tr (ZL) = N − tr (LZ) = N − n − 1.
←−→
|
|
|
In+1 |
|
|
(См. Приложение A.1.2.) |
|
|
|
|
|
Таким образом, E se2 = |
N − n − 1 |
σ2 , и E |
1 |
e e = σ2 . |
|
N |
N − n − 1 |
||||
|
|
|
Что и требовалось доказать.
Тогда оценкой матрицы ковариации Ma является (в разных вариантах расчета)
sˆ2 |
M −1 |
|
e e |
M −1 |
|
e e |
|
Z Z − |
1 |
|
|
e |
= |
|
= |
|
|
|
, |
(7.34) |
|||
N |
N (N − n − 1) |
N − n |
|
|
|||||||
|
|
|
|
− 1 |
|
|
|
и, соответственно, несмещенными оценками дисперсий (квадратов ошибок) оценок параметров регрессии:
sˆ2 |
= |
|
e e |
|
|
m−1 |
, |
j = 1, . . . , n + 1 (s2 |
≡ |
s2). |
(7.35) |
|
N (N |
|
n |
|
1) |
||||||||
aj |
|
− |
− |
jj |
|
an+1 |
b |
|
||||
|
|
|
|
|
|
|
|
|
|
|
4) Дисперсии a являются наименьшими в классе линейных несмещенных оценок, т.е. оценки a относятся к классу BLUE (см. п. 5.1). Это утверждение называется теоремой Гаусса—Маркова.
Доказательство этого факта будет проведено для оценки величины c α, где c — любой детерминированный вектор-столбец размерности n + 1. Если в качестве c выбирать орты, данный факт будет относиться к отдельным параметрам регрессии.
МНК-оценка этой величины есть |
|
(7.26) |
смещена, |
||
c a = c LX , она линейна, не |
|||||
т.к. E (c a) = c α, и ее дисперсия определяется следующим образом: |
|
||||
var (c a) |
(7.28) σ2 |
|
|||
= |
|
|
c M −1c. |
(7.36) |
|
|
N |
Пусть d X — любая линейная оценка c α, где d — некоторый детерминированный вектор-столбец размерности N .
g1 |
E (d Zα + d |
g3 |
(7.37) |
E (d X) = |
ε) = d Zα, |
и для того, чтобы эта оценка была несмещенной, т.е. чтобы d Zα = c α, необходимо
d Z = c . |
(7.38) |
7.2. Основные гипотезы, свойства оценок |
231 |
Чтобы воспользоваться этой формулой, необходимо знать истинное значение остаточной дисперсии σ2 , но известна только ее оценка. Для получения соответствующей формулы в операциональной форме, как и в п. 5.1, проводятся следующие действия.
Сначала доказывается, что
e e |
χN2 |
−n−1. |
(7.43) |
σ2 |
Это доказательство проводится так же, как и в пункте 5.1 для (5.9). Только теперь матрица B, связывающая в (7.31) оценки ошибок с их истинными значениями, имеет ранг N − n − 1 (см. свойства матрицы B, следующие из (7.32)), а не N − 1, как аналогичная матрица в (5.10).
Затем обращается внимание на то, что e и a не коррелированы, а значит, не коррелированы случайные величины в (7.41, 7.43).
Действительно (как и в 5.1):
|
|
a − α |
(7.27) |
|
|
= Lε |
|
и |
|
|
|
cov (a, e) = E ((a |
|
(7.31) |
g4 |
− |
α)e ) = E (Lεε B) = σ2 (Z Z)−1 Z B = 0. |
||
|
|
←−→ |
|
|
|
|
|
|
|
|
=0 |
Что и требовалось доказать.
Поэтому по определению случайной величины, имеющей t-распределение:
(aj |
|
αj ) √ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
− |
|
|
|
e e |
|
|
|
|
|
|
aj |
− |
|
|
|
|
|
|
|||||
N |
|
|
|
|
|
|
|
(7.35) |
αj |
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
/ (N |
− |
n |
− |
1) |
= |
|
|
|
t |
N −n−1 |
. |
(7.44) |
||
|
|
|
|
|
|
|
|
σ2 |
|
sˆaj |
|
||||||||||||
|
σ m−1 |
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
jj |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Таким образом, для получения операциональной формы доверительного интер-
вала в (7.42) необходимо заменить σaj на sˆaj и εˆ1−θ |
ˆ |
|
на tN −n−1,1−θ : |
||
αj |
ˆ |
(7.45) |
aj ± sˆaj tN −n−1,1−θ . |
Полезно заметить, что данный в этом пункте материал обобщает результаты, полученные в п. 5.1. Так, многие приведенные здесь формулы при n = 0 преобразуются в соответствующие формулы п. 5.1. Полученные результаты можно использовать также и для проверки гипотезы о том, что αj = 0 (нулевая гипотеза).
232 |
Глава 7. Основная модель линейной регрессии |
|||
Рассчитывается t-статистика |
|
|||
|
tjc = |
aj |
, |
(7.46) |
|
|
|||
|
|
sˆaj |
|
которая в рамках нулевой гипотезы, как это следует из (7.44), имеет t-распреде- ление.
Проверка нулевой гипотезы осуществляется по схеме, неоднократно применяемой в I части книги. В частности, если уровень значимости t-статистики sl (напо-
минание: sl таково, что tcj = tN −n−1,sl) не превышает θ (обычно 0.05), то нулевая гипотеза отвергается с ошибкой (1-го рода) θ и принимается, что αj = 0. В про-
тивном случае, если нулевую гипотезу не удалось отвергнуть, считается, что j-й фактор не значим, и его не следует вводить в модель.
Операции построения доверительного интервала и проверки нулевой гипотезы в данном случае в определенном смысле эквивалентны. Так, если построенный доверительный интервал содержит нуль, то нулевая гипотеза не отвергается, и наоборот.
Гипотеза о нормальности ошибок позволяет проверить еще один тип нулевой гипотезы: αj = 0, j = 1, . . . , n, т.е. гипотезы о том, что модель некорректна и все факторы введены в нее ошибочно.
При построении критерия проверки данной гипотезы уравнение регрессии используется в сокращенной форме, и условие (7.40) записывается в следующей
форме: |
|
|
|
|
σ2 |
|
|
a N α, |
|
M −1 , |
(7.47) |
N |
где a и α — вектора коэффициентов при факторных переменных размерности n, M — матрица ковариации факторных переменных. Тогда
N |
a − α M (a − α) χn2 . |
(7.48) |
σ2 |
Действительно:
Матрица M −1 вслед за M является вещественной, симметричной и положительно полуопределенной, поэтому ее всегда можно представить в виде:
M −1 = CC , |
(7.49) |
где C — квадратная неособенная матрица.
Чтобы убедиться в этом, достаточно вспомнить (6.29) и записать аналогичные соотношения: M −1Y = Y Λ, Y Y = Y Y = In , Λ 0, где Y — матрица, столбцы