Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

ЭКОНОМЕТРИКА и математическая экономика / Эконометрика. Учебник продвинутый (2005)

.pdf
Скачиваний:
512
Добавлен:
20.04.2015
Размер:
4.02 Mб
Скачать

7.1. Различные формы уравнения регрессии

 

 

223

или в оценках

 

 

 

 

X = Za + 1N b + e.

(7.2)

В сокращенной форме:

 

 

 

 

ˆ

ˆ

 

 

(7.3)

X = + ε,

 

 

или

 

 

 

 

ˆ

ˆ

 

 

(7.4)

X = Za + e.

 

 

Оператор МНК-оценивания ((6.11, 6.13) в п. 6.2) принимает теперь вид:

a = M 1m,

b = x¯

za,¯

(7.5)

 

 

 

 

где M = 1 N Zˆ Zˆ — ковариационная матрица переменных

z между собой,

1 ˆ ˆ — вектор ковариаций переменных с переменной . Первую часть m = N Z X z x

оператора (7.5) часто записывают в форме:

ˆ ˆ 1 ˆ ˆ (7.6) a = Z Z Z X.

МНК-оценки e обладают следующими свойствами ((6.6, 6.12) в предыдущей

главе):

 

 

 

 

 

 

 

e¯ =

1

1

e = 0,

cov (Z, e) =

1

Zˆ e = 0.

(7.7)

 

N

 

N N

 

 

 

 

Коэффициент детерминации рассчитывается следующим образом (см. (6.20)):

 

 

sq2

 

s2

 

R2

=

 

= 1

e

,

(7.8)

s2

s2

 

 

x

 

x

 

где s2x — дисперсия объясняемой переменной, s2e — остаточная дисперсия,

sq2

(6.2.6)

1m

(7.9)

= a M a = a m = m a = m M

— объясненная дисперсия.

Уравнение регрессии часто записывают в форме со скрытым свободным членом:

X = + ε,

(7.10)

X = Za + e,

(7.11)

224

Глава 7. Основная модель линейной регрессии

α

, a =

a

где Z = [Z 1N ], α =

.

β

 

b

При таком представлении уравнения регрессии оператор МНК-оценивания

записывается следующим, более компактным, чем (7.5), образом:

 

 

 

 

 

a = M 1m,

(7.12)

где M =

1

Z Z, m =

1

Z X , или

 

 

N

N

 

 

 

 

 

 

 

 

 

 

 

a = Z Z 1

Z X.

(7.13)

M и m также, как M и m, являются матрицей и вектором вторых моментов, но не центральных, а начальных. Кроме того, их размерность на единицу больше.

Оператор (7.12) дает, естественно, такой же результат, что и оператор (7.5). Этот факт доказывался в п. 4.2 для случая одной переменной в правой части уравнения.

В общем случае этот факт доказывается следующим образом.

 

Учитывая, что

 

 

ˆ

 

(7.14)

X = X + 1N x,¯

Z = ˆ

,

(7.15)

Z + 1N z¯

1N

 

можно установить, что

 

 

M + z¯ z¯

z¯

(7.16)

M =

,

z¯

1

 

m + z¯ x¯

 

m =

,

 

x¯

и записать систему нормальных уравнений, решением которой является (7.12) в следующей форме:

M + z¯ z¯ z¯

a

m + z¯ x¯

 

 

=

.

z¯

1

b

x¯

7.1. Различные формы уравнения регрессии

225

Вторая (нижняя) часть этой матричной системы уравнений эквивалентна второй части оператора (7.5). После подстановки b, выраженного через a, в первую (верхнюю) часть данной матричной системы уравнений она приобретает следующий вид:

M a + z¯ za¯ + z¯ x¯ − z¯ za¯ = m + z¯ x,¯

и после приведения подобных становится очевидной ее эквивалентность первой части оператора (7.5).

Что и требовалось доказать.

Кроме того, можно доказать, что

M 1 =

M 1

−M 1z¯ .

(7.17)

 

−zM¯ 1

1 + zM¯ 1z¯

 

Этот факт потребуется ниже. (Правило обращения блочных матриц см. в Приложении A.1.2.)

Справедливость этого утверждения проверяется умножением M 1 из (7.17) на M из (7.16). В результате получается единичная матрица.

МНК-оценки вектора e ортогональны столбцам матрицы Z:

Z e = 0.

(7.18)

Доказательство наличия этого свойства получается как побочный результат при выводе оператора оценивания (7.12) путем приравнивания нулю производных остаточной дисперсии по параметрам регрессии, как это делалось в п. 6.2.

Поскольку последним столбцом матрицы Z является 1N , из (7.18) следует,

что

 

1N e = 0,

(7.19)

т.е. e¯ = 0. Из остальной части (7.18):

Z e = 0,

(7.20)

что в данном случае означает, что cov(Z, e) = 0.

Действительно, раскрывая (7.20):

(7.15) ˆ ˆ

Z e = Z e + z¯ 1N e = Z e = 0.

←−−→

=0

226

Глава 7. Основная модель линейной регрессии

Таким образом, (7.18) эквивалентно (7.7).

Однако уравнения (7.10) допускают и иную интерпретацию. Если последним в Z является не 1N , а столбец «обычной» переменной, то это — регрессия без свободного члена. В таком случае из (7.18) не следует (7.19), и свойства (7.7) не выполняются. Кроме того, для такой регрессии, очевидно, не возможна сокращенная запись уравнения. Этот случай в дальнейшем не рассматривается.

В дальнейшем будет применяться в основном форма записи уравнения со скрытым свободным членом, но чтобы не загромождать изложение материала, символ « » будет опускаться, т.е. соотношения (7.10, 7.11, 7.12, 7.13, 7.18) будут использоваться в форме

X = + ε,

(7.21)

X = Za + e,

(7.22)

a = M 1m,

(7.23)

a = Z Z 1 Z X,

(7.24)

Z e = 0.

(7.25)

Случаи, когда a, Z, m, M означают не a, Z, m, M , а собственно a, Z, m, M , будут оговариваться специально.

7.2. Основные гипотезы, свойства оценок

Применение основной модели линейной регрессии корректно, если выполняются следующие гипотезы:

g1. Между переменными x и z существует линейная зависимость, и (7.10) является истинной моделью, т.е., в частности, правильно определен набор факторов z — модель верно специфицирована.

g2. Переменные z детерминированы, наблюдаются без ошибок и линейно независимы.

g3. E(ε) = 0.

g4. E (εε ) = σ2IN .

Гипотеза g2 является слишком жесткой и в экономике чаще всего нарушается. Возможности ослабления этого требования рассматриваются в следующей главе. Здесь можно заметить следующее: в тех разделах математической статистики, в которых рассматривается более общий случай, и z также случайны, предполагается, что ε не зависит от этих переменных-регрессоров.

7.2. Основные гипотезы, свойства оценок

227

 

В этих предположениях a относится к классу линейных оценок, поскольку

 

a = LX,

(7.26)

где

(7.13)

 

L = (Z Z)1 Z — детерминированная матрица размерности (n + 1) × N ,

идоказывается ряд утверждений о свойствах этих МНК-оценок.

1)a — несмещенная оценка α.

Действительно:

a

(7.26), g1

LZ=In+1

α +

(7.27)

= L (+ ε) = LZα +

=

и

g3

E (a) = α.

2) Ее матрица ковариации Ma удовлетворяет следующему соотношению:

 

 

 

Ma

=

1

σ2M 1,

 

 

 

 

 

 

 

 

 

 

 

 

 

(7.28)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

N

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

в частности,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σa2j =

σ2

mjj1, j = 1, . . . , n + 1 (σa2n+1 ≡ σb2),

 

 

 

N

 

 

 

где mjj1 j-й диагональный элемент матрицы M 1 .

 

 

 

 

 

 

 

 

 

Действительно:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(7.27)

 

 

 

 

 

g4

 

 

 

 

 

= σ2 (Z Z)1=

1

 

Ma = E ((a − α)(a − α) ) =

E (Lεε L ) = σ2LL

 

 

σ2M 1.

N

Этот результат при n = 1 означает, что σ2 =

 

σ2 1

, и его можно получить, исполь-

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

 

N sz2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

зуя формулу (5.17) распространения ошибок первичных измерений.

 

 

 

Действительно, a =

di (xi − x¯), где di =

 

 

 

zi − z¯

2

. Тогда

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(zi − z¯)

 

 

 

 

 

 

 

 

 

 

∂a

1

 

N

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

=

 

l=1 dl

+di = di

 

 

 

 

 

 

 

 

 

 

∂xi

N

 

 

 

 

 

 

 

 

 

 

 

 

 

=0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

←−−−−−→

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

и в соответствии с указанной формулой:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σ2 = σ2

d2 = σ2

 

 

(zi − z¯)2

 

 

 

=

 

 

σ2

=

σ2

 

1

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

i

(zi − z¯)2

2

 

 

 

 

 

(zi − z¯)2

 

N sz2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

228

Глава 7. Основная модель линейной регрессии

Здесь важно отметить следующее.

Данная формула верна и в случае использования исходной или сокращенной записи уравнения регрессии, когда M — матрица ковариации регрессоров. Это следует из (7.17). Но в такой ситуации она (эта формула) определяет матрицу ковариации только оценок коэффициентов регрессии при объясняющих переменных, а дисперсию оценки свободного члена можно определить по формуле σN2 1 + z¯ M 1z¯ , как это следует также из (7.17).

Следует также обратить внимание на то, что несмещенность оценок при учете только что полученной зависимости их дисперсий от N свидетельствует о состоятельности этих оценок.

Иногда формулу (7.28) используют в другой форме:

 

Ma = σ2

Z Z 1 .

(7.29)

3) Несмещенной оценкой остаточной дисперсии σ2 является

 

 

N

1

e e.

 

sˆe2 =

 

se2

=

 

(7.30)

N − n − 1

N − n − 1

Для доказательства этого факта сначала устанавливается зависимость МНК-оценок ошибок от их истинных значений, аналогично (5.10):

e = X − Za

g1, (7.27)

(7.31)

= + ε − Z (α + ) = (IN − ZL) ε = Bε,

и устанавливаются свойства матрицы B (аналогично тому, как это делалось в п. 5.1)

 

1

 

 

B = IN − ZL = IN − Z (Z Z)1 Z = IN

 

ZM 1Z .

(7.32)

N

Эта матрица:

а) вещественна и симметрична: B = B,

б) вырождена и имеет ранг N − n − 1, т.к. при любом ξ = 0 выполняется BZξ = 0

(7.32)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(поскольку BZ = 0), а в множестве в соответствии с g2 имеется точно n + 1

линейно независимых векторов,

 

 

 

 

 

 

 

 

 

 

 

 

в) идемпотентна: B2 = B,

 

 

 

 

 

 

 

 

 

 

 

 

 

г) положительно полуопределена в

силу симметричности

и идемпотентности:

ξ Bξ = ξ B2ξ = ξ B Bξ 0.

 

 

 

 

 

 

 

 

 

 

 

 

 

Теперь исследуется зависимость остаточной дисперсии от σ2 :

 

1

 

(7.31)

1

 

 

 

1

 

 

se2 =

 

e e

=

 

 

ε B Bε =

 

 

ε Bε,

 

N

 

 

 

 

 

 

 

 

 

N

 

N

 

 

 

 

1

 

 

 

g4 σ2

 

 

 

 

E se2

=

 

 

E (ε Bε) =

 

 

tr (B),

(7.33)

 

 

N

 

 

 

 

N

 

 

 

←−−→

 

bii

7.2. Основные гипотезы, свойства оценок

229

где tr(·)— операция следа матрицы, результатом которой является сумма ее диагональных элементов.

Далее, в силу коммутативности операции следа матрицы

tr (B) = tr (IN ) tr (ZL) = N − tr (LZ) = N − n − 1.

←−→

 

 

 

In+1

 

(См. Приложение A.1.2.)

 

 

 

 

Таким образом, E se2 =

N − n − 1

σ2 , и E

1

e e = σ2 .

N

N − n − 1

 

 

 

Что и требовалось доказать.

Тогда оценкой матрицы ковариации Ma является (в разных вариантах расчета)

sˆ2

M 1

 

e e

M 1

 

e e

 

Z Z

1

 

 

e

=

 

=

 

 

 

,

(7.34)

N

N (N − n − 1)

N − n

 

 

 

 

 

 

1

 

 

 

и, соответственно, несмещенными оценками дисперсий (квадратов ошибок) оценок параметров регрессии:

sˆ2

=

 

e e

 

 

m1

,

j = 1, . . . , n + 1 (s2

s2).

(7.35)

N (N

 

n

 

1)

aj

 

jj

 

an+1

b

 

 

 

 

 

 

 

 

 

 

 

 

4) Дисперсии a являются наименьшими в классе линейных несмещенных оценок, т.е. оценки a относятся к классу BLUE (см. п. 5.1). Это утверждение называется теоремой Гаусса—Маркова.

Доказательство этого факта будет проведено для оценки величины c α, где c — любой детерминированный вектор-столбец размерности n + 1. Если в качестве c выбирать орты, данный факт будет относиться к отдельным параметрам регрессии.

МНК-оценка этой величины есть

 

(7.26)

смещена,

c a = c LX , она линейна, не

т.к. E (c a) = c α, и ее дисперсия определяется следующим образом:

 

var (c a)

(7.28) σ2

 

=

 

 

c M 1c.

(7.36)

 

N

Пусть d X — любая линейная оценка c α, где d — некоторый детерминированный вектор-столбец размерности N .

g1

E (d Zα + d

g3

(7.37)

E (d X) =

ε) = d Zα,

и для того, чтобы эта оценка была несмещенной, т.е. чтобы d Zα = c α, необходимо

d Z = c .

(7.38)

230

Глава 7. Основная модель линейной регрессии

Из (7.37) следует, что d X = E (d X) + d ε, и тогда

var (d X) = E((d X − E(d X))2) = E (d εε d)

←−−−−−−−−→

d ε

g4

(7.39)

= σ2d d.

И, наконец, в силу положительной полуопределенности матрицы B (из (7.32)):

 

(7.36,7.40)

 

 

σ2

(7.38)

var (d X) var (c a) =

 

σ2d d −

 

c M 1c

=

 

N

 

1

 

 

 

(7.32)

 

= σ2d

IN

 

ZM

1Z

d

= σ2d Bd 0,

N

т.е. дисперсия МНК-оценки меньше либо равна дисперсии любой другой оценки в классе линейных несмещенных.

Что и требовалось доказать.

Теперь вводится еще одна гипотеза:

g5. Ошибки ε имеют многомерное нормальное распределение:

ε N 0, σ2 IN .

(Поскольку по предположению g4 они некоррелированы, то по свойству многомерного нормального распределения они независимы).

Тогда оценки a будут также иметь нормальное распределение:

a N (α, Ma) ,

(7.40)

в частности,

aj N αj , σa2j , j = 1, . . . , n + 1 (an+1 ≡ b, αn+1 ≡ β),

они совпадут с оценками максимального правдоподобия, что гарантирует их состоятельность и эффективность (а не только эффективность в классе линейных несмещенных оценок).

Применение метода максимального правдоподобия в линейной регрессии рассматривается в IV-й части книги. Здесь внимание сосредоточивается на других важных следствиях нормальности ошибок.

Поскольку

aj − αj

N (0, 1),

(7.41)

σaj

 

для αj можно построить (1 θ)100-процентный доверительный интервал:

αj aj ± σaj εˆ1−θ .

(7.42)

7.2. Основные гипотезы, свойства оценок

231

Чтобы воспользоваться этой формулой, необходимо знать истинное значение остаточной дисперсии σ2 , но известна только ее оценка. Для получения соответствующей формулы в операциональной форме, как и в п. 5.1, проводятся следующие действия.

Сначала доказывается, что

e e

χN2

−n−1.

(7.43)

σ2

Это доказательство проводится так же, как и в пункте 5.1 для (5.9). Только теперь матрица B, связывающая в (7.31) оценки ошибок с их истинными значениями, имеет ранг N − n − 1 (см. свойства матрицы B, следующие из (7.32)), а не N − 1, как аналогичная матрица в (5.10).

Затем обращается внимание на то, что e и a не коррелированы, а значит, не коррелированы случайные величины в (7.41, 7.43).

Действительно (как и в 5.1):

 

 

a − α

(7.27)

 

 

=

и

 

 

 

cov (a, e) = E ((a

 

(7.31)

g4

α)e ) = E (Lεε B) = σ2 (Z Z)1 Z B = 0.

 

 

←−→

 

 

 

 

 

 

=0

Что и требовалось доказать.

Поэтому по определению случайной величины, имеющей t-распределение:

(aj

 

αj )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

e e

 

 

 

 

 

 

aj

 

 

 

 

 

 

N

 

 

 

 

 

 

 

(7.35)

αj

 

 

 

 

 

 

 

 

 

 

 

 

 

 

/ (N

n

1)

=

 

 

 

t

N −n−1

.

(7.44)

 

 

 

 

 

 

 

 

σ2

 

sˆaj

 

 

σ m1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

jj

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Таким образом, для получения операциональной формы доверительного интер-

вала в (7.42) необходимо заменить σaj на sˆaj и εˆ1−θ

ˆ

на tN −n−1,1−θ :

αj

ˆ

(7.45)

aj ± sˆaj tN −n−1,1−θ .

Полезно заметить, что данный в этом пункте материал обобщает результаты, полученные в п. 5.1. Так, многие приведенные здесь формулы при n = 0 преобразуются в соответствующие формулы п. 5.1. Полученные результаты можно использовать также и для проверки гипотезы о том, что αj = 0 (нулевая гипотеза).

232

Глава 7. Основная модель линейной регрессии

Рассчитывается t-статистика

 

 

tjc =

aj

,

(7.46)

 

 

 

 

sˆaj

 

которая в рамках нулевой гипотезы, как это следует из (7.44), имеет t-распреде- ление.

Проверка нулевой гипотезы осуществляется по схеме, неоднократно применяемой в I части книги. В частности, если уровень значимости t-статистики sl (напо-

минание: sl таково, что tcj = tN −n−1,sl) не превышает θ (обычно 0.05), то нулевая гипотеза отвергается с ошибкой (1-го рода) θ и принимается, что αj = 0. В про-

тивном случае, если нулевую гипотезу не удалось отвергнуть, считается, что j-й фактор не значим, и его не следует вводить в модель.

Операции построения доверительного интервала и проверки нулевой гипотезы в данном случае в определенном смысле эквивалентны. Так, если построенный доверительный интервал содержит нуль, то нулевая гипотеза не отвергается, и наоборот.

Гипотеза о нормальности ошибок позволяет проверить еще один тип нулевой гипотезы: αj = 0, j = 1, . . . , n, т.е. гипотезы о том, что модель некорректна и все факторы введены в нее ошибочно.

При построении критерия проверки данной гипотезы уравнение регрессии используется в сокращенной форме, и условие (7.40) записывается в следующей

форме:

 

 

 

 

σ2

 

a N α,

 

M 1 ,

(7.47)

N

где a и α — вектора коэффициентов при факторных переменных размерности n, M — матрица ковариации факторных переменных. Тогда

N

a − α M (a − α) χn2 .

(7.48)

σ2

Действительно:

Матрица M 1 вслед за M является вещественной, симметричной и положительно полуопределенной, поэтому ее всегда можно представить в виде:

M 1 = CC ,

(7.49)

где C — квадратная неособенная матрица.

Чтобы убедиться в этом, достаточно вспомнить (6.29) и записать аналогичные соотношения: M 1Y = Y Λ, Y Y = Y Y = In , Λ 0, где Y — матрица, столбцы