7.2. Основные гипотезы, свойства оценок

Применение основной модели линейной регрессии корректно, если выполня- ются следующие гипотезы:

g1. Между переменными x и z существует линейная зависимость, и (7.10) является истинной моделью, т.е., в частности, правильно определен набор факторов z — модель верно специфицирована.

g2. Переменные z детерминированы, наблюдаются без ошибок и линейно независимы.

g3. E(ε) = 0.

g4. E (εε^t) = σ²I_N .

Гипотеза g2 является слишком жесткой и в экономике чаще всего нарушается. Возможности ослабления этого требования рассматриваются в следующей главе. Здесь можно заметить следующее: в тех разделах математической статистики, в ко- торых рассматривается более общий случай, и z также случайны, предполагается, что ε не зависит от этих переменных-регрессоров.

2. Основные гипотезы, свойства оценок 227

В этих предположениях a относится к классу линейных оценок, поскольку

a = LX, (7.26)

где L

(7.13)

1

= (Z^tZ)⁻ Z^t — детерминированная матрица размерности (n + 1) × N ,

и доказывается ряд утверждений о свойствах этих МНК-оценок.

1. a — несмещенная оценка α.

Действительно:

(7.26), g1

a = L (Zα + ε) = LZα + Lε

и

^LZ=In+1

= α + Lε (7.27)

E (a)

g3

= α.

2. Ее матрица ковариации M_a удовлетворяет следующему соотношению:

в частности,

1 ₂

M_a = _N σ M

⁻¹, (7.28)

σ

2

_σ2 1 2 2

jj

_aj = _N m⁻ , j = 1, . . . , n + 1 (σ

^an+1

≡ σ_b ),

jj

где m⁻¹ — j-й диагональный элемент матрицы M ⁻¹.

Действительно:

^(7.27) g4

₋₁ 1

M_a = E ((a − α)(a − α)^r)

= E (Lεε^rL^r) = σ²LL^r = σ² (Z^rZ)

= σ²M ⁻¹.

N

2

Этот результат при n = 1 означает, что σ² = ^σ

1

, и его можно получить, исполь-

z

^a N s²

зуя формулу (5.17) распространения ошибок первичных измерений.

z_i − z¯

Действительно, a = ^ d_i (x_i − x¯), где d_i = _

(z_i − z¯)²

. Тогда

=

∂a 1

−

N

^ d +d = d

∂x_i

_N l i i l=1

←−−₌−₀−−→

2

и в соответствии с указанной формулой:

_σ2 2 ^ 2

^ (z_i − z¯)²

σ ²

σ ² 1

_a = σ

d_i = σ

^ (z_i − z¯)²

^{2 = } (z

= .

z

_i −

z¯)^{2 N s2}

228 Глава 7. Основная модель линейной регрессии

Здесь важно отметить следующее.

Данная формула верна и в случае использования исходной или сокращенной за- писи уравнения регрессии, когда M — матрица ковариации регрессоров. Это сле- дует из (7.17). Но в такой ситуации она (эта формула) определяет матрицу ковариа- ции только оценок коэффициентов регрессии при объясняющих переменных, а дис-

N

персию оценки свободного члена можно определить по формуле ^{σ2 .}1 + z¯^tM ⁻¹z¯^.,

как это следует также из (7.17).

Следует также обратить внимание на то, что несмещенность оценок при учете только что полученной зависимости их дисперсий от N свидетельствует о состоя- тельности этих оценок.

Иногда формулу (7.28) используют в другой форме:

M_a = σ^{2 .}Z^tZ^.−1 . (7.29)

3. Несмещенной оценкой остаточной дисперсии σ² является

sˆ² = ^N

_{s2 =} 1

e^te. (7.30)

^e N − n − 1 ^e

N − n − 1

Для доказательства этого факта сначала устанавливается зависимость МНК-оценок ошибок от их истинных значений, аналогично (5.10):

e = X − Za

g1, (7.27)

= Zα + ε − Z (α + Lε) = (I_N − ZL) ε = Bε, (7.31)

и устанавливаются свойства матрицы B (аналогично тому, как это делалось в п. 5.1)

1

B = I_N − ZL = I_N − Z (Z^rZ)⁻¹ Z^r = I_N −

Эта матрица:

а) вещественна и симметрична: B^r = B,

ZM ⁻¹Z^r. (7.32)

N

б) вырождена и имеет ранг N − n − 1, т.к. при любом ξ ƒ= 0 выполняется BZξ = 0

(7.32)

(поскольку BZ

= 0), а в множестве Zξ в соответствии с g2 имеется точно n +1

линейно независимых векторов, в) идемпотентна: B² = B,

г) положительно полуопределена в силу симметричности и идемпотентности:

ξ^rBξ = ξ^rB²ξ = ξ^rB^rBξ “ 0.

Теперь исследуется зависимость остаточной дисперсии от σ² :

1 (7.31) 1 1

_s2

_e = _N e^re =

ε^rB^rBε = ε^rBε,

N N

2

E ^.s^2. = ¹ E (ε^rBε) ^g=^{4 σ}

tr (B), (7.33)



^{e N N} ←−−→

^bii

7.2. Основные гипотезы, свойства оценок 229

где tr(·)— операция следа матрицы, результатом которой является сумма ее диаго- нальных элементов.

Далее, в силу коммутативности операции следа матрицы

tr (B) = tr (I_N ) − tr (ZL) = N − tr (LZ) = N − n − 1.

I

←−→

n+1

(См. Приложение A.1.2.)

Таким образом, E ^.s^2. = ^{N − n − 1} σ² , и E ^{ 1}



e^re = σ² .

e _N

Что и требовалось доказать.

N − n − 1

Тогда оценкой матрицы ковариации M_a является (в разных вариантах расчета)

sˆ²

e _M −1 ₌

N

e^te

N (N − n − 1)

_M −1 ₌

e^te

N − n − 1

^.Z^tZ

^.−1 , (7.34)

и, соответственно, несмещенными оценками дисперсий (квадратов ошибок) оценок параметров регрессии:

sˆ²

₌ e^te

m⁻¹, j = 1, . . . , n + 1 (s²

s²). (7.35)

^aj N (N − n − 1) ^jj

^an+1 ^{≡ b}

4. Дисперсии a являются наименьшими в классе линейных несмещенных оце- нок, т.е. оценки a относятся к классу BLUE (см. п. 5.1). Это утверждение называ- ется теоремой Гаусса—Маркова.

Доказательство этого факта будет проведено для оценки величины c^rα, где c — любой детерминированный вектор-столбец размерности n + 1. Если в качестве c выбирать орты, данный факт будет относиться к отдельным параметрам регрессии.

(7.26)

МНК-оценка этой величины есть c^ra

= c^rLX , она линейна, не смещена,

т.к. E (c^ra) = c^rα, и ее дисперсия определяется следующим образом:

(7.28) σ²

var (c^ra) =

c^rM ⁻¹c. (7.36)

N

Пусть d^rX — любая линейная оценка c^rα, где d — некоторый детерминированный

вектор-столбец размерности N .

E (d^rX ) ^g=¹

E (d^rZα + d^rε) ^g=³

d^rZα, (7.37)

и для того, чтобы эта оценка была несмещенной, т.е. чтобы d^rZα = c^rα, необходимо

d^rZ = c^r. (7.38)

230 Глава 7. Основная модель линейной регрессии

Из (7.37) следует, что d^rX = E (d^rX )+ d^rε, и тогда

var (d^rX ) = E((d^rX − E(d^rX ))²) = E (d^rεε^rd)

←−−−−_dr−_ε−−−→

^g=⁴ σ²d^rd. (7.39)

И, наконец, в силу положительной полуопределенности матрицы B (из (7.32)):

var (d^rX ) − var (c^ra)

2

(7.36,7.40)

= σ d^rd −

2

^σ _cr_M −1_c N

(7.38)

=

= σ²d^r



I_N −

¹ ZM ⁻¹Z^r d

N

(7.32)

2

= σ d^rBd “ 0,

т.е. дисперсия МНК-оценки меньше либо равна дисперсии любой другой оценки в классе линейных несмещенных.

Что и требовалось доказать.

Теперь вводится еще одна гипотеза:

g5. Ошибки ε имеют многомерное нормальное распределение:

ε ∼ N ^0, σ²I_N ^ .

(Поскольку по предположению g4 они некоррелированы, то по свойству мно- гомерного нормального распределения они независимы).

Тогда оценки a будут также иметь нормальное распределение:

a ∼ N (α, M_a) , (7.40)

в частности,

α_j

a_j ∼ N ^

a_j

, σ^{2 } , j = 1, . . . , n + 1 (a_n+1 ≡ b, α_n+1 ≡ β),

они совпадут с оценками максимального правдоподобия, что гарантирует их со- стоятельность и эффективность (а не только эффективность в классе линейных несмещенных оценок).

Применение метода максимального правдоподобия в линейной регрессии рас- сматривается в IV-й части книги. Здесь внимание сосредоточивается на других важных следствиях нормальности ошибок.

Поскольку

^{aj − αj} N (0, 1), (7.41)

σ_aj

для α_j можно построить (1 − θ)100-процентный доверительный интервал:

a_j

.

α_j ∈ ^.

± σ_aj

εˆ_1−θ .

(7.42)

7.2. Основные гипотезы, свойства оценок 231

Чтобы воспользоваться этой формулой, необходимо знать истинное значение остаточной дисперсии σ², но известна только ее оценка. Для получения соответ- ствующей формулы в операциональной форме, как и в п. 5.1, проводятся следую- щие действия.

Сначала доказывается, что

e^te ₂

_σ2 ∼ χ_{N −n−1}. (7.43)

Это доказательство проводится так же, как и в пункте 5.1 для (5.9). Только теперь матрица B, связывающая в (7.31) оценки ошибок с их истинными значениями, имеет ранг N − n − 1 (см. свойства матрицы B, следующие из (7.32)), а не N − 1, как аналогичная матрица в (5.10).

Затем обращается внимание на то, что e и a не коррелированы, а значит, не коррелированы случайные величины в (7.41, 7.43).

Действительно (как и в 5.1):

a − α

и

(7.27)

= Lε

(7.31)

^g4 −1

cov (a, e) = E ((a − α)e^r)

Что и требовалось доказать.

= E (Lεε^rB) = σ² (Z^rZ)

Z^rB

←₌−₀→

= 0.

Поэтому по определению случайной величины, имеющей t-распределение:

√

.

σ.

(a_j − α_j ) N ^,

e^te

₂ / (N − n − 1)

(7.35)

=

a_j − α_j

∼ t_{N −n−1}. (7.44)

m

−1 _σ

jj

sˆ_aj

Таким образом, для получения операциональной формы доверительного интер- вала в (7.42) необходимо заменить σ_aj на sˆ_aj и εˆ_1−θ на t^ˆ_{N −n−1,1−θ} :

α_j ∈ ^.

± sˆ t ^.

(7.45)

^aj a_j ^ˆN −n−1,1−θ ^.

Полезно заметить, что данный в этом пункте материал обобщает результаты, полученные в п. 5.1. Так, многие приведенные здесь формулы при n = 0 пре- образуются в соответствующие формулы п. 5.1. Полученные результаты можно использовать также и для проверки гипотезы о том, что α_j = 0 (нулевая гипотеза).

232 Глава 7. Основная модель линейной регрессии

Рассчитывается t-статистика

_tc

^aj , (7.46)

sˆ

_j =

a_j

которая в рамках нулевой гипотезы, как это следует из (7.44), имеет t-распреде- ление.

Проверка нулевой гипотезы осуществляется по схеме, неоднократно применя- емой в I части книги. В частности, если уровень значимости t-статистики sl (напо-

j

минание: sl таково, что t^c = t_N

−n−

_1,sl) не превышает θ (обычно 0.05), то нулевая

гипотеза отвергается с ошибкой (1-го рода) θ и принимается, что α_j ƒ= 0. В про-

тивном случае, если нулевую гипотезу не удалось отвергнуть, считается, что j-й

фактор не значим, и его не следует вводить в модель.

Операции построения доверительного интервала и проверки нулевой гипоте- зы в данном случае в определенном смысле эквивалентны. Так, если построенный доверительный интервал содержит нуль, то нулевая гипотеза не отвергается, и на- оборот.

Гипотеза о нормальности ошибок позволяет проверить еще один тип нулевой гипотезы: α_j = 0, j = 1, . . . , n, т.е. гипотезы о том, что модель некорректна и все факторы введены в нее ошибочно.

При построении критерия проверки данной гипотезы уравнение регрессии ис- пользуется в сокращенной форме, и условие (7.40) записывается в следующей форме:

. _{σ2 1}.

a ∼ N

α, M ⁻ N

, (7.47)

где a и α — вектора коэффициентов при факторных переменных размерности n, M — матрица ковариации факторных переменных. Тогда

^{N .}a^t − α^t. M (a − α) ∼ χ² . (7.48)

_σ2 n

Действительно:

Матрица M ⁻¹ вслед за M является вещественной, симметричной и положительно полуопределенной, поэтому ее всегда можно представить в виде:

M ⁻¹ = CC^r, (7.49)

где C — квадратная неособенная матрица.

Чтобы убедиться в этом, достаточно вспомнить (6.29) и записать аналогичные со- отношения: M ⁻¹Y = Y Λ, Y ^rY = YY ^r = I_n , Λ “ 0, где Y — матрица, столбцы

7.2. Основные гипотезы, свойства оценок 233

которой есть собственные вектора M ⁻¹ , Λ — диагональная матрица соответству- ющих собственных чисел. Тогда

M ⁻¹ = Y ΛY ^r = Y Λ^0.5

_Λ0.5_Y r

(см. Приложение A.1.2). Вектор случайных величин u =

←−−_C−→ ←−_C−−_r →

√_N

−

C⁻¹(a α) обладает следующими свойствами:

σ

по построению E(u) = 0, и в силу того, что

(7.47) σ² ₁

E ((a − α)(a − α)^r) =

M ⁻ ,

N

− −

cov(u) = E (uu^r) = ^N C⁻¹E ((a α)(a α)^r) C^r−1 = C⁻¹M ⁻¹C^r−1 _σ2

Следовательно, по определению χ² случайная величина

2

u^ru = ^N (a^r − α^r) C^r−1C⁻¹ (a − α)

(7.49)

= I_n.

σ ←−−_M−−−→

имеет указанное распределение (см. Приложение A.3.2).

Как было показано выше, e и a не коррелированы, поэтому не коррелированы случайные величины, определенные в (7.43, 7.48), и в соответствии с определением случайной величины, имеющей F -распределение:

^, e^te

_σ2

^{N .}a^t − α^t. M (a − α) (N − n − 1)

Отсюда следует, что при нулевой гипотезе α = 0

_σ2 ^{n ∼ F}n, N −n−1^.

или

a^tMa (N − n − 1) (e^te)^

n

N

(7.9)

=

_q (N − n − 1)

e

_s2

_s2n ^{∼ F}n, N −n−1^,

R² (N − n − 1) (1 − R²) n

= F ^c ∼ F_{n, N}

−n−

₁. (7.50)

Сама проверка нулевой гипотезы проводится по обычной схеме. Так, если зна- чение вероятности pv статистики F ^c (величина, аналогичная sl для t-статистики) не превышает θ (например, 0.05), нулевая гипотеза отвергается с вероятностью ошибки θ, и модель считается корректной. В противном случае нулевая гипотеза не отвергается, и модель следует пересмотреть.

234 Глава 7. Основная модель линейной регрессии