7.3. Независимые факторы: спецификация модели

В этом пункте используется модель линейной регрессии в сокращенной фор- ме, поэтому переменные берутся в центрированной форме, а m и M — вектор и матрица соответствующих коэффициентов ковариации переменных.

Под спецификацией модели в данном случае понимается процесс и результат определения набора независимых факторов. При построении эконометрической модели этот набор должен обосновываться экономической теорией. Но это удается не во всех случаях. Во-первых, не все факторы, важные с теоретической точки зрения, удается количественно выразить. Во-вторых, эмпирический анализ часто предшествует попыткам построения теоретической модели, и этот набор просто неизвестен. Потому важную роль играют и методы формального отбора факторов, также рассматриваемые в этом пункте.

В соответствии с гипотезой g2 факторные переменные не должны быть ли- нейно зависимыми. Иначе матрица M в операторе МНК-оценивания будет необ- ратима. Тогда оценки МНК по формуле a = M ⁻¹m невозможно будет рассчитать, но их можно найти, решая систему нормальных уравнений (6.14):

Ma = m.

Решений такой системы нормальных уравнений (в случае необратимости матри- цы M ) будет бесконечно много. Следовательно, оценки нельзя найти однозначно, т.е. уравнение регрессии невозможно идентифицировать. Действительно, пусть оценено уравнение

где

xˆ = zˆ₁a₁ + e, (7.51)

zˆ₁ — вектор-строка факторных переменных размерности n₁, a₁ — вектор-

столбец соответствующих коэффициентов регрессии, и пусть в это уравнение вво- дится дополнительный фактор zˆ₂, линейно зависимый от zˆ₁, т.е. zˆ₂ = zˆ₁c₂₁ .

Тогда оценка нового уравнения

1

xˆ = zˆ₁a^∗ + zˆ₂a₂ + e^∗ (7.52)

(«звездочкой» помечены новые оценки «старых» величин) эквивалентна оценке уравнения xˆ = zˆ₁ (a^∗ + a₂c₂₁)+ e^∗. Очевидно, что a₁ = a^∗ + a₂c₂₁ , e = e^∗, и, про-

1 1

1

извольно задавая a₂, можно получать множество новых оценок a^∗ = a₁ − a₂c₂₁.

Логичнее всего положить a₂ = 0, т.е. не вводить фактор

zˆ₂. Хотя, если из со-

держательных соображений этот фактор следует все-таки ввести, то тогда надо исключить из уравнения какой-либо ранее введенный фактор, входящий в zˆ₁. Та- ким образом, вводить в модель факторы, линейно зависимые от уже введенных, бессмысленно.

7.3. Независимые факторы: спецификация модели 235

Случаи, когда на факторных переменных су- ществуют точные линейные зависимости, встре- чаются редко. Гораздо более распространена си- туация, в которой зависимости между фактор- ными переменными приближаются к линейным. Такая ситуация называется мультиколлинеарно- ^O стью. Она чревата высокими ошибками получа- емых оценок и высокой чувствительностью ре- зультатов оценивания к ошибкам в факторных переменных, которые, несмотря на гипотезу g2, обычно присутствуют в эмпирическом анализе.

Действительно, в такой ситуации матрица M

плохо обусловлена и диагональные элементы

A

C

B

Рис. 7.1

M ⁻¹ , определяющие дисперсии оценок, могут принимать очень большие значения.

Кроме того, даже небольшие изменения в M , связанные с ошибками в факторных переменных, могут повлечь существенные изменения в M ⁻¹ и, как следствие, —

в оценках a.

Последнее наглядно иллюстрируется рисунком (рис. 7.1) в пространстве наблюдений при n = 2.

На этом рисунке: OA — xˆ, OB — zˆ₁ , OC — zˆ₂ .

Видно, что факторные переменные сильно коррелированы (угол между соответству- ющими векторами мал).

Поэтому даже небольшие колебания этих векторов, связанные с ошибками, зна- чительно меняют положение плоскости, которую они определяют, и, соответствен- но, — нормали на эту плоскость.

Из рисунка видно, что оценки параметров регрессии «с легкостью» меняют не только свою величину, но и знак.

По этим причинам стараются избегать ситуации мультиколлинеарности. Для этого в уравнение регрессии не включают факторы, сильно коррелирован- ные с другими.

Можно попытаться определить такие факторы, анализируя матрицу коэффи- циентов корреляции факторных переменных S⁻¹MS⁻¹, где S — диагональная матрица среднеквадратических отклонений. Если коэффициент s_jj^t этой матри- цы достаточно большой, например, выше 0.75, то один из пары факторов j и j^t не следует вводить в уравнение. Однако такого элементарного «парного» анализа может оказаться не достаточно. Надежнее построить все регрессии на множестве факторных переменных, последовательно оставляя в левой части уравнения эти переменные по отдельности. И не вводить в уравнение специфицируемой моде- ли (с x в левой части) те факторы, уравнения регрессии для которых достаточно значимы по F -критерию (например, значение pv не превышает 0.05).

236 Глава 7. Основная модель линейной регрессии

_A Однако в эмпирических исследованиях могут возникать ситуации, когда только введение сильно

D коррелированных факторов может привести к по- строению значимой модели.

O

Это утверждение можно проиллюстрировать ри- сунком (рис. 7.2) в пространстве наблюдений при n = 2.

На этом рисунке: OA — xˆ, OB — zˆ₁ , OC —

_C zˆ₂ , AD — нормаль на плоскость, определяе- мую векторами OB и OC , OD — проекция

^B OA на эту плоскость.

Рис. 7.2

Из рисунка видно, что zˆ₁ и

zˆ₂ по отдельности

не объясняют xˆ (углы между соответствующими векторами близки к 90^◦ ), но вместе они определяют плоскость, угол между которой

и вектором OA очень мал, т.е. коэффициент детерминации в регрессии xˆ на zˆ₁ , zˆ₂ близок к единице.

Рисунок также показывает, что такая ситуация возможна только если факторы силь- но коррелированы.

В таких случаях особое внимание должно уделяться точности измерения фак- торов.

Далее определяются последствия введения в уравнение дополнительного фак- тора. Для этого сравниваются оценки уравнений (7.51, 7.52) в предположении, что zˆ₂ линейно независим от zˆ₁ .

В этом анализе доказываются два утверждения.

1. Введение дополнительного фактора не может привести к сокращению ко- эффициента детерминации, в большинстве случаев он растет (растет объясненная дисперсия). Коэффициент детерминации остается неизменным тогда и только то- гда, когда вводимый фактор ортогонален остаткам в исходной регрессии (линейно независим от остатков), т.е. когда

m_2e = _N Z^ˆ e = 0 (7.53)

1

t

2

(понятно, что коэффициент детерминации не меняется и в случае линейной зависи- мости zˆ₂ от zˆ₁ , но такой случай исключен сделанным предположением о линейной независимости этих факторов; в дальнейшем это напоминание не делается).

Для доказательства этого факта проводятся следующие действия.

Записываются системы нормальных уравнений для оценки регрессий (7.51, 7.52):

m₁ = M₁₁a₁, (7.54)

7.3. Независимые факторы: спецификация модели 237

  

m M

  

m a^∗

 1 ₌  11

^{12 } 1^

  

m₂

^m21 ^m22

   ^{, (7.55)}

a₂

1 1 1 1

где m₁ =

Z^ˆr X^ˆ , m₂ = Z^ˆr X^ˆ , M₁₁ = Z^ˆr Z^ˆ , m

1

N N N

= m^r

= Z^ˆr Z^ˆ ,

N

1

m₂₂ = _N Z^ˆr Z^ˆ .

_{2 1} 1 12

21 1 ²

₂ 2

Далее, с помощью умножения обеих частей уравнения (7.51), расписанного по на-

1

блюдениям, слева на

Z^ˆr , устанавливается, что

2

N

m₂ − m₂₁a₁

(7.53)

= m_2e, (7.56)

2

а из регрессии Z^ˆ

= Z^ˆ a₂₁

+ e₂₁

, в которой по предположению e₂₁

ƒ= 0, находится

1

остаточная дисперсия:

_s2 1

(7.9) ₁

21^e21

M m

12

11

e21 ⁼ _N ^er

= m₂₂

− m₂₁ ⁻

> 0. (7.57)

Из первой (верхней) части системы уравнений (7.55) определяется:

1

и далее

M₁₁a^∗ + m₁₂a₂ = m₁

(7.54)

= M₁₁a₁,

_a∗ −1

₁ = a₁ − M₁₁ m₁₂a₂. (7.58)

Из второй (нижней) части системы уравнений (7.55) определяется:

1

Откуда

m₂₂a₂ = m₂ − m₂₁a^∗

= m₂ − m₂₁ ^.a₁ − M ¹m₁₂a₂^..

(7.58)

−

11

11

^.m₂₂ − m₂₁M ⁻¹m₁₂^. a₂ = m₂ − m₂₁a₁

и, учитывая (7.56, 7.57),

_s2

_e21a₂ = m_2e. (7.59)

Наконец, определяется объясненная дисперсия после введения дополнительного фактора:

_s2∗ (7.9)



(7.58)



(7.56)

_q = m^r a^∗ + m₂a₂

= m^r a₁ + ^m₂ − m^r M ⁻¹ m₁₂^ a₂

= s² + m_2ea₂,

1 1 1 ^

1 11 ^ q

s

←−−₂ →

q

←−−−_r −→

a

1

(7.60)

238 Глава 7. Основная модель линейной регрессии

т.е.

m

2

_s2∗ (7.59) _2e

q

s

_q = s² +

₂ .

e21

Что и требовалось доказать.

Это утверждение легко проиллюстрировать рисунком 7.3 в пространстве наблюде- ний при n₁ = 1.

На этом рисунке: OA — xˆ, OB — zˆ₁ , OC — zˆ₂ , AD — нормаль xˆ на ( DA — вектор e).

zˆ₁

Рисунок показывает, что если zˆ₂ ортогонален e, то нормаль xˆ на плоскость, опре- деляемую zˆ₁ и zˆ₂ , совпадает с AD, т.е. угол между этой плоскостью и xˆ совпадает с углом между xˆ и zˆ₁ , введение в уравнение нового фактора zˆ₂ не меняет коэффи- циент детерминации. Понятно также и то, что во всех остальных случаях (когда zˆ₂ не ортогонален e) этот угол уменьшается и коэффициент детерминации растет.

После введения дополнительного фактора

zˆ₂

в уравнение максимально коэффициент детерми- нации может увеличиться до единицы. Это про- изойдет, если zˆ₂ является линейной комбинацией xˆ и zˆ₁.

Рост коэффициента детерминации с увеличе- ^O нием количества факторов — свойство коэффи- циента детерминации, существенно снижающее его содержательное (статистическое) значение.

Введение дополнительных факторов, даже если они по существу не влияют на моделируемую пе-

A

C

D _B

Рис. 7.3

ременную, приводит к росту этого коэффициента. И, если таких факторов введено достаточно много, то он начнет приближаться к единице. Он обязательно достигнет единицы при n = N − 1. Более приемлем в роли критерия качества коэффициент детерминации, скорректированный на число степеней свободы:

1

R^˜2 = 1 − ^1 − R^{2 N −}

N − n − 1

( 1 − R² — отношение остаточной дисперсии к объясненной, которые имеют, со- ответственно, N − n − 1 и N − 1 степеней свободы), этот коэффициент может снизиться после введения дополнительного фактора. Однако наиболее правильно при оценке качества уравнения ориентироваться на показатель pv статистики F ^c.

Скорректированный коэффициент детерминации построен так, что он, так сказать, штрафует за то, что в модели используется слишком большой набор факторов. На этом же принципе построено и большинство других критериев, используемых

7.3. Независимые факторы: спецификация модели 239

e

для выбора модели: на них положительно отражается уменьшение остаточной дис- персии s²(z₁) (здесь имеется в виду смещенная оценка дисперсии из регрессии по z₁ ) и отрицательно — количество включенных факторов n₁ (без константы). Укажем только три наиболее известных критерия (из огромного числа предложенных

в литературе):

Критерий Маллоуза:

e

C_p = s²(z₁)+

2(n₁ + 1)

N

e

sˆ²(z),

e

где sˆ²(z) — несмещенная оценка дисперсии в регрессии с полным набором факто-

ров.

Информационный критерий Акаике:

e

AIC = ln ^.2πs²(z₁)^. +

2(n₁ + 1) _.

N

Байесовский информационный критерий (критерий Шварца):

ln(N )(n₁ + 1)

e

BIC = ln ^.2πs²(z₁)^. + .

N

В тех же обозначениях скорректированный коэффициент детерминации имеет вид

_˜2 ₋ e

s²(z₁)

R = 1

_s2

N − 1 _,

_e (∅) N − n₁ − 1

e

где s²(∅) — остаточная дисперсия из регрессии с одной константой.

Регрессия тем лучше, чем ниже показатель C_p ( AIC , BIC ). Для R^˜2 используется противоположное правило — его следует максимизировать. Вместо R^˜2 при неиз- менном количестве наблюдений N можно использовать несмещенную остаточную

дисперсию sˆ² = sˆ²(z₁), которую уже следует минимизировать.

e e

В идеале выбор модели должен происходить при помощи полного перебора воз- можных регрессий. А именно, берутся все возможные подмножества факторов z₁ , для каждого из них оценивается регрессия и вычисляется критерий, а затем выби-

рается набор z₁ , дающий наилучшее значение используемого критерия.

e

Чем отличается поведение критериев R^˜2 ( sˆ² ), C_p , AIC , BIC при выборе моде- ли? Прежде всего, они отличаются по степени жесткости, то есть по тому, насколько велик штраф за большое количество факторов и насколько более «экономную» мо- дель они имеют тенденцию предлагать. R^˜2 является наиболее мягким критерием. Критерии C_p и AIC занимают промежуточное положение; при больших N они ве- дут себя очень похоже, но C_p несколько жестче AIC , особенно при малых N . BIC является наиболее жестким критерием, причем, как можно увидеть из приведенной формулы, в отличие от остальных критериев его жесткость возрастает с ростом N .

Различие в жесткости проистекает из различия в целях. Критерии C_p и AIC на- правлены на достижение высокой точности прогноза: C_p направлен на миними- зацию дисперсии ошибки прогноза (о ней речь пойдет в следующем параграфе),

240 Глава 7. Основная модель линейной регрессии

а AIC — на минимизацию расхождения между плотностью распределения по ис- тинной модели и по выбранной модели. В основе BIC лежит цель максимизации вероятности выбора истинной модели.

2. Оценки коэффициентов регрессии при факторах, ранее введенных в уравне- ние, как правило, меняются после введения дополнительного фактора. Они оста- ются прежними в двух и только двух случаях: а) если неизменным остается ко- эффициент детерминации и выполняется условие (7.53) (в этом случае уравнение в целом остается прежним, т.к. a₂ = 0); б) если новый фактор ортогонален старым ( zˆ₁ и zˆ₂ линейно не зависят друг от друга), т.е.

1

m₁₂ = _N Z^ˆt Z^ˆ

A

= 0 (7.61)

1 ²

(в этом случае объясненная дисперсия равна сумме _C дисперсий, объясненных факторами zˆ₁ и zˆ₂ по от- _O ^F дельности).

11

Действительно, в соотношении (7.58) M ⁻¹m₁₂ не может равняться нулю при m₁₂ ƒ= 0, т.к. M₁₁ невырожденная матрица. Поэтому из данного со-

отношения следует, что оценки a₁ не меняются, если a₂ = 0 (случай «а») или/и m₁₂ = 0 (случай

«б»).

D

E

B

Рис. 7.4

Случай «а», как это следует из (7.59), возникает, когда выполняется (7.53). В случае «б» соотношение (7.60) переписывается следующим образом:

_s2∗ (7.9)

^a∗=a1 _r

1

_q = m^r a^∗ + m₂a₂

= m a₁ + m₂a₂,

1 1 1

т.к. вторая (нижняя) часть системы (7.55) означает в этом случае, что m₂₂a₂ = m₂ , т.е. a₂ — оценка параметра в регрессии xˆ по zˆ₂ :

xˆ = zˆ₂a₂ + e₂ = s² + s² , (7.62)

q2

где s²

q q2

— дисперсия xˆ, объясненная только zˆ₂ .

Что и требовалось доказать.

Иллюстрация случая «а» при n₁ = 1 достаточно очевидна и дана выше. Рисунок 7.4 иллюстрирует случай «б». На этом рисунке: OA — xˆ, OB — zˆ₁ , OC — zˆ₂ ,

EA — e, нормаль xˆ

на zˆ₁ , FA — e₂ , нормаль xˆ на

zˆ₂ , DA — e^∗ , нормаль

xˆ на плоскость, определенную

zˆ₁ и

zˆ₂ , ED — нормаль к

zˆ₁ , FD — нормаль

к zˆ₂ .

Понятно (геометрически), что такая ситуация, когда точка E является одновре-

менно началом нормалей EA и ED, а точка F — началом нормалей FA и FD, возможна только в случае, если угол COB равен 90^◦ .

7.3. Независимые факторы: спецификация модели 241

1

Но именно этот случай означает (как это следует из рисунка) одновременное вы- полнение соотношений регрессий (7.51) ( OE + EA = OA), (7.52) (при a^∗ = a₁ )

( OE +OF +DA = OA) и (7.62) ( OF +FA = OA), т.е. что введение нового фактора не меняет оценку при «старом» факторе, а «новая» объясненная дисперсия равна сумме дисперсий, объясненных «старым» и «новым» факторами по отдельности (сумма квадратов длин векторов OE и OF равна квадрату длины вектора OD).

На основании сделанных утверждений можно сформулировать такое правило введения новых факторов в уравнение регрессии: вводить в ре- грессию следует такие факторы, которые имеют высокую корреляцию с остатками по уже введен-

ным факторам и низкую корреляцию с этими уже _O введенными факторами. В этом процессе следует пользоваться F -критерием: вводить новые фак-

торы до тех пор, пока уменьшается показатель pv F -статистики.

В таком процессе добавления новых факторов в регрессионную модель некоторые из ранее вве-

A

D _C

B

Рис. 7.5

денных факторов могут перестать быть значимыми, и их следует выводить из урав- нения.

Эту возможность иллюстрирует рисунок 7.5 в пространстве наблюдений при n₁ = 1.

На этом рисунке: OA — xˆ, OB— кость, определенную zˆ₁ и zˆ₂ .

zˆ₁ , OC — zˆ₂ , AD — нормаль xˆ

на плос-

Рисунок показывает, что нормаль AD «легла» на вектор вновь введенного фактора. Следовательно, «старый» фактор входит в «новую» регрессию с нулевым коэффи- циентом.

Это — крайний случай, когда «старый» фактор автоматически выводится из уравне- ния. Чаще встречается ситуация, в которой коэффициенты при некоторых «старых» факторах оказываются слишком низкими и статистически незначимыми.

Процесс, в котором оценивается целесообразность введения новых факторов и выведения ранее введенных факторов, называется шаговой регрессией. В раз- витой форме этот процесс можно организовать следующим образом.

Пусть z — полный набор факторов, потенциально влияющих на x. Рассмат- ривается процесс обращения матрицы ковариации переменных x, z, в начале ко- торого рядом с этой матрицей записывается единичная матрица. С этой парой мат- риц производятся одновременные линейные преобразования. Известно, что если первую матрицу привести таким образом к единичной, то на месте второй будет по- лучена матрица, обратная к матрице ковариации. Пусть этот процесс не завершен,

242 Глава 7. Основная модель линейной регрессии

и только n₁ строк первой матрицы, начиная с ее второй строки (т.е. со стро- ки первого фактора), преобразованы в орты; z₁ — множество факторов, строки которых преобразованы в орты, z₂ — остальные факторы. Это — ситуация на те- кущем шаге процесса.

В начале процесса пара преобразуемых матриц имеет вид (над матрицами по- казаны переменные, которые соответствуют их столбцам):

x z₁ z₂

 

m m^t m^t

x z₁ z₂

 

1 0 0

 xx _{1 2}   

   

^{ m}1 ^M11 ^M12^

^и _{0 I1 0} ^,







12

m₂ M ^t







^M22

 

 

 

0 0 I₂

где

N

m_xx = ¹ X^{ˆ t}X^ˆ

• дисперсия x ,

m₁ = ¹ Z^ˆ X — вектор-столбец коэффициентов ковариации z₁ и x ,

_{N 1} ˆ

m₂ = ¹ Z^ˆ X — вектор-столбец коэффициентов ковариации z₂ и x ,

_{N 2} ˆ

M₁₁ = ¹ Z^ˆt Z^ˆ

• матрица коэффициентов ковариации z

между собой,

_{N 1} 1 1

M₁₂ = ¹ Z^ˆt Z^ˆ

• матрица коэффициентов ковариации z

и z ,

_{N 1} 2 1 2

M₂₂ = ¹ Z^ˆt Z^ˆ

• матрица коэффициентов ковариации z

между собой.

_{N 2} 2 2

На текущем шаге эти матрицы преобразуются к виду:

x z₁ z₂

 

m − m^t M ⁻¹m

_mt _M ⁻¹

m^t − m^t M ⁻¹M₁₂

 xx

1 1 ¹ 1 1

2 1 1 ^



^ ←−−_a−₁ −→



←−−−−−−_ce−₂−−−−−→^









^ 0 I₁ 0 ^

 

 

m₂ − M ^t

M ⁻¹m₁ M ^t

_M −1

M₂ − M ^t

_M −1_M12

12 1

12 1

12 1

x z₁ z₂

 

1 0 0

 

 

и

 _.

^−M ⁻¹m₁

_M −1

_−M −1

^M12^

1 

 

0 0 I₂

7.3. Независимые факторы: спецификация модели 243

Информация, используемая в шаговой регрессии, расположена в 1-й строке первой матрицы: остаточная дисперсия в текущей регрессии (в столбце x), коэф- фициенты a₁ текущей регрессии при переменных z₁ (в столбцах z₁), коэффи- циенты c_e2 ковариации текущих остатков e с переменными z₂, не включенными в текущую регрессию (в столбцах z₂).

Для введения очередного фактора в регрессию (шаг вперед) следует его строку в первой матрице преобразовать в орт, для исключения фактора из регрессии (шаг назад) следует преобразовать в орт его строку во второй матрице. Шаг вперед увеличивает количество элементов в векторе z₁ на единицу и сокращает на единицу количество элементов в векторе z₂. Шаг назад приводит к обратным изменениям. Последствия любого из этих шагов можно оценить по F -критерию, рассчитав показатель pv F ^c-статистики (информацию для такого расчета дает остаточная дисперсия — первый элемент первой строки первой матрицы).

На текущем шаге процесса проверяются последствия введения всех ранее не введенных факторов z₂ и исключения всех введенных факторов z₁. Выби- рается тот вариант, который дает минимальное значение показателя pv. Процесс заканчивается, как только этот показатель перестает падать. В результате опреде- ляется наилучшая регрессия. Такой процесс не приводит, как правило, к включению в регрессию сильно коррелированных факторов, т.е. позволяет решить проблему мультиколлинеарности.

Если бы расчеты проводились в стандартизированной шкале (по коэффици- ентам корреляции, а не ковариации), «кандидатом» на введение был бы фактор с максимальным значением показателя в множестве c_e2 (как было показано вы- ше), а на исключение — фактор с минимальным значением показателя в множе- стве a₁. Но даже в этом случае для окончательного выбора (вводить-исключать) и решения вопроса о завершении процесса требуется использование F -критерия. При «работе» с коэффициентами ковариации использование F -критерия необ- ходимо.

На последних шагах процесса, при приближении к минимуму критериального показателя pv, его величина меняется, как правило, весьма незначительно. Поэто- му один из возможных подходов к использованию шаговой регрессии заключается в определении некоторого множества регрессий, получаемых на последних шагах процесса, которые практически одинаковы по своему качеству. И на этом мно- жестве следует делать окончательный выбор, пользуясь содержательными крите- риями.

Иногда процесс шаговой регрессии предлагают строить на основе t-критерия: фактор вводится в уравнение, если его t-статистика больше некоторой заданной величины t₁, выводится из уравнения, если эта статистика меньше заданной вели- чины t₂; как правило, t₁ > t₂. Такой процесс не гарантирует получение наилучшей

244 Глава 7. Основная модель линейной регрессии

регрессии, его использовали в то время, когда вычислительные возможности были еще слабо развиты, и, в частности, точные значения показателя pv было трудно определить.