- •Линейная регрессия
- •1.2. Простая регрессия
- •6.3. Ортогональная регрессия
- •6.4. Многообразие оценок регрессии
- •6.5. Упражнения и задачи
- •Глава 7
- •Основная модель линейной регрессии
- •7.1. Различные формы уравнения регрессии
- •7.2. Основные гипотезы, свойства оценок
- •7.3. Независимые факторы: спецификация модели
- •7.4. Прогнозирование
- •7.5. Упражнения и задачи
- •Глава 8
- •Нарушение гипотез основной линейной модели
- •8.3. Автокорреляция ошибок
- •8.4. Ошибки измерения факторов
- •8.5. Метод инструментальных переменных
- •8.6. Упражнения и задачи Упражнение 1
8.5. Метод инструментальных переменных
Предполагаем, что в регрессии x = zα + ε переменные-факторы z являются случайными, и нарушена гипотеза g2 в обобщенной формулировке: ошибка ε зави- сит от факторов z, так что корреляция между z и ошибкой ε не равна нулю. Такую
274 Глава 8. Нарушение гипотез основной линейной модели
регрессию можно оценить, имея набор вспомогательных переменных y, называ- емых инструментальными переменными. Часто инструментальные переменные называют просто инструментами.
Для того, чтобы переменные y можно было использовать в качестве инстру- ментальных, нужно, чтобы они удовлетворяли следующим требованиям:
Инструменты y некоррелированы с ошибкой ε. (В противном случае метод даст несостоятельные оценки, как и МНК.) Если это условие не выполнено, то такие переменные называют негодными инструментами4.
Инструменты y достаточно сильно коррелированы с факторами z. Если данное условие не выполнено, то это так называемые «слабые» инструменты. Если инструменты слабые, то оценки по методу будут неточными и при малом количестве наблюдений сильно смещенными.
Обычно z и y содержат общие переменные, т.е. часть факторов используется в качестве инструментов. Например, типична ситуация, когда z содержит константу; тогда в y тоже следует включить константу.
Пусть имеются N наблюдений, и X , Z и Y — соответствующие данные в матричном виде. Оценки по методу инструментальных переменных (сокращенно IV от англ. instrumental variables) вычисляются по следующей формуле:
1
ZtY
tY
.−1
Y tX. (8.8)
В случае, если количество инструментальных переменных в точности равно
количеству факторов, ( rank Y = n + 1) получаем собственно классический ме- тод инструментальных переменных. При этом матрица Y tZ квадратная и оценки
вычисляются как
aIV = .Y tZ.−1 Y tY .ZtY .−1 ZtY .Y tY .−1 Y tX.
Средняя часть формулы сокращается, поэтому
aIV = .Y tZ.−1 Y tX. (8.9)
Рассмотрим вывод классического метода инструментальных переменных, т.е. случай точной идентификации (ср. с (6.15) в главе 6):
Умножим уравнение регрессии x = zα + ε слева на инструменты y (с транс- понированием). Получим следующее уравнение:
ytx = ytzα + ytε.
4 В модели ошибок в переменных ошибка регрессии имеет вид ε − εz α, где ε — ошибка в исходном уравнении, а εz — ошибка измерения факторов z . Чтобы переменные y можно было использовать в качестве инструментов, достаточно, чтобы y были некоррелированы с ε и εz .
Метод инструментальных переменных 275
Если взять от обеих частей математическое ожидание, то получится
E(ytx) = E(ytzα),
где мы учли, что инструменты некоррелированы с ошибкой, E(ytε) = 0.
Заменяя теоретические моменты на выборочные, получим следующие нормаль- ные уравнения, задающие оценки a:
Myx = Myz a,
где Myx = 1 Y tX и Myz = 1 Y tZ . Очевидно, что эти оценки совпадут с (8.9).
N N
Фактически, мы применяем здесь метод моментов.
Метод инструментальных переменных можно рассматривать как так называе- мый двухшаговый метод наименьших квадратов. (О нем речь еще пойдет ниже в пункте 10.3.)
j
-й шаг. Строим регрессию каждого фактора Zj на Y . Получим в этой ре- грессии расчетный значения Zc. По формуле расчетных значений в регрессии
Zc
tY )−1 Y
tZ . Заметим, что если Zj входит в число инструментов, то по
j
= Zj , т.е. эта переменная останется без изменений.
Поэтому данную процедуру достаточно применять только к тем факторам, которые не являются инструментами (т.е. могут быть коррелированы с ошибкой). В целом
для всей матрицы факторов можем записать Zc = Y (Y tY )−1 Y tZ .
-й шаг. В исходной регрессии используются Zc вместо Z . Смысл состоит в том, чтобы использовать факторы «очищенные от ошибок».
Получаем следующие оценки:
a2M = .ZctZc.−1 Zctx =
= ZtY .Y tY .−1 Y tY .Y tY .−1 Y tZ−1 ZtY .Y tY .−1 Y tx =
IV
Видим, что оценки совпадают.
Если записать оценки в виде aIV = (ZctZ)−1 Zctx, то видно, что обобщенный метод инструментальных переменных можно рассматривать как простой метод ин- струментальных переменных с матрицей инструментов Zc.
j
276 Глава 8. Нарушение гипотез основной линейной модели
Другое обоснование обобщенного метода инструментальных переменных со- стоит, как и выше для классического метода, в использовании уравнений E(ytx) =
= E(ytzα). Заменой теоретических моментов выборочными получим уравнения Myx = Myz a, число которых больше числа неизвестных. Идея состоит в том, чтобы невязки Myx − Myz a были как можно меньшими. Это достигается минимизацией следующей квадратичной формы от невязок:
yy
N
yy
1
Mzy M −1Myx.
yy
Чтобы можно было использовать метод инструментальных переменных на практике, нужна оценка ковариационной матрицы, с помощью которой можно было бы вычислить стандартные ошибки коэффициентов и t-статистики. Такая оценка имеет вид
MaIV = s
2 .Z
ctZ
c.−1 .
Здесь s2 — оценка дисперсии ошибок σ2, например s2 = ete/N или s2 =
= ete/(N − 1). Остатки рассчитываются по обычной формуле e = x − ZaIV . (Здесь следует помнить, что остатки, получаемые на втором шаге тут не годят- ся, поскольку они равны x − ZcaIV . Если использовать их для расчета оценки дисперсии, то получим заниженную оценку дисперсии и ковариационной матрицы.
Отсюда следует, что из регрессии второго шага можно использовать только оценки коэффициентов. Стандартные ошибки и t-статистики требуется пересчитывать.)
Обсудим теперь более подробно проблему идентификации5.
Чтобы можно было вычислить оценки (8.8), нужно, чтобы выполнялись следу- ющие условия:
Матрица инструментов должна иметь полный ранг по столбцам, иначе
(Y tY )−1 не существует.
ZtY (Y tY )−1 Y tZ должна быть невырожденной.
В частности, матрица ZtY (Y tY )−1 Y tZ необратима, когда rank Y < rank Z . Предположим, что матрица факторов Z имеет полный ранг, т.е. rank Z = n+1.
5 См. также обсуждение идентификации в контексте систем уравнений ниже в пункте 10.2.
8.5. Метод инструментальных переменных 277
Т.е. если rank Y < n + 1, то уравнение неидентифицируемо, т.е. невозмож- но вычислить оценки (8.8). Таким образом, количество инструментов (включая константу) должно быть не меньше n +1 (количество регрессоров, включая кон- станту). Если rank Y > n + 1, то говорят, что уравнение сверхидентицировано. Если количество инструментов равно n + 1, то это точная идентификация.
Если возможен случай сверхидентификации, то это обобщенный метод инстру- ментальных переменных. При точной идентификации ( rank Y = n + 1) получаем собственно классический метод инструментальных переменных.
Таким образом, необходимое условие идентификации имеет следующий вид:
rank Y “ rank Z(= n + 1).
Это так называемое порядковое условие идентификации, условие на размерность матриц.
Словесная формулировка порядкового условия:
Количество инструментов Y должно быть не меньше количества ре- грессоров Z (учитывая константу).
Заметим, что можно сначала «вычеркнуть» общие переменные в Z и Y и смотреть только на количество оставшихся. Количество оставшихся инструментов должно быть не меньше количества оставшихся регрессоров.
j
Необходимое и достаточное условие идентификации формулируется следую- щим образом:
Матрица Zc имеет полный ранг по столбцам: rank Zc = n + 1.
Это так называемое ранговое условие идентификации.
Встречаются случаи, когда ранговое условие идентификации соблюдается, но матрица Zc близка к вырожденности, т.е. в Zc наблюдается мультиколли- неарность. Например, если инструмент Zj является слабым ( Zj и Y почти ор- тогональны), то Zc близка к вырожденности. Один из способов проверки того, является ли инструмент слабым, состоит в анализе коэффициентов детерминации и F -статистик в регрессиях на первом шаге.
278 Глава 8. Нарушение гипотез основной линейной модели