- •Линейная регрессия
- •1.2. Простая регрессия
- •6.3. Ортогональная регрессия
- •6.4. Многообразие оценок регрессии
- •6.5. Упражнения и задачи
- •Глава 7
- •Основная модель линейной регрессии
- •7.1. Различные формы уравнения регрессии
- •7.2. Основные гипотезы, свойства оценок
- •7.3. Независимые факторы: спецификация модели
- •7.4. Прогнозирование
- •7.5. Упражнения и задачи
- •Глава 8
- •Нарушение гипотез основной линейной модели
- •8.3. Автокорреляция ошибок
- •8.4. Ошибки измерения факторов
- •8.5. Метод инструментальных переменных
- •8.6. Упражнения и задачи Упражнение 1
8.4. Ошибки измерения факторов
Пусть теперь нарушается гипотеза g2, и независимые факторы наблюдаются с ошибками. Предполагается, что изучаемая переменная зависит от истинных зна-
чений факторов (далее в этом пункте используется сокращенная форма уравнения регрессии), zˆ0, а именно:
xˆ = zˆ0α + ε,
но истинные значения неизвестны, а вместо этого имеются наблюдения над неко- торыми связанными с zˆ0 переменными zˆ:
zˆ = zˆ0 + εz ,
где εz — вектор-строка длиной n ошибок наблюдений.
В разрезе наблюдений:
где
Xˆ = Zˆ0α + ε, Zˆ = Zˆ0 + εz ,
Zˆ0 и εz — соответствующие N × n-матрицы значений этих величин по на-
блюдениям (т.е., в зависимости от контекста, εz обозначает вектор или матрицу
ошибок).
Предполагается, что ошибки факторов по математическому ожиданию равны нулю, истинные значения регрессоров и ошибки независимы друг от друга (по край- ней мере не коррелированы друг с другом) и известны матрицы ковариации:
E(εz ) = 0, E(zˆ0t , ε) = 0, E(zˆ0t , εz ) = 0,
E(zˆ0t , zˆ0) = M 0, E(εt , εz ) = Ω, E(εt , ε) = ω.
(8.5)
z z
Важно отметить, что эти матрицы и вектора ковариации одинаковы во всех наблюдениях, а ошибки в разных наблюдениях не зависят друг от друга, т.е. речь, фактически, идет о «матричной» гомоскедастичности и отсутствии автокорреляции ошибок.
Через наблюдаемые переменные xˆ в следующей форме:
и zˆ
уравнение регрессии записывается
xˆ = zˆα + ε − εz α. (8.6)
В такой записи видно, что «новые» остатки не могут быть независимыми от факто- ров-регрессоров zˆ, т.е. гипотезы основной модели регрессии нарушены. В рамках
8.4. Ошибки измерения факторов |
271 |
сделанных предположений можно доказать, что приближенно E(a) ≈ (M 0 + Ω)−1(M 0α + ω) = α + (M 0 + Ω)−1(ω − Ωα), |
(8.7) |
т.е. МНК-оценки теряют в такой ситуации свойства состоятельности и несмещен- ности3, если ω ƒ= Ωα (в частности, когда ошибки регрессии и ошибки факторов не коррелированны, т.е. когда ω = 0, а Ω и α отличны от нуля).
Для обоснования (8.7) перейдем к теоретическому аналогу системы нормальных уравнений, для чего обе части соотношения (8.6) умножаются на транспонирован- ную матрицу факторов:
E (zˆrxˆ) = E (zˆrzˆ) α + E (zˆrε) − E (zˆrεz ) α.
Здесь, как несложно показать, пользуясь сделанными предположениями,
E (zˆrzˆ) = M 0 + Ω,
E (zˆrε) = ω,
E (zˆrεz ) = Ω,
Поэтому
или
E (zˆrxˆ) = E (zˆrzˆ) α + ω − Ωα
E (zˆrzˆ)−1 E (zˆrxˆ) = α + .M 0 + Ω.−1 (ω − Ωα) .
N
N
ационные матрицы M и m по закону больших чисел с ростом числа наблюдений сходятся по вероятности к своим теоретическим аналогам:
p p
M −→E (zˆrzˆ) и m −→E (zˆrxˆ) .
По свойствам сходимости по вероятности предел функции равен функции от предела, если функция непрерывна. Поэтому
a = M −1m
p
−→ E (zˆrzˆ)−1 E (zˆrxˆ) = (M 0 + Ω)−1(M 0α + ω).
Существуют разные подходы к оценке параметров регрессии в случае наличия ошибок измерения независимых факторов. Здесь приводятся два из них.
3 Они смещены даже асимптотически, т.е. при стремлении количества наблюдений к бесконечно- сти смещение не стремится к нулю.
272 Глава 8. Нарушение гипотез основной линейной модели
а) Простая регрессия. Если имеется оценка W ковариационной матрицы Ω и w — ковариационного вектора ω , то можно использовать следующий оператор оценивания:
a = (M − W )−1(m − w),
который обеспечивает состоятельность оценок и делает их менее смещенными.
Это формула следует из
E (zˆrxˆ) = E (zˆrzˆ) α + ω − Ωα
заменой теоретических моментов на их оценки.
Обычно предполагается, что W — диагональная матрица, а w = 0.
б) Ортогональная регрессия. Поскольку z теперь такие же случайные пере- менные, наблюдаемые с ошибками, как и x, имеет смысл вернуться к обозначениям 6-го раздела, где через x обозначался n-мерный вектор-строка всех переменных. Пусть ε — вектор их ошибок наблюдения, а x0 — вектор их истинных значений, то есть
x = x0 + ε, X = X0 + ε.
Предположения (8.5) записываются следующим образом:
E(xˆ0t, ε) = 0, E(xˆ0t, xˆ0) = M 0, E(εt, ε) = σ2Ω.
Теперь через M 0 обозначается матрица, которую в обозначениях, используемых в этом пункте выше, можно записать следующим образом:
σ2
0
,
а через σ2Ω матрица
m0t M 0
σ2 ω
.
ωt Ω
Поскольку речь идет о линейной регрессии, предполагается, что между истин- ными значениями переменных существует линейная зависимость:
x0α = 0.
8.5. Метод инструментальных переменных 273
Это означает, что
M 0α = 0.
что
Рассуждая так же, как при доказательстве соотношения (8.7), легко установить,
E(M ) = M 0 + σ2Ω,
(M — фактическая матрица ковариации X ) т.е.
(E(M ) − σ2Ω)α = 0.
Таким образом, если считать, что Ω известна, а σ2 — минимизируемый параметр (в соответствии с логикой МНК), то решение задачи
(M − σ2Ω)a = 0, σ2 → min!
даст несмещенную оценку вектора α . А это, как было показано в пункте 6.4, есть задача регрессии в метрике Ω−1 (см. (6.37)). Преобразованием в пространстве переменных она сводится к «обычной» ортогональной регрессии.
Т.е. если для устранения последствий нарушения гипотезы g4 используется преобразование в пространстве наблюдений, то при нарушении гипотезы g2 надо
«работать» с преобразованием в пространстве переменных.
Несмотря на то, что методы ортогональной регрессии и регрессии в метрике Ω−1 в наибольшей степени соответствуют реалиям экономики (ошибки есть во всех переменных, стоящих как в левой, так и в правой частях уравнения регрессии), они мало используются в прикладных исследованиях. Основная причина этого заклю- чается в том, что в большинстве случаев невозможно получить надежные оценки матрицы Ω. Кроме того, ортогональная регрессия гораздо сложнее простой с вы- числительной точки зрения, и с теоретической точки зрения она существенно менее изящна и прозрачна.
В следующем параграфе излагается еще один метод, который позволяет решить проблему ошибок в переменных (и в целом может использоваться при любых нарушениях гипотезы g2).