- •Линейная регрессия
- •1.2. Простая регрессия
- •6.3. Ортогональная регрессия
- •6.4. Многообразие оценок регрессии
- •6.5. Упражнения и задачи
- •Глава 7
- •Основная модель линейной регрессии
- •7.1. Различные формы уравнения регрессии
- •7.2. Основные гипотезы, свойства оценок
- •7.3. Независимые факторы: спецификация модели
- •7.4. Прогнозирование
- •7.5. Упражнения и задачи
- •Глава 8
- •Нарушение гипотез основной линейной модели
- •8.3. Автокорреляция ошибок
- •8.4. Ошибки измерения факторов
- •8.5. Метод инструментальных переменных
- •8.6. Упражнения и задачи Упражнение 1
8.6. Упражнения и задачи Упражнение 1
Таблица 8.1
Дано уравнение регрессии X = Zα + ε = −1.410z1 +
+ 0.080z2 + 56.962 + ε, где ε — вектор-столбец нормальный
случайных ошибок с нулевым средним и ковариационной мат- рицей
Z1
Z2
1
26.8
541
1
25.3
616
1
25.3
610
1
31.1
636
1
33.3
651
1
31.2
645
1
29.5
653
1
30.3
682
1
29.1
604
1
23.7
515
1
15.6
390
1
13.9
364
1
18.8
411
1
27.4
459
1
26.9
517
1
27.7
551
1
24.5
506
1
22.2
538
1
19.3
576
1
24.7
697
1
ρ ρ2
N
2
σ
N −3
(8.10)
ρ 1 ··· ρ
.
...
...
. . . ...
ρN −1 ρN −2 ρN −3 ··· 1
с ρ = 0.9 и σ2 = 21.611.
Используя нормальное распределение с незасисимыми на- блюдениями, средним 0 и ковариационной матрицей (8.10), получите 100 выборок вектора ε размерности (N × 1), k = 1, . . . , 100, где N = 20. Эти случайные векторы
потом используйте вместе с известным вектором αt =
= (−1.410, 0.080, 56.962) и матрицей регрессоров (табл. 8.1). Сначала получите ожидаемое значения X0 = Zα, затем, чтобы получить 100 выборок вектора X размерности (20 × 1),
добавьте случайные ошибки: X0 + ε = X .
Рассчитайте невырожденную матрицу D такую, что
D−1Dt−1 = Ω.
Найдите истинную матрицу ковариации для МНК-оценки (a = (ZtZ)−1 ZtX ):
E .(a − α) (a − α)t. =
= E ..ZtZ.−1 ZtεεtZ .ZtZ.−1. =
= σ2 .ZtZ.−1 ZtΩZ .ZtZ.−1
8.6. Упражнения и задачи 279
и истинную матрицу ковариации для ОМНК-оценки (aомнк = .ZtΩ−1Z.−1 ZtΩ−1X ):
E .(aомнк − α) (aомнк − α)t. = σ2 (ZtDtDZ) = σ2 .ZtΩ−1Z.−1 .
Результат поясните.
Используйте 10 из 100 выборок, чтобы посчитать по каждой выборке зна- чения следующих оценок:
МНК-оценки
a = (ZtZ)−1 ZtX ;
ОМНК-оценки
aомнк = .ZtΩ−1Z.−1 ZtΩ−1X ;
МНК-оценки остаточной дисперсии
sˆ2 = (x − Za) (x − Za)t ;
e N − n − 1
ОМНК-оценки остаточной дисперсии
1
sˆ2
(x − Zaомнк) Ω−
(x − Zaомнк)t .
=
N − n − 1
Объясните результаты.
Вычислите среднее и дисперсию для 10 выборок для каждого из параметров, полученных в упражнении 1.3 и сравните эти средние значения с истинными параметрами.
a1 омнк
На основе упражнения 1.3 рассчитайте S2
, который является первым
e
омнк
tΩ−1Z.−1 и S2 , который явля-
a1
e
sˆ2 (ZtZ)−1. Сравните раз-
a1
2
и
S
друг с другом и с соответствующими значени-
ями из упражнения 1.2.
На основе результатов упражнений 1.3 и 1.5 рассчитайте значения t-статис- тики, которые могут быть использованы для проверки гипотез: H0 : α1 = 0.
Повторите упражнение 1.3 для всех 100 выборок, постройте распределения частот для оценок и прокомментируйте результаты.
280 Глава 8. Нарушение гипотез основной линейной модели
Упражнение 2
Таблица 8.2
Предположим, есть данные, состоящие из 100 выборок X , по 20 значений в каждой, сгенерированных при помощи моде- ли X = Zα + ε = α1z1 + α2z2 + 1N β + ε, где εi — нормально и независимо распределенная случайная величина с E (εi) = 0,
z1
z2
1N
13,9
364
1
15,6
390
1
18,8
411
1
27,4
459
1
24,5
506
1
23,7
515
1
26,9
517
1
22,2
538
1
26,8
541
1
27,7
551
1
19,3
576
1
29,1
604
1
25,3
610
1
25,3
616
1
31,1
636
1
31,2
645
1
33,3
651
1
29,5
653
1
30,3
682
1
24,7
697
1
2 (γ1 zi2 +γ2 )
i i и σi = e
. Наблюдения за X были полу-
чены с использованием следующих значений параметров: α =
= (α1 α2 β)t = (−1.410, 0.080, 56.962)t и γ = (γ1 γ2)t =
= (0.25, −2)t , а матрица значений факторов, упорядоченных
в соответствии с величиной z2 , имеет следующий вид (табл.
8.2).
Найдите матрицу ковариации для
ОМНК-оценки aомнк = .ZtΩ−1Z.−1 ZtΩ−1X ;
МНК-оценки a = (ZtZ)−1 ZtX .
Что вы можете сказать об относительной эффективности этих оценок?
Используйте 10 из 100 выборок, чтобы посчитать по каждой выборке значения следующих оценок:
МНК-оценки a = (ZtZ)−1 ZtX ;
оценки γ =
. N
i
i=1
.−1 N
i
i=1
i
– ОМНК-оценки a, используя найденую оценку γ.
Сравните все эти оценки друг с другом и с соответствую- щими истинными значениями.
a1 омнк
На основе упражнения 2.2 рассчитайте S2
, кото-
рый является первым диагональным элементом матри-
sˆ
цы
e омнк
(ZtΩ−1Z)−1, S2 , который является первым
a1
e
S2
sˆ2 (ZtZ)−1, а также
a1 Уайта , который является первым диагональным эле- ментом скорректированной оценки ковариационной матрицы (оценка Уайта
или устойчивая к гетероскедастичности оценка). Сравните различные оцен-
ки S2 , S2
и S2
друг с другом и с соответствующими значениями
a1 a1 омнк
a1 Уайта
из упражнения 2.1.
8.6. Упражнения и задачи 281
На основе результатов упражнений 2.1 и 2.3 рассчитайте значения t-статис- тики, которые могут быть использованы для проверки гипотез H0 : α1 = 0.
Возьмите те же выборки, что и в упражнении 2.2, и проведите проверку на гетероскедастичность с помощью:
критерия Бартлета;
метода второй группы (метод Голдфельда—Квандта) с пропуском 4-х значений в середине выборки;
метода третьей группы (метод Глейзера).
Выполните упражнение 2.2 для всех 100 выборок и, используя результаты, оцените математическое ожидание и матрицу среднеквадратических ошибок для каждой оценки. Есть ли среди оценок смещенные? Что можно сказать об относительной эффективности МНК-оценки и ОМНК-оценки?
Упражнение 3
Предположим, есть данные, состоящие из 100 выборок X , по 20 значений в каждой, сгенерированных при помощи модели X = Zα+ε = α1z1 +α2z2 +1N β +
+ ε, где εi = ρεi−1 + ηi , и η — нормально распределенная случайная величина с E (ηi) = 0, E .η2. = σ2 . Наблюдения за X были получены с использованием
i η
следующих значений параметров: αt = (α1 α2 β) = (−1.410, 0.080, 56.962),
η
Найдите матрицу ковариации для:
ОМНК-оценки aомнк = .ZtΩ−1Z.−1 ZtΩ−1X ;
МНК-оценки a = (ZtZ)−1 ZtX .
Что вы можете сказать об относительной эффективности этих оценок?
Используйте 10 из 100 выборок, чтобы посчитать по каждой выборке зна- чения следующих оценок:
МНК-оценки a = (ZtZ)−1 ZtX ;
N
eiei−1
оценку r =
i=2 ;
N
e
i
i=1
– ОМНК-оценки, используя найденую оценку r.
282 Глава 8. Нарушение гипотез основной линейной модели
Сравните все эти оценки друг с другом и с соответствующими истинными значениями.
Возьмите те же выборки, что и в упражнении 3.2, и проверьте гипотезу об ав- токорреляции ошибок.
Найдите скорректированную оценку ковариационной матрицы, устойчивую к гетероскедастичности и автокорреляции (оценку Ньюи—Уэста).
Выполните упражнение 3.2 для всех 100 выборок и, используя результаты, оцените математическое ожидание и матрицу среднеквадратических ошибок для каждой оценки. Есть ли среди оценок смещенные? Что можно сказать об относительной эффективности МНК-оценки и ОМНК-оценки?
Упражнение 4
Для уравнения X = Zoα+ε = −1.410z0 +0.080z0 +1N 56.962+ε, z1 = z0 +εz ,
1 2 1 1
2
+ εz2
и при предположении, что εi ∼ N (0, 21.611), εz1
∼ N (0, 21.700)
и εz2
∼ N (0, 21.800), были генерированы 20 значений выборки. Результаты при-
ведены в таблице 8.3.
Предполагая, что истинная матрица факторов Z0 неизвестна, выполните сле- дующие задания:
Найдите МНК-оценки a = (ZtZ)−1 ZtX параметров уравнения регрессии
X = Zα + ε = α1z1 + α2z2 + 1N β + ε.
Рассчитайте ковариационную матрицу ошибок измерения факторов — W и ковариационный вектор — w и оцените параметры регрессии как a = (M − W )−1(m − w).
Найдите оценку через ортогональную регрессию.
Сравните эти все оценки друг с другом и с соответствующими истинными значениями.
Задачи
Какие свойства МНК-оценок коэффициентов регрессии теряются, если ошибки по наблюдениям коррелированы и/или имеют разные дисперсии?
Как оцениваются параметры уравнения регрессии, если известна матрица ковариации ошибок и она не диагональна с равными элементами по диа- гонали?
8.6. Упражнения и задачи 283
Таблица 8.3
N |
ε |
εz1 |
εz2 |
z0 1 |
z0 2 |
z1 |
z2 |
X |
1 |
26.19 |
1.96 |
37.94 |
13.9 |
364 |
15.86 |
401.94 |
92.67 |
2 |
6.94 |
–5.94 |
3.57 |
15.6 |
390 |
9.66 |
393.57 |
73.10 |
3 |
5.55 |
–13.85 |
–18.78 |
18.8 |
411 |
4.95 |
392.22 |
68.88 |
4 |
14.00 |
24.48 |
14.49 |
27.4 |
459 |
51.88 |
473.49 |
69.05 |
5 |
0.89 |
23.91 |
51.48 |
24.5 |
506 |
48.41 |
557.48 |
63.79 |
6 |
46.61 |
–32.80 |
10.99 |
23.7 |
515 |
–9.10 |
525.99 |
111.36 |
7 |
–20.52 |
13.27 |
11.07 |
26.9 |
517 |
40.17 |
528.07 |
39.87 |
8 |
10.15 |
–16.17 |
18.86 |
22.2 |
538 |
6.03 |
556.86 |
78.85 |
9 |
–13.95 |
–28.22 |
–18.57 |
26.8 |
541 |
–1.42 |
522.43 |
48.50 |
10 |
14.94 |
20.64 |
–10.89 |
27.7 |
551 |
48.34 |
540.11 |
76.92 |
11 |
19.38 |
–36.99 |
–0.91 |
19.3 |
576 |
–17.69 |
575.09 |
95.21 |
12 |
5.72 |
–32.44 |
–12.71 |
29.1 |
604 |
–3.34 |
591.29 |
69.97 |
13 |
1.08 |
25.91 |
7.70 |
25.3 |
610 |
51.21 |
617.70 |
71.17 |
14 |
11.07 |
10.90 |
9.24 |
25.3 |
616 |
36.20 |
625.24 |
81.64 |
15 |
5.81 |
–42.77 |
8.25 |
31.1 |
636 |
–11.67 |
644.25 |
69.80 |
16 |
27.21 |
25.63 |
–29.14 |
31.2 |
645 |
56.83 |
615.86 |
91.78 |
17 |
–11.63 |
–13.07 |
13.20 |
33.3 |
651 |
20.23 |
664.20 |
50.46 |
18 |
–4.24 |
10.27 |
–37.62 |
29.5 |
653 |
39.77 |
615.38 |
63.37 |
19 |
46.56 |
44.81 |
33.93 |
30.3 |
682 |
75.11 |
715.93 |
115.36 |
20 |
–7.57 |
–40.10 |
–6.34 |
24.7 |
697 |
–15.40 |
690.66 |
70.32 |
284 Глава 8. Нарушение гипотез основной линейной модели
Рассматривается регрессионная модель X = Zα + ε. Пусть α∗ = AX — это любая несмещенная оценка параметра α. Полагая, что E (εεt) = σ2Ω, покажите, что матрица ковариации α∗ превышает матрицу ковариации αомнк = (ZtΩ−1Z)−1ZtΩ−1X на какую-то положительно полуопределенную матрицу.
Докажите, что σ2
(x zα)t Ω−
−
1 (x − zα)
есть оценка σ2.
омнк
N − n − 1
Какое преобразование матрицы наблюдений перед оценкой регрессии полез- но сделать, если среднеквадратические отклонения ошибок регрессии про- порциональны какому-либо фактору?
Оценивается регрессия по 10 наблюдениям. Известно, что дисперсия оши- бок для первых 5 наблюдений в два раза больше, чем дисперсия ошибок остальных 5 наблюдений. Опишите процедуру оценивания этой регрессии.
Рассмотрите регрессию xt = α1t + β + εt , t = 1, . . . , 5, где
t
определите Ω;
найдите Ω−1;
α1
найдите матрицу ковариации МНК-оценки параметра α = ;
β
α1
найдите матрицу ковариации ОМНК-оценки параметра α = .
β
Рассмотрите регрессию xt = α1t + εt , t = 1, . . . , 5,
t
определите оценку МНК для α1 и ее дисперсию;
определите оценку ОМНК для α1 и ее дисперсию;
сравните эти оценки друг с другом и сделайте вывод.
Рассматривается модель X = Zα + ε, где εi — нормально и независимо распределенная случайная величина с E (εi) = 0 и E .ε2. = σ2 = eyiγ .
i i
8.6. Упражнения и задачи 285
2 1
4 2 1
8
5 1
3 1
В предположении, что X = 6 , Z = 2 1 , Y = 1 1 ,
2
1 1
0 1
9 10 1 2 1
найдите МНК-оценки a = (ZtZ)−1 ZX ;
найдите ОМНК-оценки aомнк = .ZtΩ−1Z.−1 ZtΩ−1X ;
постройте два 95%-х доверительных интервала для α1: один непра- вильный, основанный на результатах МНК, а другой правильный, осно- ванный на результатах ОМНК;
проверьте гипотезу γ1 = 0.
Параметры трехфакторного уравнения регрессии оценены по 20 наблю- дениям. S1 и S2 — остаточные дисперсии по первой и второй половинам временного ряда. В каком случае гипотезы о гомоскедастичности следует отвергнуть?
Приведите примеры графиков зависимостей ошибки от времени в авторе- гресионной схеме первого порядка для случаев, когда модуль коэффициента авторегрессии превышает единицу. Что можно сказать об автокорреляции ошибок, если этот коэффициент равен нулю?
Ошибка в регрессии задана процессом εi = 0.6εi−1 + ηi, и η — нор- мально распределенная случайная величина с E(ηi) = 0, E(η2) = σ2
i η
и i = 1, . . . , 5. Как выглядит матрица преобразования в пространстве пе-
ременных для ОМНК?
Проверьте, что DtD = Ω−1, где
0
...
−
...
r 1
...
···
. . .
..
.
0 0 0 ··· 1
286 Глава 8. Нарушение гипотез основной линейной модели
2
··· r
N −1
r 1 r ··· rN −2
r
r 1 ··· r
−
.
...
...
. . .
..
.
rN −1 rN −2 rN −3 ··· 1
0
Найдите Dt D0, где D0 — это матрица размерности (N −1)×N , полученная из матрицы D путем удаления первой строки, и сравните ее с матрицей Ω−1.
Какое преобразование матрицы наблюдений перед оценкой регрессии полез- но сделать, если ошибки в каждом наблюдении имеют одинаковую дисперсию и коррелированы с ошибками в предыдущем наблюдении?
Почему при использовании критерия Дарбина—Уотсона требуется знать два критических значения для расчетной статистики?
Фактическое значение dc статистики Дарбина—Уотсона равно 0.5. Что это означает? Какое преобразование следует применить к этой модели (запишите формулу)?
В регрессионной модели X = Zα + ε существует автокорреляции ошибок первого порядка и ρ = 0.6. Предположим, что
8
5 1
X =
, Z = 2 1 ,
6
2
1 1
9 10 1
найдите преобразованные наблюдения Dx и Dz;
найдите ОМНК-оценки параметра α;
найдите фактическое значение dc статистики Дарбина—Уотсона по остаткам после применения ОМНК.
8.6. Упражнения и задачи 287
Положим, построили регрессию для N = 20 и n = 4 и нашли оценку
N
eiei−1
z = i=2
= 0.5, ete = 40, e2 = 1, e2
= 4.
N 1 N
e
i
i=1
Найдите фактическое значение dc статистики Дарбина—Уотсона и с ее по- мощью проведите тест на автокорреляцию.
На основе годовых данных 1959–1983 годов были оценены следующие функ- ции спроса на продовольственные товары.
ln Qt = 2.83 − 0.47 ln P Ft + 0.64 ln Yt,
(6.69) (−3.94) (24.48)
R2 = 0.987, DW = dc = 0.627,
ln Qt = 1.87 − 0.36 ln P Ft + 0.38 ln Yt + 0.44Qt−1,
(3.24) (−2.79) (3.20) (24.10)
R2 = 0.990, DW = dc = 1.65,
где Q — спрос на продукты питания, PF — цены на продукты питания,
Y — доход, в скобках приведены значения t-статистики.
Проверьте каждое уравнение на наличие автокорреляции первого порядка и дайте короткий комментарий результатов.
Пусть остатки в регрессии xi = α + βzi + εi равны (1, 2, 0, −1, −2)t . Опишите первый шаг метода Кочрена—Оркарта.
Денежная масса измеряется с ошибкой. Как смещен коэффициент зависимо- сти динамики цен от динамики денежной массы относительно его истинного значения?
Пусть в парной линейной регрессии ошибки зависимой переменной и фактора независимы и имеют одинаковую дисперсию. Запишите задачу для нахожде- ния оценок коэффициентов данной регрессии (с объяснением обозначений).
Рекомендуемая литература
Айвазян С.А. Основы эконометрики. Т.2. — М.: Юнити, 2001. (Гл. 2)
288 Глава 8. Нарушение гипотез основной линейной модели
Демиденко Е.З. Линейная и нелинейная регрессия. — М.: «Финансы и ста- тистика», 1981. (Гл. 1).
Джонстон Дж. Эконометрические методы. — М.: «Статистика», 1980. (Гл. 7, 8).
Доугерти К. Введение в эконометрику. — М.: «Инфра-М», 1997. (Гл. 7).
Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х книгах. Кн.1 — М.: «Финансы и статистика», 1986. (Гл. 2, 3).
Кейн Э. Экономическая статистика и эконометрия. — М.: «Статистика», 1977. Вып. 2. (Гл. 15).
Лизер С. Эконометрические методы и задачи. — М.: «Статистика», 1971. (Гл. 2).
Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика — начальный курс. — М.: Дело, 2000. (Гл. 6, 7, 9).
Маленво Э. Статистические методы эконометрии. Вып. 1. — М.: «Стати- стика», 1975. (Гл. 10).
Тинтер Г. Введение в эконометрию. — М.: «Статистика», 1965. (Гл. 6).
Baltagi, Badi H. Econometrics, 2nd edition, Springer, 1999. (Ch. 5).
Davidson, Russel, Mackinnon, James. Estimation and Inference in Econo- metrics, N 9, Oxford University Press, 1993. (Ch. 16).
William E., Griffiths R., Carter H., George G. Judge Learning and Practicing econometrics, N 9 John Wiley & Sons, Inc., 1993. (Ch. 9, 15, 16).
Greene W.H. Econometric Analysis, Prentice-Hall, 2000. (Ch. 9, 12, 13).
Judge G.G., Hill R.C., Griffiths W.E., Luthepohl H., Lee T. Introduction to the Theory and Practice of Econometric. John Wiley & Sons, Inc., 1993. (Ch 8, 9).
Maddala G.S. Introduction to Econometrics, 2nd ed., Prentice Hall, 1992. (Ch. 5, 6, 7).