книги / Эконометрика. Начальный курс

Введем следующие обозначения:

М = In - Х { Х ' Х Г 1Х'\

rj = i ( Z ' M Z ) ' /2y.

Здесь rj — нормированный вектор параметров, а матрица Q мо­ жет быть интерпретировала как (нормированная) матрица кор­ реляций между X и Z. Очевидно, Q = 0 тогда и только тогда, когда Z ортогональна X . МНК-оценки параметров /3 и у можно представить в виде (см. (4.19))

Индексы и и г означают «без ограничения» и «с ограничением» (у = 0) соответственно. Пусть г) = в/сг, тогда fj ~ N(rt, 1т). От­ метим, что случайный вектор т) наблюдаем только в том случае, когда дисперсия ошибки а2 известна, в то время как случайный вектор в наблюдаем независимо от того, известна <т2 или ист.

14.3.Основной результат

Вданной главе мы часто будем использовать следующий резуль­ тат, касающийся метода наименьших квадратов. Пусть Si — my.гi матрица ранга г, ^ 0, такая что S[ = [Jrj 0], или получается из по­ следней перестановкой столбцов. Тогда уравнение S(7 = 0 означа­ ет, что несколько компонент вектора у равны нулю3. Справедлива следующая теорема:

3Случай г< = 0 соответствует пустой матрице S i и, соответственно, отсут­ ствию ограничений на вектор у .

Теорема 14.1. МНК-оценка параметров /3 и 7 в линейной мо­ дели (14.1) при ограничении £ ' 7 = О имеет вид

где

= 1 т - Р „

P i = (Z,M Z ) - 1/2Si(S,i(Z/M Z )" 1Si)_ lS/i(Z/M Z ) - 1/2

являются симметричными идемпотентнымитхт матрицами рангов т — ъ и п соответственно. (Pi = О в том случае, если Vi = 0 ) Вектор остатков имеет вид

e (i) = У ~ X & (i) - Z 7 W = D i y ,

где

D i = M - M Z (Z ,M Z )- 1/2W j(Z,M Z )- 1/2Z /Af

является симметричной идемпотентной матрицей ранга (п — k — т + Vi). Оценка (3^ имеет нормальное распределение

3(i) ~ N ((3 + oQ Pifi, о2( ( Х ' Х ) - 1 + QWiQ')) ,

а величина s2^ = e '^ e ^ /(n - k — т + п ) имеет нецентральное X2-распределение (см. приложение МС, п. 3)

(п - к — т + r*j)s?.

(0 ~ Х2(п - к - m + ru п'РхП)-

Оставим доказательство этой теоремы в качестве упражнения (см. упражнение 14.2). Отметим, что оценка с частичным огра­ ничением /3(,) является линейной комбинацией двух независимых (см. упражнение 14.1) векторов /Зг и 9. Оценка 7 ^) является ли­ нейной функцией только от 9, и поэтому не зависит от /Зг.

Рассмотрим простейший случай, когда у нас есть только один вспомогательный регрессор, т.е. т = 1. Мы можем выбирать между двумя моделями: моделью с ограничением (7 = 0 ) и мо­ делью без ограничения. В том случае, если мы выбираем модель с ограничением, мы получаем оценку параметра /3, равную /3,.; если мы выбираем модель без ограничения, то получаем оценку /Зи. Обычно мы используем t-статистику коэффициента 7 для то­ го, чтобы сделать выбор между этими двумя моделями. Таким образом, оценка параметра (3 имеет следующий вид:

для некоторого порогового значения с > 0. Например, с = 1.96 и с = 2.58 соответствуют 5%-ному и 1%-ному уровням значимости (для нормального распределения; для распределения Стьюдента значения с несколько выше). Подчеркнем, что оценка /3 не совпа­ дает с оценками /Зг или /Зш, но равна той или другой в зависимости от критерия, основанного на значении случайной величины t. ^

Приведем другой способ записи оценки: /3 = A/3U + (1 —А)/Зг,

Таким образом, оценка /3 является взвешениым средним оценок /Зши /Зг со случайным весом А.

В случае то = 2 у нас есть четыре модели: модель с ограни­ чением (71 = 72 = 0), две модели с частичными ограничениями (71 Ф 0 >72 = 0 или 71 = 0, тг ф 0) и модель без ограничений (71 Ф 0 и та ф 0). В общем случае имеется 2”* различных моде­ лей, по одной для каждого подмножества параметров 71, . . . , 7т- (Имеется в виду, что параметры из подмножества приравнены к 0.) Pretest-оценка вектора параметров (3 получается в резуль­ тате 1) выбора одной из этих моделей (на основе t- или Р-тестов

***1

Заметим, что хотя матрицы P j и неслучайные, однако мат­ рицы Р H W случайные, поскольку (AJ являются случайными величинами.

Очевидно, что рле£е$$-оценка является частным случаем WALS-оцеики, в случае, когда все А* равны 0, за исключением одного, равного 1.

14.6.Теорема эквивалентности

Втом случае, когда дисперсия а2 известна, любая процедура предварительного тестирования использует t- и F -статистики, ко­ торые зависят только от в. В случае, когда а2 не известна, мож­ но получить ее оценку s2 (оценка, основанная на МНК-оценках регрессии без ограничения). В этом последнем случае все t- и F- статистики зависят от (0, s^). В п. 3.1 показано, что s2 не зависит

от (/Зи,7 ). Следовательно, /Зг не зависит от и поэтому не зави­ сит также и от (в , s2). Наконец, в том случае, если дисперсия а2 не известна и берется ее оценка по регрессии с (частичным) огра­ ничением, соответствующим матрице ограничений S%(см. п. 14.3), £- и F -статистики зависят не только от (0, s£). Однако они попрежнему зависят только от М у , поскольку 7 ц) и являются линейными функциями М у . Таким образом, из простого замеча­ ния, что /Зг и 9 независимы, вытекает, что t- и F -статистики не зависят от /Зг. Этот факт является ключевым при доказательстве следующего результата.

Теорема 14.2. (теорема эквивалентности).

MSE(3) = о2 ((X 'X )" 1 + QMSE(W'TJ) Q') ■

Е(3 | Му) = Е ф г | Му) - QE(W01М у)

=E(3r) - vQWtj = /3 - aQ(Wt) - п)

и

v(3 I Му) = V(3r | Му) = V(3r) = сг2( Х ' Х ) ~ 1.

Безусловное математическое ожидание оценки имеет вид

Е(3) = Е(Е(3 | М у)) = Е(/3 - aQ(W f) - п ))

=/3 - aQE{Wrj - 77),

абезусловная матрица ковариаций равна

V (3) = E(V(3 | М у)) + V(E(31 M y))

= ^ ( X 'X ) " 1 + a2Q V{Wr))Q'.

Отсюда получаем, что матрица среднеквадратичных отклонений равна

MSE(3) = v(3) + Е(3 - /3)Е(3 - /3)'

=(г2{ Х ' Х Г 1 + <J 2Q ViW rftQ 1

+a2QE(Wrj - fi)E(Wri - »/)'<?'

=o2((X /X ) - 1 + Q MSE(W^) Q').

Что и требовалось доказать.

Теорема 14.2 доказана в упрощенной форме в (Magnus and Durbin, 1999). Приведенное выше ее обобщение приведено в (Danilov and Magnus, 2002).

Важность этой теоремы состоит в том, что если мы найдем Aj такие, что W fj будет оптимальной оценкой т), то те оке са­ мые Ai дадут оптимальную WALS-оценку вектора параметров /3. Проблема оценивания вектора параметров /3 в контексте регрес­ сии сводится, таким образом, к задаче оценивания вектора ?/ по единственному вектору наблюдений rj ~ N(r), I m).

408 Гл. 14. Предварительное тестирование: введение

здесь W = W i если выбрана г-я модель. Заметим, что матри­ ца MSE(/3) случайная, поскольку матрица W случайная. Пред­ положим, что целью («фокусом») нашего исследования является (скалярная) величина ш'(3, где ш — произвольный ненулевой к х 1 вектор. Для того, чтобы сравнить среднеквадратичное отклоне­ ние оценки uf'fi

с соответствующим значением, полученным при игнорировании произведенной процедуры предварительного тестирования

определим коэффициент занижения «истинного» MSE по отно­ шению к «сообщаемому» MSE (underreporting ratio)5 UR, как 1 минус отношение (14.4) и (14.3). А именно:

M S E (W'3) ” q'Rq+ (i/Qo)'

где

Заметим, что q'q = 1. Величина UR является случайной, так как она зависит от матрицы W , которая зависит от г/. Как UR, так и ее математическое ожидание не наблюдаемы, поскольку они за­ висят от г\ через Я(т/). ^

Можно было бы ожидать, что матрица MSE(/3) не меньше мат­ рицы E(MSE(/3)) (т. е. их разность есть неотрицательно опреде­ ленная матрица), поскольку процедура предварительного тести-

6Саму ситуацию, когда сообщаемое значение среднеквадратичного откло­ нения оценки не учитывает дополнительную неопределенность, связанную с щюцедурой предварительного отбора модели, и поэтому занижено, будем да­ лее называть «эффект занижения» (u n d e r r e p o r tin g ).

рования вносит дополнительную неопределенность, которая игно­ рируется в сообщаемом значении MSE. Поскольку

неотрицательно определена. На самом деле, можно сконструи­ ровать процедуру предварительного тестирования (упражнение 14.4), для которой матрица (14.6) не является неотрицательно определенной. Однако такой пример выглядит достаточно нелепо. Назовем процедуру предварительного тестирования естествен­ ной, если матрица (14.6) неотрицательно определена при всех значениях параметров. Для любой естественной процедуры пред­ варительного тестирования величина E(UR) принимает значения между 0 и 1. В том случае, когда величина \ (известная исследо­ вателю) стремится к 0, то нет «занижения»: E(UR) —» 0. Однако если значение ^ велико, то ожидаемое значение коэффициента занижения E(UR) может быть близко к 1.

Матрица E(W ) (размера т х т) есть взвешенное среднее идемпотентных матриц, и, следовательно, ограничена: все ее эле­ менты по абсолютной величине не превосходят 1, а все диагональ­ ные элементы и собственные числа лежат в интервале [0,1]. На самом деле выполняется следующее неравенство:

0 < тги < £,(EW ) < 1 - яу < 1 (j = 1 , ... ,m),

где £j{A) есть j-e собственное число матрицы А , 7г„ — вероятность выбора модели без ограничений [Р{ = 0), а яу — вероятность выбора модели с ограничением (Р< = 1т).

Математическое ожидание E(UR) является функцией величин q (с нормировкой q'q = 1), q$, q, Z ' M Z (и m). Максимизация no q приводит к неравенству

E ( U R ) ^ m g j j ( ( I m + q l R ) - 1/2( R - E W ) ( I m + ^ Я ) " 1' 2) .

Вводя следующее обозначение:

E*(UR) = max Е (UR),

Я,Яо

получаем, что при q%—>оо,

E*(UR) = 1 - min ^ ( Я - 1/2(Е И П Я -1/2)

(14.7)

maxj £j(R)

Полученное выражение зависит от q и Z ' M Z (и m). Из (14.7) видно, что ожидаемое значение UR может быть сколь угодно близко к 1, если матрица среднеквадратичных отклонений Я не ограничена по q. Это не может произойти при т = 1 (кроме слу­ чая, когда мы всегда выбираем модель с ограничением, не обра­ щая внимания на полученные значения t-статистик), но возможно при т ^ 2.

Поскольку E(UR) зависит от Z ' M Z , рассмотрим кратко роль этой матрицы. Без ущерба общности можно нормировать все пере­ менные Zj так, что z'jMzj = 1 для всех j = 1 ,... ,m . Рассмотрим частный случай, когда мы выбираем «ортогональные» перемен­ ные Zj (в том смысле, что Mz< и M z j ортогональны для всех г ф j). Тогда Z ' M Z = J TO, что приводит к существенным упро­ щениям.

Теорема 14.3. Пусть А(х) = 1 если |х| > с, иначе А(х) = О,

для некоторого с > 0. Для частного случая, когда Z ' M Z = 1т

ипараметр о2 известен, имеем:

(а)Все модели, включающие регрессор zj, имеют одинаковое зна­ чение t -статистики для у .

(б) Предположим, что мы включаем Zj тогда и только тогда, когда t-статистика fjj значима, то есть |^ | > с, для некото­ рого с > 0. Тогда матрица W — диагональная, с элементами