книги / Эконометрика. Начальный курс

Отсюда следует, что

Е(е'е | X ) = a 2tr(M );

Е(52 |Х ) = ц2;

E(V(3) | X ) = E(a2(X 'X ) - ! |Х ) = Е{Э2 | Х )(Х 'Х ) - !

= а2(Х'Х)~1.

При выводе этих равенств мы постоянно используем тот факт, что сомножитель, функционально зависящий от условия (матри­ цы X ), например, М , можно выносить из-под знака условного ма­ тематического ожидания. Таким образом, оценки 0, а2 и V(/3) яв­ ляются условно (относительно X ) несмещенными. Используя еще одно свойство условного математического ожидания — правило повторного ожидания, нетрудно установить безусловную несме­ щенность этих оценок:

Е(3) = Е (Е (3 |Х )) = Е(/3)=/3;

Е<т2 = Е(Е(<т2 I X )) = а 2;

Нетрудно также доказать соответствующий вариант теоре­ мы Гаусса-Маркова, а именно, что среди всех линейных условно несмещенных оценок вектора 0 его МНК-оценка обладает наи­ меньшей условной ковариационной матрицей. Итак, при выпол­ нении условий 1), 2), 3) МНК-оценка в модели со стохастически­ ми регрессорами обладает свойствами, аналогичными свойствам МНК-оценки в классической модели.

Следует понимать, что условия 1), 2) касаются совместного распределения X и е. Из 1), в частности, вытекает некоррели­

Остановимся, наконец, на проблеме состоятельности МНКоценки в этой модели. Напомним, что оценка параметра называет­ ся состоятельной, если ее предел по вероятности при увеличении числа наблюдений стремится к истинному значению параметра. В данном случае требуется сформулировать условия, при выпол­ нении которых р Нпц..,^/3 = /3. Итак, пусть п —►оо (напомним, что п представляет количество наблюдений и, следовательно, при увеличении п возрастают размерности векторов у и е, увеличи­ вается количество строк матрицы X , в то время как число ее столбцов и размерность вектора /3 остаются равными к). Сделаем элементарное преобразование:

/3 = ( Х ' Х У ' Х ' у = /3 + ( Х ' Х ^ Х ' е

ипредположим, что выполнены следующие условия:

4)существует р Ншп_ 00 (1/п) Х ' Х = А , причем матрица А по­ ложительно определена (и, следовательно, существует Л -1);

5)plimn_ 00 (1/n) X ' t = 0.

Тогда из теоремы Слуцкого (см. приложение МС, п. 5) и (5.2) следует, что plimn_ 00/3 = /3, т. е. оценка /3 состоятельна.

В некоторых случаях условия 4), 5) достаточно легко прове­ ряются. Пусть, например, строки матрицы X независимы и оди­ наково распределены (как случайные /s-мерные векторы), век­ тор ошибок е состоит из независимых и одинаково распреде­ ленных компонент, Ее = 0, X и е независимы. Иными слова­ ми, значения объясняющих переменных в каждом наблюдении выбираются из одной и той же генеральной совокупности, при­ чем наблюдения между собой независимы и не зависят от слу­ чайных ошибок. Обозначим = Е(х«х#), i , j = 1,...,& (эти числя не зависят от t, поскольку строки матрицы X одинако­ во распределены), и пусть А = (tty). Тогда по закону боль­ ших чисел plimn_ 00(l/ n ) X fX = A, и если распределение каждой

строки ие сосредоточено на какой-либо гиперплоскости простран­ ства Я*, то матрица А положительно определена» Аналогично,

Р( ( l / n J X 'e ) . = Е (xti£t) =0 в силу независимости Х н е .

Подчеркнем, что из представления (5.2) следует, что при нали­ чии корреляции между Х н е МНК-оценка будет, вообще говоря, смещенной и несостоятельной.

Замечание. В рамках ограничений 1), 2), 3) для состоятельно­ сти МНК-оценки достаточно требовать выполнения условия 4) (с точностью до некоторых математических тонкостей), так как в силу (5.1)

и, следовательно, plimn_ 0O/3 = (3. Мы, однако, привели условия

4)и 5) ввиду их большей универсальности: как легко понять, для доказательства состоятельности МНК-оценки при выполнении 4),

5)требуются только равенство у = Х(3 + е и вид МНК-оценки, а условия 1), 2), 3) явно не используются.

Можно сделать следующие выводы:

1)если в регрессионной модели объясняющие переменные слу­ чайны и выполнены условия 1)-3) (в частности, регрессоры

иошибки должны быть некоррелированы), то МНК-оценка

исвязанные с ней статистики (оценка дисперсии и ковариа­ ционной матрицы) являются как условно (при фиксирован­ ной матрице X ), так и безусловно несмещенными;

2)имеет место условный вариант теоремы Гаусса-Маркова;

3)при выполнении условий 4), 5) МНК-оценка состоятельна, в частности, это справедливо, если в каждом наблюдении значения объясняющих переменных выбираются из одной и той же генеральной совокупности, а ошибки независимы, одинаково распределены и не зависят от регрессоров;

4)если регрессоры и ошибки коррелированы, то МНК-оценка будет в общем случае смещенной и несостоятельной.

5.2.Обобщенный метод наименьших квадратов

Одно из предположений классической регрессионной модели со­ стоит в том, что случайные ошибки некоррелироваиы между со­ бой и имеют постоянную дисперсию. В тех случаях, когда на­ блюдаемые объекты достаточно однородны, не сильно отличают­ ся друг от друга, такое допущение оправдано. Однако во многих ситуациях такое предположение нереалистично. Например, если исследуется зависимость расходов на питание в семье от ее общего дохода, то естественно ожидать, что разброс в данных будет вы­ ше для семей с более высоким доходом. Это означает, что диспер­ сии зависимых величин (а следовательно, и случайных ошибок) не постоянны. Это явление в эконометрике называется гетероскедастичностъю (в отличие от гомоскедастпичиости — равенства дисперсий). Кроме того, при анализе временных рядов в довольно редких случаях можно считать, что наблюдения некоррелированы во времени. Как правило, значение исследуемой величины в текущий момент времени статистически зависит от ее значений в прошлом, что означает наличие корреляции между ошибками. Поэтому естественно изучать модели регрессии без предположе­ ния, что V(e) = а1!.

В данном разделе мы будем рассматривать так называемую

где у — п х 1 вектор зависимой переменной, X — n x к матрица независимых переменных, /3 — к х 1 вектор неизвестных парамет­ ров, е — п х 1 вектор случайных ошибок, причем:

1)матрица X неслучайна и имеет полный ранг;

2)Ее = 0;

3)V(e) = ft, и матрица ft положительно определена.

Иными словами, обобщенная модель отличается от классиче­ ской только условием 3).

156 Гл. 5. Некоторые обобщения множественной регрессии

*»Ч|

то V(/3) —> 0 и, значит, оценка /3 будет состоятельной. Однако в отличие от классической модели, она не будет оптимальной в смысле теоремы Гаусса-Маркова. Для получения эффективной оценки надо воспользоваться так называемым обобщенным ме­ тодом наименьших квадратов (ОМНК).

2. Обобщенный метод наименьших квадратов. Ответ на вопрос об эффективной линейной несмещенной оценке вектора (3 для мо­ дели (5.3) дает следующая теорема.

Теорема Айткена. В классе линейных несмещенных оценок вектора /3 для обобщенной регрессионной модели оценка

имеет наименьшую матрицу ковариаций.

Д о к а з а т е л ь с т в о . Нетрудно проверить, что оценка (5.4) действительно несмещена. Далее, в силу условия 3) матрица О -1 положительно определена и симметрична, поэтому существу­ ет такая невырожденная п х п матрица Р , что

В самом деле, так как П-1 симметрична, то существует ортого­ нальная матрица S , такая что ft-1 = S 'A S, где А — диагональная матрица, на главной диагонали которой стоят собственные чис­ ла А», г = 1,... ,п, матрицы ft-1. В силу положительной опреде­ ленности О-1 все они положительны, поэтому можно определить диагональную м атриц А1/2, на главной диагонали которой сто­ ят числа А|/2, г = 1,... ,п. Теперь достаточно взять Р = A1/2 S. Заметим, что представление (5.5) не единственно, но для наших рассуждений это несущественно. Умножим равенство (5.3) слева на Р и обозначим у* = Р у , X * = Р Х , е* = Р е. Таким образом,

теоремы Гаусса-Маркова и, следовательно, оптимальной в классе несмещенных и линейных по у* оценок вектора /3 является оценка (см. (3.4))

3* = ( Х ^ Х ^ - ' Х ^ у * = (X'Р1Р X ) ~ lX 'Р 1Р у

= (Х 'П - , Х ) - , Х ' П - 1у, (5.7)

что совпадает с (5.4). Остается заметить, что поскольку матрица Р невырождена, то класс оценок, линейных по у*, совпадает с классом оценок, линейных по у. Доказательство закончено.

Так как V(y) = О, то из (5.7) непосредственно следует, что

Least Squares). Нетрудно проверить, что если ft = а21, т.е. мо­ дель является классической, то /3QLS = /^OLS> как и следовало ожидать. Использование термина «обобщенный метод наимень-» ших квадратов» объясняется следующим соображением. Как по­ казано при доказательстве теоремы Айткена, оценка /3GLS полу­

для построения оптимальной оценки в модели (5.3) надо миними­ зировать «обобщенную» сумму квадратов отклонений e 'ft-1e.

Проверять гипотезы о наличии линейных ограничений можно как непосредственно, используя (5.8), так и с помощью вспомо­ гательной регрессии (5.6). Например, если в предположении нор­ мальности ошибок е требуется проверить гипотезу Но: Д/3 = г против альтернативной, то можно воспользоваться тем фактом, что статистика

(R0* - г У М Я Р ) ) - 1^ * - г )

= (ДЗ* - г)/(Я (Х /П -1ЛГ)-1# ) _1(j?3* - г) (5.9)

при гипотезе Но имеет распределение х2(д), где q = гапк(Д) (при­ ложение МС, п. 4, N9). А можно точно так же, как и в п. (3.5),

с ограничением, получить соответствующие остатки e(jR и е ^ и составить статистику

р _ (eReR ~ eUReUR.)/Я

(eUReU R )/(n —

которая при гипотезе Но имеет распределение Фишера F(q, п —к). Бели вектор ошибок е имеет многомерное нормальное распре­ деление, то можно проверить, что оценка вектора /3, получаемая с помощью обобщенного метода наименьших квадратов, совпа­ дает с оценкой максимального правдоподобия (естественно, при

известной матрице ft): /3GLs = Эмь-

Для обобщенной регрессионной модели, в отличие от класси­ ческой, коэффициент детерминации

р2 _ I _ (У ~ -^3GLS)'(у ~ * 3 GLS)

U v t - y ) 2

не может служить удовлетворительной мерой качества подгонки. В общем случае он даже не обязан лежать в интервале [0, 1], а добавление или удаление независимой переменной не обязательно приводит к его увеличению или уменьшению. Также нет особого смысла ориентироваться на коэффициент детерминации для ре­ грессии (5.6): во-первых, даже если среди исходных регрессоров X содержался постоянный член, в преобразованных регрессорах X* его может не оказаться, а во-вторых, в общем случае труд­ но установить связь между качеством подгонки вспомогательной модели (5.6) и исходной модели.

Подчеркнем еще раз, что для применения ОМНК необходимо знать матрицу ft, что на практике бывает крайне редко. Поэто­ му вполне естественным кажется такой способ: оценить (какимнибудь образом) матрицу ft, а затем использовать эту оценку в формуле (5.4) вместо ft. Этот подход составляет суть так назы­ ваемого доступного обобщенного метода наименьших квадратов (Feasible Generalized Least Squares), о котором подробнее говорит­ ся в разделе 5.3. Построенную с его помощью оценку обозначим

/3FGLS. Следует понимать, что в общем случал матрица П содер­ жит п(п + 1)/2 неизвестных параметров (в силу ее симметрично­ сти) и, имея только п наблюдений, нет никакой надежды получить для нее «хорошую» оценку. Поэтому для получения содержатель­ ных результатов приходится вводить дополнительные условия на структуру матрицы fI.

Выводы:

1)для^обобщенной регрессионной модели обычная МНК-оцен- ка /3QLS вектора /3 является несмещенной, состоятельной, но в отличие от классического случая не эффективной (в смыс­ ле минимума ковариащионной матрицы);

2)оценка матрицы ковариаций вектора /3QLS является смещен­ ной;

3)эффективной в классе линейных несмещенных оценок яв­ ляется оценка (5.4), получаемая обобщенным методом наи­ меньших квадратов (ОМНК);

4)для нахождения ОМНК-оценки /3QLS необходимо знать ко­ вариационную матрицу ft вектора ошибок;

5)ОМНК-оценка может быть получена применением обычно­ го метода наименьших квадратов к вспомогательной систе­ ме (5.6), получаемой линейным преобразованием исходной модели (5.3);

6)проверка гипотез о наличии линейных ограничений прово­ дится так же, как и в классическом случае либо непосред­ ственно, либо с помощью остатков регрессий без ограниче­ ний и с ограничением для вспомогательной модели (5.6);

7)в случае нормального распределения вектора ошибок ОМНК-оценка совпадает с оценкой максимального правдо­ подобия;

8)коэффициент детерминации не может служить удовлетвори­ тельной мерой качества подгонки при использовании обоб­ щенного метода наименьших квадратов.