книги / Эконометрика. Начальный курс

которая является функцией параметров /3 и <т2. Частные произ­ водные первого порядка этой функции равны

где е = у — Х(3 обозначает вектор^остатков. Заметим, что оцен­ ка максимального правдоподобия (3 совпадает с оценкой метода наименьших квадратов (3.4) для /3, в то время как оценка макси­ мального правдоподобия а2 неравна оценке (3.19) s2 = е'е/(п —к) для а2, обычно используемой в методе наименьших квадратов.

Частные производные второго порядка от (10.19) равны

Взяв математическое ожидание (с обратным знаком) от производ­ ных второго порядка, получаем

поскольку Е ((у — Х/3)'(у —Х/3)) = па2. Кроме того, математиче­ ское ожидание от смешанной производной равно нулю в силу того, что Е (у - Х(3) = 0. Поэтому информационная матрица равна

Таким образом, асимптотическая информационная матрица име­ ет вид

где предполагается, что существует предельная, положительно определенная матрица Q — limn—<x,(\ln)X'X. Легко вычисля­ ется обратная матрица

и из свойств оценок максимального правдоподобия следует, что {a2/n)Q~l является оценкой асимптотической матрицы ковариа­ ций вектора оценок /3. На практике асимптотическая матрица ко­ вариаций аппроксимируется а2( Х 'Х ) ~ 1. В_самом деле, мы знаем, что тонная матрица ковариаций вектора /3 равна а2( Х ’Х ) ~ 1.

Асимптотическую дисперсию оценки а2 можно оценить вели­ чиной 2аА/п. Так как внедиагональные блоки матрицы Т равны нулю, оценки (3 и а2 асимптотически независимы. Такая (асим­ птотическая) независимость оценок средних значений и диспер­ сии является общей чертой теории регрессии и имеет важные по­ следствия для оценивания и тестирования.

10.6.Проверка гипотез в линейной модели, I

Рассмотрим теперь обобщенную линейную модель у = Х р + и (см. (5.3)) с матрицей ковариаций ошибок У (и) = Si, где Si — известная положительно определенная симметричная матрица. Мы ослабим это требование в следующем разделе. Пусть мы хо­ тим проверить гипотезу о том, что выполнена система q (q < к) независимых линейных ограничений R(3 = г. Здесь R — извест­ ная q х к матрица ранга q, а г — известный q х 1 вектор. В данном разделе мы расмотрим три различных теста для проверки этой гипотезы, основанные на разных подходах.

ML-оценка для р в регрессии без ограничения задается уравне­ нием d \n L (p )/d p = 0, откуда получается GLS-оценка (см. (5.4))

Вектор остатков равен и = у — Х р , а соответствующее мак­ симальное значение логарифмической функции правдоподобия равно

ML-оценка для р в регрессии с ограничением (R p = г) по­ лучается максимизацией функции In L(P) при условии R p = г.

254 Гл 10. Метод максимального правдоподобия в моделях регрессии

Чтобы найти эту оценку, запишем функцию Лагранжа

где через I = ,lq)' обозначен вектор q множителей Лагран­ жа. Условия экстремума имеют вид

и, подставив это выражение в (10.36), найдем оценку Р в регрессии с ограничением*

3 = 3 - (Х /П -1Х )" 1Д ,(Я (Х ,П -1Х ) - 1Я /) " 1(Я З - г). (10.39)

Обозначим через й = у - Х р вектор остатков в регрессии с огра­ ничением. Тогда максимальное значение логарифмической функ­ ции правдоподобия InL{fl) равно

Теперь мы готовы сформулировать три теста, о которых шла речь в начале раздела. Во всех этих тестах нулевой гипотезой Но является наличие ограничения R P = г.

Тест Вальда (W) ( Wald test). Тест Вальда основан на идее, что при выполнении нулевой гипотезы вектор Я/3 должен быть близок к г. Из (10.31) получаем

Отметим, что тест Вальда использует только оценки в модели без ограничения на параметры.

Тест м нож ит елей Л агранж а (LM) (Lagrange multiplier test).

Тест множителей Лагранжа основан на идее, что при выполнении нулевой гипотезы все множители Лагранжа должны быть равны нулю, поэтому и вектор I должен быть близок к нулю. Из (10.38) и (10.41) получаем, что в том случае, когда выполняется нулевая гипотеза,

и, следовательно,

Поскольку в силу (10.35) X ' f l 1й = Я'Т, получаем эквивалентное представление LM статистики

LM = и П - 1Х { Х ' П - 1Х ) - 1Х 'П - 'й .

В отличие от теста Вальда тест множителей Лагранжа использует только оценки в модели с ограничением на параметры.

Тест от нош ения правдоподобия (LR) (Likelihood ratio test).

Тест отношения правдоподобия использует как регрессию с огра­ ничением, так и регрессию без ограничения. Он основан на том,

256 Гл 10. Метод максимального правдоподобия в моделях регрессии

что если ограничение справедливо, то отношение максимальных значений функций правдоподобия для регрессии с ограничением и без ограничения должно быть близко к 1. Таким образом, в каче­ стве критической статистики теста берется разница максимумов логарифмических функций правдоподобия (10.32) и (10.40):

Можно показать, что при выполнении нулевой гипотезы (10.46) имеет х2{$) распределение. Действительно, поскольку Х р = Х р — Х((3 —/3), то « = « + Х(Р —Р). Домножив на О-1/2, получаем

Взяв скалярный квадрат обеих частей (10.47) и учитывая, что Х 'П -1и = 0 (см. (10.31)), имеем

Из (10.36) вытекает, что

поэтому из (10.45) следует:

LR = Й'П -'Й - и'П -1и = l R ( X ' S l - lX ) - lR ! i ~ *2(д). (Ю.50)

Мы видим, что все три критические статистики имеют одно и то же х2(ч) распределение. Более того, из (10.50)) следует LR = LM. Из равенства (10.38) вытекает, что W = LM. Следовательно,

Однако, это справедливо только в простейшем случае, когда матрица ковариаций ошибок Л полностью известна. Ситуация усложняется в том (более реальном) случае, когда матрица О неизвестна.

10.7.Проверка гипотез в линейной модели, II

Предположим теперь, что матрица SI неизвестна, однако извест­ на ее структура, т. е. ft = Q(0) является функцией неизвестного р х 1 вектора параметров в, который необходимо оценить. (Эту ситуацию мы рассматривали ранее в главе 5, п. 5.3.) Три крити­ ческие статистики в этом случае принимают вид:

где П = Г2(0) и ft = П(6). Теперь мы покажем, что верно знаме­ нитое неравенство

Доказательство основано на довольно тонком замечании, принад­ лежащем Бреушу (Breusch, 1979). Отметим сначала, что /3 яв­ ляется точкой максимума функции InL(/3, в], а /3 является точ­ кой условного максимума функции In L(/3,0) при ограничении R/3 = г. Введем теперь два новых_ вектора: /Зи, являющийся точкой максимума функции In L((3,6), и /Згикоторый является точкой условного максимума функции In L(/3,0) при ограничении

R/3 = г

Равенства, выведенные в предыдущем разделе (для случая, когда в известно), позволяют получить следующие выражения для статистик W и LM, представив их в виде, аналогичном ста­

нечных выборок уровень значимости тестов, если применять од­ но и то же критическое значение, будет различен. Неравенство само по себе не дает никакой информации о сравнительной мощ­ ности W, LR и LM тестов. Подробное обсуждение этого неравен­ ства и его следствий содержится в работах (Evans and Savin, 1982)

и(Godfrey, 1988).

10.8.Нелинейные ограничения

Предположим, что нулевая гипотеза состоит из системы q нели­ нейных ограничений на вектор коэффициентов /3. Пусть дана ли­ нейная модель у — Х/3 + и при стандартном условии на распре­ деление вектора ошибок u ~ N (0,12(0)). Запишем ограничения в виде

Таким образом, мы собираемся тестировать нулевую гипотезу HQ: д((3) = 0 против альтернативной гипотезы Hi: д{(3) ф 0.

Предположим, что все q компонент вектора д(0) являются непрерывными дважды дифференцируемыми функциями. Обо­ значим через G(/3) q х к матрицу первых производных и пред­ положим, что она имеет полный ранг в некоторой окрестности истинного значения (3.

Мы можем заключить отсюда, что статистика теста Вальда — в отличие от LR и LM статистик — неинвариантна по отноше­ нию к тривиальным преобразованиям в нулевой гипотезе. При­ чина, по которой это происходит, состоит в том, что критическая статистика теста Вальда выводится из линейной аппроксимации вектора ограничений в точке /3, а различные способы выражения ограничения приводят к различным линеаризациям. Эти разли­ чия асимптотически исчезают, однако могут быть существенны в конечных выборках.

Упражнения

10.1.Рассмотрим выборку размера 10 из пуассоновского распределения

спараметром в: 1, 4, 3, 2, 3, 0, 1, 1, 0, 5.

а) Вычислите оценку максимального правдоподобия для в.

б) Покажите графически, что функция правдоподобия и ее лога­ рифм достигают максимума в одной и той же точке в.

10.2.Дана выборка размера п из нормального распределения N(p,o2). Запишите логарифмическую функцию правдоподобия и найдите MLоценки параметров /х и о2. Найдите смещения этих оценок.

10.3.Пусть 3/1,..., уп — выборка из распределения с плотностью

(0 < 9 < оо). Покажите, что в = maxt/i является оценкой максимально­ го правдоподобия, и найдите ее смещение.

10.4.Выведите оценки максимального правдоподобия для параметров

ри П многомерного нормального распределения по выборке размера п.