ЭКОНОМЕТРИКА и математическая экономика / Эконометрика. Учебник продвинутый (2005)

плотность их совместного распределения, рассматриваемая как функция от θ при данном наборе наблюдений x1, . . . , xN :

N

L (θ) = fx(xi|θ).

i=1

Если изучаемая переменная имеет дискретное распределение, то fx(x|θ) следует понимать как вероятность, а не как плотность. Наряду с функцией L (θ) из соображений удобства рассматривают также ее логарифм, называемый логарифмической функцией правдоподобия.

Оценки максимального правдоподобия θ для параметров θ являются, по определению, аргмаксимумом функции правдоподобия (или, что то же самое, логарифмической функции правдоподобия). Они являются решением уравнения правдоподобия:

∂ln L = 0. ∂θ

Вболее общем случае нельзя считать наблюдения за изучаемой переменной, x1, . . . , xN , независимыми и одинаково распределенными. В этом случае задается

закон совместного распределения всех наблюдений, fx(x1, . . . , xN |θ) = fx(x|θ) , и функция правдоподобия для данного вектора наблюдений x полагается равной fx(x|θ).

Известно, что оценки максимального правдоподобия обладают свойствами состоятельности, асимптотической нормальности и асимптотической эффективности.

Оценку ковариационной матрицы оценок θ можно получить на основе матрицы вторых производных (матрицы Гессе) логарифмической функции правдоподобия:

Другая классическая оценка ковариационной матрицы имеет вид

(I(θ ))−1 ,

где

I(θ) = E −∂2 ln L(θ)

∂θ∂θ

— так называемая информационная матрица.

18.3.2.Оценки максимального правдоподобия для модели линейной регрессии

Рассмотрим модель линейной регрессии xi = ziα + εi , где вектор коэффициентов имеет размерность n + 1, ошибки εi независимы и распределены нормально: εi N (0, σ2 ), а факторы zi являются детерминированными. При этом изучаемая переменная тоже имеет нормальное распределение: xi N (ziα, σ2 ). Плотность этого распределения равна

Перемножая плотности для всех наблюдений (с учетом их независимости), получим функцию правдоподобия:

Из первого уравнения получим оценки максимального правдоподобия для коэффициентов α:

a = Z Z −1 Z X.

Видим, что оценки наименьших квадратов и оценки максимального правдоподобия совпадают. Из второго уравнения, подставляя в него оценки a вместо α, получим оценку дисперсии σ2 :

s2 = N1 e e,

где e e = (X − Za) (X − Za) — сумма квадратов остатков. Оценка максимального правдоподобия для дисперсии ошибки смещена. Несмещенная оценка, используемая в МНК, равна

Тем не менее, оценки (a, s) асимптотически несмещены, состоятельны, асимптотически эффективны в классе любых оценок (а не только линейных, как при МНК).

Чтобы проверить, на самом ли деле мы нашли точку максимума правдоподобия, исследуем матрицу вторых производных:

Видно, что матрица вторых производных отрицательно определена, то есть найдена точка максимума. Это дает оценку ковариационной матрицы оценок (a, s):

Таким образом, оценка ковариационной матрицы для a является смещенной (поскольку основана на смещенной оценке дисперсии):

Ma = e e Z Z −1 .

N

При N → ∞ эти две оценки сходятся.

Метод максимального правдоподобия дает также оценку дисперсии для s:

e e var(s) = 2N 2 .

Рассчитаем также информационную матрицу. Для этого возьмем математиче-

где мы воспользовались тем, что X −Zα представляет собой вектор ошибок модели ε и выполнено E (ε) = 0, E (ε ε) = N σ2. Обращая информационную матрицу в точке (a, s), получим ту же оценку ковариационной матрицы, что и раньше. Таким образом, оба метода дают одинаковый результат.

ожидание матрицы вторых производных со знаком минус называется информационной матрицей. Эта матрица удовлетворяет естественным требованиям: чем больше имеем информации, тем точнее оценка.

Если в логарифмическую функцию правдоподобия ln L (α; σ) подставить оцен-

то получится так называемая концентрированная функция правдоподобия, которая зависит уже только от α:

Очевидно, что максимизация концентрированной функции правдоподобия эквивалентна методу наименьших квадратов (минимизации суммы квадратов остатков).

18.3.3.Три классических теста для метода максимального правдоподобия

Рассмотрим линейную регрессию с нормальными ошибками. Требуется проверить гипотезу о том, что коэффициенты этой регрессии удовлетворяют некоторым линейным ограничениям. Пусть a0 — оценки, полученные методом максимального правдоподобия без учета ограничений, а a1 — оценки, полученные тем же методом с учетом ограничений, и пусть ln L0 — значение логарифмической функции правдоподобия в точке a0 , а ln L1 — значение логарифмической функции правдоподобия в точке a1 . Статистику для проверки такой гипотезы естественно строить как показатель, измеряющий существенность различий между двумя моделями — с ограничениями и без них. Если различия не очень велики (ограничения существенны), то гипотезу о том, что ограничения выполнены, следует принять, а если достаточно велики — то отвергнуть. Рассмотрим три возможных способа измерения этих различий, проиллюстрировав их графически.

скольку в точке a0 он равен нулю, то следует рассмотреть, насколько тангенс угла наклона касательной в точке a1 отличен от нуля (см. рис. 18.3).

Доказательство:

Так как Ω положительно определена (cм. Приложения A.1.2 и A.1.2), то существует неособенная квадратная матрица C, такая, что Ω−1 = CC . Рассмотрим

Таким образом, вектор σ1 Cχ состоит из k некоррелированных и, как следствие (по свойству многомерного нормального распределения), независимых случайных

величин, имеющих стандартное нормальное распределение. Тогда (по определению распределения χ-квадрат) сумма квадратов вектора σ1 Cχ распределена как χ2k .

Тест Вальда (W-тест)

Для оценки коэффициентов регрессии без ограничений выполнено

Рассмотрим невязки ограничений Ra0 − r. Чем они больше, тем более правдоподобно, что ограничения не выполнены. Ясно, что (см. Приложение A.3.2)

Ra0 − r N Rα − r; σ2A ,

где, как и раньше, используется обозначение A = R (Z Z)−1 R . Матрица A имеет размерность k × k, где k — количество ограничений. Пусть выполнена нулевая гипотеза

H0: Rα = r.

Тогда Ra0 − r N 0; σ2A . По лемме

σ12 (Ra0 − r) A−1 (Ra0 − r) χ2k .

Поскольку известны лишь a0 — оценки без ограничений, то в качестве оценки неизвестной величины σ2 берем N1 e0e0 , где e0 = X − Za0— остатки из модели без ограничений. Отсюда получаем статистику Вальда:

дует принять H0, что ограничения выполнены. При W > χ2k,γ ограничения существенны и следует отвергнуть H0 .

Можно увидеть, что статистика Вальда имеет следующую структуру:

W = (Ra0 − r) RMa0 R −1 (Ra0 − r) ,

где Ma0 = e0e0 (Z Z)−1 — оценка ковариационной матрицы оценок a0. Фактиче-

N

ски это общая формула для статистики Вальда, применимая в случае произвольной модели, а не только линейной регрессии с нормальными ошибками.

Тест множителей Лагранжа (LM-тест)

Ранее мы получили выражение для множителей Лагранжа, соответствующих ограничению Rα = r:

Вспомним, что из нормальных уравнений для оценок при ограничениях

R λ = Z (X − Za1).

В то же время

производная логарифмической функции правдоподобия (это функция без учета огра-

Статистика множителей Лагранжа, таким образом, имеет следующую структуру:

где Ma0 (a1) = e1e1 (Z Z)−1 — оценка ковариационной матрицы оценок a0 , вы-

N

численная на основе информации, доступной в точке a1 . Это общая формула для статистики множителей Лагранжа, применимая в случае произвольной модели, а не только линейной регрессии с нормальными ошибками. В таком виде тест называется скор-тестом (score test) или тестом Рао.

592 Глава 18. Классические критерии проверки гипотез

18.3.4. Сопоставление классических тестов

Величину (Ra0 − r) R (Z Z)−1 R −1 (Ra0 − r), которая фигурирует в формулах для рассматриваемых статистик, можно записать также в виде e1e1 − e0e0 . Таким образом, получаем следующие формулы для трех статистик через суммы квадратов остатков:

W = N e1e1 − e0e0 , e0e0

LM = N e1e1 − e0e0 , e1e1

LR = N ln e1e1 . e0e0

F -статистику для проверки линейных ограничений можно записать аналогичным образом:

F = N − n − 1 e1e1 − e0e0 .

ke0e0

Нетрудно увидеть, что все три статистики можно записать через F -статистику:

N

W = N − n − 1 kF,

N

LM = kF + N − n − 1 kF.

Заметим, что по свойству F -распределения kF в пределе при N → ∞ сходится к χ2k , чем можно доказать сходимость распределения всех трех статистик к этому распределению.

Так как e1e1 e0e0 , то W LM . Следовательно, тест Вальда более жесткий, он чаще отвергает ограничения. Статистика отношения правдоподобия лежит всегда между W и LM. Чтобы это показать, обозначим

Доказываемое свойство следует из того, что при x > −1 выполнено неравенство

x

1 + x ln (1 + x) x.