diplom25 / suslov_ibragimov_ekonometrika

Суммы квадратов остатков в двух моделях равны e!0e0 и e!1e1,соответственно. Количествоограничений k = N2.Такимобразом,получаемследующуюстатистику:

(e! e0 − e! e1) /N2

F c = ! 0 ( 1− − 1) FN2, N1−n−1.

e1e1/ N1 n

Статистика имеет указанное распределение,если выполнена нулевая гипотеза

H0 : δ = 0.

Если нулевая гипотеза принимается, это означает,что модель не менялась.

Заметим,что в случае,когда наблюдений в одной из частей выборки не хватает, чтобы оценить параметры,либо их столько же,сколько параметров,например, N2 ! n + 1,второй тест Чоу можно рассматривать как распространение на этот вырожденный случай первого теста Чоу.

Второй тест Чоу можно интерпретировать также как тест на точность прогноза. Поскольку Z2a Ñпрогнозы,полученныедлявторойчастивыборкинаосновеоценок первой части( a),то из второго уравнения системы(18.7)следует,что оценки d равны ошибкам такого прогноза:

d = X2 − Z2a.

Таким образом,проверяя гипотезу δ = 0,мы проверяем,насколько точны прогнозы.Если модель по второй части выборки отличается от модели по первой части, то ошибки прогноза будут большими и мы отклоним нулевую гипотезу.

18.3.Метод максимального правдоподобия в эконометрии

18.3.1.Оценки максимального правдоподобия

Методмаксимальногоправдоподобия Ñэтоодинизклассическихметодовоценивания,получивший широкое распространение в эконометрии благодаря своей универсальности и концептуальной простоте.

Для получения оценок максимального правдоподобия следует записать функцию правдоподобия,а затем максимизир овать ее по неизвестным параметрам модели.Предположим,что изучаемая переменная x имеет распределение с плотностью fx(x),причем эта плотность зависит от ве ктора неизвестных параметров θ,что можно записать как fx(x|θ).Тогда для N независимых наблюдений за переменной x,т.е. x1, . . . , xN , функция правдоподобия,по определению,есть

плотность их совместного распределения,рассматриваемая как функция от θ при данном наборе наблюдений x1, . . . , xN :

L (θ) = 4N fx(xi|θ).

i=1

Если изучаемая переменная имеет дискретное распределение,то fx(x|θ) следует понимать как вероятность,ане как плотность.Наряду с функцией L (θ) из соображений удобства рассматривают также ее логарифм,называемый логарифмической функцией правдоподобия.

Оценки максимального правдоподобия θ для параметров θ являются,по определению,аргмаксимумом функцииправдоподобия(или,что то же самое,логарифмической функции правдоподобия). Они являются решением уравнения правдоподобия:

∂ln L = 0.

∂θ

Вболее общем случае нельзя считать наблюдения за изучаемой переменной,

x1, . . . , xN ,независимыми и одинаково распределенными.В этом случае задается закон совместного распределения всех наблюдений, fx(x1, . . . , xN |θ) = fx(x|θ) ,

ифункция правдоподобия для данного вектора наблюдений x полагается равной fx(x|θ).

Известно,что оценки максимального правдоподобия обладают свойствами состоятельности,асимптотическойнормальностииасимптотическойэффективности.

Оценку ковариационной матрицы оценок θ можно получить на основе матрицы вторых производных(матрицы Гессе)логарифмической функции правдоподобия:

,∂2 ln L(θ ).−1

−∂θ∂θ! .

Другая классическая оценка ковариационной матрицы имеет вид

Ñтак называемая информационная матрица.

18.3.2.Оценки максимального правдоподобия для модели линейной регрессии

Рассмотрим модель линейной регрессии xi = zi α + εi ,где вектор коэффициентов имеет размерность n + 1,ошибки εi независимы и распределены нормально: εi N (0, σ2),а факторы zi являются детерминированными.При этом изучаемая переменная тоже имеет нормальное распределение: xi N (ziα,σ 2).Плотность этого распределения равна

Перемножаяплотностидлявсехнаблюдений(сучетомихнезависимости),получим

Из первого уравнения получим оценки максимального правдоподобия для коэффициентов α:

a = 0Z !Z 1−1 Z !X.

Видим,что оценки наименьших квадратов и оценки максимального правдоподобия совпадают.Из второго ура внения,подставляя в него оценки a вместо α, получим оценку дисперсии σ2:

s2 = N1 e!e,

При N → ∞ эти две оценки сходятся.

Метод максимального правдоподобия дает также оценку дисперсии для s:

e!e var(s) = 2N 2 .

Рассчитаем также информационную матрицу.Для этого возьмем математическое ожидание от матрицы вторых производных со знаком минус:

где мы воспользовались тем,что X −Z α представляет собойвектор ошибок модели ε и выполнено E (ε) = 0, E (ε!ε) = N σ2.Обращая информационную матрицу вточке (a, s),получимтужеоценкуковариационной матрицы,чтоираньше.Таким образом,оба метода дают одинаковый результат.

со знаком минус называется информационной матрицей.Эта матрица удовлетворяет естественным требованиям:чем больше имеем информации,тем точнее оценка.

Есливлогарифмическуюфункциюправдоподобия ln L (α; σ) подставить оцен-

"

ку s2 для σ2,которая найдена из условия ∂ ln L ∂σ = 0:

s2 = e!e , N

то получится так называемая концентрированная функция правдоподобия,которая

Очевидно,что максимизация концентрированной функции правдоподобия эквивалентна методу наименьших квадратов(минимизации суммы квадратов остатков).

18.3.3.Три классических теста для метода максимального правдоподобия

Рассмотрим линейную регрессию с нормальными ошибками.Требуется проверить гипотезу о том,что коэффициенты этой регрессии удовлетворяют некоторым линейным ограничениям.Пусть a0 Ñоценки,полученные методом максимального правдоподобия без учета ограничений,а a1 Ñоценки,полученные тем же методом с учетом ограничений,и пусть ln L0 Ñзначение логарифмической функции правдоподобия в точке a0, а ln L1 Ñзначение логарифмической функции правдоподобия в точке a1.Статистику для проверки такой гипотезы естественно строить как показатель,измеряющийсущественность различиймежду двумя моделямиÑс ограничениями и без них.Если р азличия не очень велики(ограничения существенны),то гипотезу о том,что огра ничения выполнены,следует принять, а если достаточно великиÑто отвергнут ь.Рассмотрим три возможных способа измерения этих различий,проиллюстрировав их графически.

скольку в точке a0 он равен нулю,то следует рассмотреть,насколько тангенс угла наклона касательной в точке a1 отличен от нуля(см.рис. 18.3).

Доказательство:

Так как Ω положительно определена(cм.ПриложенияA.1.2иA.1.2),то существует неособенная квадратная матрица C ,такая,что Ω−1 = C C !.Рассмотрим

(по свойству многомерногоσнормального распределения),не зависимых случайных

Тест Вальда(W-тест)

Для оценки коэффициентов регрессии без ограничений выполнено a0 = 0Z !Z 1−1 Z !X N (α,σ 2 0Z !Z 1−1).

Рассмотрим невязки ограничений Ra0 − r.Чем они больше,тем более правдоподобно,что ограничения не выполнены.Ясно,что(см.ПриложениеA.3.2)

()

Ra0 − r N Rα − r; σ2A ,

где,какираньше,используетсяобозначение A = R (Z !Z )−1 R!.Матрица A имеет размерность k × k,где k Ñколичество ограничений. Пусть выполнена нулевая гипотеза

H0: Rα = r.

Поскольку известны лишь a0 Ñоценкибез ограничений,то в качестве оценки неизвестной величины σ2 берем N1 e!0e0,где e0 = X − Z a0Ñостатки из модели без ограничений.Отсюда получаем статистику Вальда:

Можно увидеть,что статистика Вальда имеет следующую структуру:

N

ски это общая формула для статистики Вальда,применимая в случае произвольной модели,а не только линейной регрессии с нормальными ошибками.

Тест отношения правдоподобия(LR-тест)

Суммы квадратов остатков здесь равны

e!0e0 = (X − Z a0)! (X − Z a0)

и

e!1e1 = (X − Z a1)! (X − Z a1) =

= (X − Z a0)! (X − Z a0) + (Ra0 − r)! A−1 (Ra0 − r) .

Покажем,чтоесливернанулеваягипотеза Rα = r,топриближенновыполнено

−2 ln (L1/L0) χ2k .

Действительно,

Длянатуральногологарифмапрималых x выполнено ln (1 + x) ≈ x.Рассмотримпоследнюю дробь.Прибольшомколичестве наблюдений оценки a0 стремятся к вектору α,для которого выполнено H0 : Rα = r.Отсюда следует,что при большом количестве наблюдений дробьÑм алая величина,и получаем приближенно

Таким образом,статистика отношения правдоподобия приближенно равна статистике Вальда,которая приближенно распределена как χ2k .ПолучилиLR-тест: если LR >χ 2k,γ ,то H0 неверна,ограничения не выполнены,а если LR <χ 2k,γ , то наоборот.

Тест множителей Лагранжа(LM-тест)

Ранее мы получили выражение для множителей Лагранжа,соответствующих ограничению Rα = r:

N

численная на основе информации,доступной в точке a1.Это общая формула для статистики множителей Лагранжа,применимая в случае произвольной модели,а не только линейной регрессии с нормальными ошибками.В таком виде тест называется скор-тестом(score test)или тестом Рао.