Anatolyev-lectures
.pdfа её бутстраповский аналог –
|
|
2SLS |
= (: : : ) 1 |
|
xi zi0 |
|
|
|
zi zi0 1 |
zi yi |
|
|
|
|
ziei |
: |
|
|
||||||
|
|
b |
|
|
|
|
X |
|
|
X |
|
X |
|
|
X |
|
|
|
||||||
Соответственно, |
|
|
|
Xxizi0 |
Xzizi0 |
|
|
Xzizi0ei2 |
Xzizi0 |
|
|
|
b |
|
|
|
||||||||
|
V2SLS = n(: : :) 1 |
1 |
1 |
Xzixi0 |
(: : :) 1; |
|
||||||||||||||||||
|
b |
= n(: : : )1 |
1 |
n |
xi zi0 |
zi zi0 |
1 |
b |
|
zi zi0 |
1 |
zi xi0 |
1 |
: |
||||||||||
V2SLS |
|
|
|
ui ui0 |
|
|
|
(: : : ) |
||||||||||||||||
b |
i |
i i |
|
X |
zjej. |
X |
|
|
|
|
X |
X |
|
|
|
|
X |
|
|
|
||||
n |
|
j=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
Здесь u = z e |
P |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
b |
|
|
b |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
6Инструментальные переменные во временных рядах
Рассмотрим следующую модель временного ряда:
yt = x0t + et; E[etjIt 1] = 0; It 1 = fyt 1; yt 2 : : : ; xt; xt 1; : : :g:
Возьмём вектор инструментов
zt = (yt 1; yt 2; : : : ; yt ly ; x0t; x0t 1; : : : ; x0t lx )0:
Он валидный, так как все элементы принадлежат It 1, и
E[etjzt] = E[E[etjIt 1]jzt] = 0:
При таким образом выбранном инструменте инструментальная оценка b2SLS совпадает с МНК-оценкой (упражнение: почему?), и, соответственно, обладает теми же свойствами. Поэтому в данной задаче обычно используют расширение инструментальных оценок – оценки обобщенного метода моментов. То же самое справедливо и в более общей модели, допускающей автокорреляцию ошибок:
yt = x0t + et; E[etjIt q] = 0; zt = fyt q; : : : ; yt ly ; x0t; : : : ; x0t lx g0:
VI Оценивание нелинейной регрессии среднего
1Нелинейность по отношению к регрессорам
Пусть условное среднее E[yjx] = g(x; ) для некоторой нелинейной функции g( ; ). В этом случае мы имеем дело с нелинейной моделью. Тем не менее, существуют случаи нелинейностей, сводящиеся к линейному случаю с помощью трансформаций.
Пусть g(x; ) нелинейна по регрессорам x и линейна по параметрам , тогда можно выполнить такую трансформацию x ! z, что E[yjz] = z0 .
51
Пример 1. Пусть условное среднее выражается нелинейной функцией от регрессоров следующего вида:
g(x; ) = 0 + 1x1 + 2x2 + 3x1x2 + 4x21 + 5x22:
Тогда подходящей трансформацией будет:
z = (1; x1; x2; x1x2; x21; x22)0:
Пример 2. Условное среднее выражается нелинейной функцией регрессоров следующего вида:
g(x; ) = 0 + 1x + 2x2 + + pxp:
Соответствующая трансформация регрессоров:
z = (1; x; : : : ; xp):
Необходимо отметить о сложности в интерпретации коэффициентов. Маржинальное влияние регрессора x есть
@g(x; ) = 1 + 2 2x + + p pxp 1: @x
Неясно, какое x подставлять в данную формулу, чтобы получить численное значение. Можно оценить в каком-то конкретном x, которое определяется из контекста задачи, или использовать среднее значение x, или же оценить в средних значения трансфор-
мированных регрессоров x; x2; : : : ; xp 1. В любом случае коэффициенты 1; 2; : : : ; p
сами по себе не имеют экономического смысла. Имеет смысл только их определённые комбинации.
“Линейными по-существу” моделями называются такие, которые, несмотря на обманчивую нелинейность, можно преобразовать к линейному виду. Рассмотрим такой пример:
y = AK L1 exp(e); E[ejA; K; L] = 0:
Здесь логарифмическая трансформация модели сводит ее к линейному случаю:
E[log Y j log A; log K; log L] = log A + log K + (1 ) log L:
2Нелинейные регрессионные модели
В данной главе мы рассмотрим нелинейные модели, которые не приводятся к линейным, т.е.
E[yjx] = g(x0 ) 6= z0
для любой функции z(x).
Примеры.
52
x
g(x; ) = 1 + 2 1 + 3x
g(x; ) = 1 + 2e 3x
g(x; ) = ( 1 + 2x1)1[x2 3] + ( 4 + 5x1)1[x2 > 3]
Пусть функция g(x; ) дифференцируема по обоим аргументам.
Определение. Величина @g(x; )
@ 0
В обычной линейной регрессии
g(x; ) = x0 ) g (x) = x;
т.е. квазирегрессор не зависит от параметра . Однако в общем случае квазирегрессоры зависят от параметров модели. Этот факт усложняет определённые этапы оценивания и инференции.
3Оценивание нелинейным методом наименьших квадратов
Нам известно, что параметр есть решение минимизационной задачи
= arg minE[(y g(x; b))2]:
b
Используя принцип аналогий, получим оценку нелинейного метода наименьших квадратов (НМНК):
n
= arg min 1 X(yi g(xi; b))2:
b n
i=1
Условие первого порядка есть
n
1 X
n
(yi g(xi; b))g (xi; b) = 0:
i=1
Ясно, что явное аналитическое выражение для b получить в общем случае невозможно, поэтому для нахождения НМНК-оценок пользуются численными методами.
Получение НМНК-оценки методом концентрации. Одним из численных методов получения НМНК-оценки является метод концентрации. Разделим параметры задачи на две группы, удовлетворяющие условиям
= ( 10 ; 20 )0; g(x; ) = 10 x( 2):
Грубо говоря, условное среднее линейно по параметрам 1 и нелинейно по параметрам 2. Кроме того, предполагается, что число параметров 2 невелико, чтобы можно было быстро бегать по их сетке.
53
Пример. В качестве примера приведем следующую модель:
g(x; ) = 1 + 2e 3x:
Тогда соответствующее разделение параметров следующее:
1 = ( 1; 2)0; 2 = 3 ) x( 2) = (1; e 2x)0:
В подобных случаях используется двухуровневая процедура оценивания параметров:
|
= arg 2 |
" 1 |
n |
=1 |
|
i |
1 |
i |
2 |
|
# |
|
min |
min |
1 |
n |
(y |
|
0 |
x |
( |
))2 |
: |
|
Xi |
|
|||||||||
b |
|
|
|
|
|
|
|
|
|
|
1.При фиксированном параметре 2 параметр 1 оценивается с помощью МНК:
b1( 2) = (X0( 2)X( 2)) 1X0( 2)Y; X( 2) = (x1( 2); : : : ; xn( 2))0:
2.Численно решается оптимизационная задача
2 = arg |
2 |
"n |
=1 |
|
i |
1 |
i |
2 |
|
# |
|
|
min |
1 |
n |
(y |
|
|
0 |
x |
( |
))2 |
: |
|
Xi |
|
|||||||||
b |
|
|
|
|
|
b |
|
|
|
|
|
Поскольку размерность 2 маленькая, то оптимум легко находится на сетке.
Приведем алгоритм метода концентрации.
Для параметра 2 на некотором интервале [ 2; 2] строится сетка.
Для каждого 2 на этой сетке оценивается b1( 2) с помощью МНК и вычисля-
ется целевое значение n1 Pin=1 |
(yi 1( 2)0xi( 2))2. |
|
b |
Из всех значений 2 на сетке выбирается то, для которого целевое значение наименьшее.
Если необходимо, в окрестности полученного значения 2 строится более мелкая сетка, и процедура повторяется.
Получение НМНК-оценки методом линеаризации. Другим численным методом получения НМНК-оценки является линеаризация условия первого порядка. Допустим, что b1 – начальное предположение о численном значении оцениваемых параметров. Тогда с помощью линеаризации предлагается итеративная процедура перехода bj ! bj+1. Эта процедура продолжается до тех пор, пока для достаточно
54
малого " не будет выполнено условие jbj+1 bjj < ". Более детально: линеаризованное условие первого порядка для НМНК-оценки есть
n
1 X(yi g(xi; bj) g (xi; bj)0(bj+1 bj))g (xi; bj) 0: n
i=1
Вводя обозначение |
=1 g (xi; j)g (xi; j)0! |
|
i=1 g (xi; j)(yi g(xi; j)); |
||||
dj = |
1 |
||||||
|
n |
b |
b |
n |
b |
b |
|
|
Xi |
|
X |
имеем итеративную процедуру в виде
bj+1 = bj + dj:
Если dj слишком велико (процедура не сходится), то выбирается некоторое j 2 [0; 1], такое, чтобы целевая функция была минимальной, а процедура модифицируется как
bj+1 = bj + jdj:
4Асимптотические свойства НМНК-оценки
Определение. Говорят, что задача удовлетворяет условию идентификации, если b = тогда и только тогда, когда g(x; ) = g(x; b) с вероятностью 1.
Если это условие выполнено, то ввиду тождества
E[(y g(x; b))2] = E[(y g(x; ))2] + E[(g(x; ) g(x; b))2]
минимизатор левой части равен истинному значению параметра и определён однозначно.
Примеры.
Рассмотрим линейную модель. Пусть матрица Qxx = E[xx0] невырождена. Тогда при 6= b выполняется соотношение:
E[(x0 x0b)2] = ( b)0Qxx( b) > 0:
Следовательно, x0 6= x0b с вероятностью 1.
Рассмотрим теперь пример, где нет идентификации:
g(x; ) = 1 + 2e 4+ 3x = 1 + elog 2+ 4+ 3x:
Идентифицировать параметры 2 и 4 одновременно невозможно.
55
Определение. Последовательность случайных функций fzi( )gni=1 удовлетворяет равномерному закону больших чисел (РЗБЧ), если
|
|
|
1 |
n |
|
|
|
|
1 |
|
|
n |
|
p |
|
|
|
||||
|
|
|
|
|
|
|
Xi |
|
|
|
|
|
|
|
X |
|
|
|
|
|
|
|
|
|
kn |
( ) |
|
p lim |
n |
( ) |
k ! |
0: |
|
|
|||||||||
|
|
i |
|
|
i |
|
|
||||||||||||||
|
|
sup |
|
|
|
|
z |
|
|
|
|
|
z |
|
|
|
|||||
|
|
|
|
|
|
|
=1 |
|
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
Лемма. |
|
последовательность |
|
zi( ) n |
удовлетворяет РЗБЧ и n |
p |
, то |
||||||||||||||
|
Если |
|
1 |
|
n |
f |
|
p gi=1 |
|
|
1 |
n |
|
|
b |
! |
|
||||
|
|
|
|
|
|
|
X |
b |
|
|
|
|
|
|
Xi |
|
|
|
|
|
|
|
|
|
n |
zi( n) ! p lim |
n |
zi( ): |
|
|
|
||||||||||||
|
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
=1 |
|
|
|
|
|
Доказательство. Запишем последовательность неравенств, воспользовавшись РЗБЧ
и теоремой Манна-Вальда: |
|
|
|
|
|
zi( ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
n |
|
|
|
|
zi( n) p lim n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
1 |
|
n |
|
|
|
|
|
|
1 |
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
X |
|
b |
|
|
|
|
|
|
|
X |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
1 |
|
n |
|
|
|
|
1 |
|
|
n |
|
|
|
|
|
|
|
|
1 |
n |
|
|
|
|
1 |
n |
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
z |
( |
|
) |
|
p lim |
|
|
|
|
|
|
z |
( ) |
|
+ |
|
p lim |
|
z |
( ) |
|
|
p lim |
|
z |
( ) |
|
|
|||||
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
n |
n |
|||||||||||||||||||||||||
n |
|
i=1 |
i |
|
n |
|
|
|
|
|
i=1 |
i |
|
|
|
|
i |
|
|
i |
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
i=1 |
|
n |
|
|
|
i=1 |
|
|
|
||||||||||
|
|
|
|
|
X |
n b |
|
|
|
|
|
|
|
|
X |
|
|
|
|
|
|
X |
|
|
|
|
|
X |
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
n |
|
|
|
|
n |
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
b |
|
1 |
|
|
b |
|
|
1 |
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
i |
|
|
|
|
|
i |
|
|
|
|||
|
|
|
n |
i=1 |
|
|
|
|
|
|
|
|
n |
i=1 |
|
|
n |
|
|
n |
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i=1 |
|
n |
|
|
|
i=1 |
|
|
|
|||||||
|
sup |
|
|
|
X |
z ( ) |
|
p lim |
|
|
|
X |
z ( ) |
|
+ |
|
p lim |
|
X |
|
|
|
p lim |
|
X |
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
z ( ) |
|
|
z ( ) |
|
||||||||||||||||||||||||
|
p |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
0: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
! |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
b |
|
|
|
|
|
|
|
Как следствие, при выполнении РЗБЧ для соответствующих слагаемых имеем со-
стоятельность следующих оценок:
1 |
n |
|
p |
1 |
n |
|
p |
||
b |
|
X |
b |
|
b |
|
Xi |
b |
b |
|
|
|
|||||||
Qe2xx = n |
i=1 |
xixi0ei2 |
! Qe2xx; Qgg = n |
=1 |
g (xi; )g (xi; )0 ! Qgg; |
||||
|
|
|
|
|
|
|
|
где Qgg = E[g (x; )g (x; )0]:
Теорема. Пусть выполнены следующие требования:
1.Выполнено условие идентификации;
2.Функция g(x; ) дважды непрерывно дифференцируема по b;
3.Для следующих последовательностей выполняется РЗБЧ:
|
(yi g(xi; ))2; g (xi; )g (xi; )0; (yi g(xi; )) |
@g (xi; ) |
; |
|
@ 0 |
||
4. |
Матрица Qgg = E[g (x; )g (x; )0] невырождена; |
|
|
5. |
Матрица Qe2gg = E[g (x; )g (x; )0e2] существует. |
|
|
56
Тогда НМНК-оценка состоятельна и асимптотически нормальна:
p ; pn( ) d (0; Q 1Q Q 1):
b ! b ! N gg e2gg gg
Доказательство.
1. Состоятельность: Для любого " > 0 с вероятностью, стремящейся к 1 при n ! 1, имеем:
|
1 |
|
|
n |
|
|
|
|
|
|
|
1 |
n |
|
|
" |
|
|||||
|
|
|
|
Xi |
b |
|
|
|
|
|
X |
|
|
|
|
|
|
|||||
|
n |
=1 |
(yi g(xi; ))2 < |
n |
|
(yi g(xi; ))2 + |
3 |
; |
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
||||
так как оценка минимизирует |
1 |
|
n |
|
(yi |
|
g(xi; b))2: |
Поскольку РЗБЧ выпол- |
||||||||||||||
|
|
|
|
|
||||||||||||||||||
няется для (yi |
|
g(xi; ))2, |
n Pi=1 |
|
|
|
||||||||||||||||
|
b |
|
|
|
|
|
|
|
1 |
|
|
n |
|
|
|
" |
|
|
|
|||
|
|
|
E[(y g(x; ))2] < |
|
|
(yi g(xi; ))2 + |
: |
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
n |
|
=1 |
3 |
|
|||||||||||||||
|
|
|
|
|
|
|
b |
|
|
|
|
|
b |
|
|
|
|
|
||||
Аналогично, |
|
|
|
|
|
n |
|
|
|
Xi |
|
|
|
|
|
|
||||||
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
" |
|
|
|
||
|
|
|
|
|
Xi |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
g(xi; ))2 < E[(y g(x; ))2] + 3: |
|||||||||||||||||
|
|
|
|
n |
(yi |
=1
Суммируя эти три неравенства, получаем:
E[(y g(x; b))2] < E[(y g(x; ))2] + ":
Теперь определим ". Для этого выберем открытую окрестность , N( ). По-
скольку решает задачу на минимум, должно быть выполнено следующее со-
отношение: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
b |
inf |
E[(y |
|
g(x; b))2] > E[(y |
|
|
g(x; ))2 |
]: |
||||||||||||
|
2 |
N( )c |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Выберем следующее ": |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
" |
= b |
|
inf |
E[(y |
|
g(x; b))2] |
|
E[(y |
|
g(x; ))2]; |
|||||||||||
|
2 |
N( )c |
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
тогда выполнено следующее соотношение: |
|
|
|
|
|
|
|
||||||||||||||
|
E |
[( |
y |
|
g |
x; |
2 |
|
< |
inf |
E[(y |
|
g(x; b))2 |
]; |
|||||||
|
|
|
|
|
( |
|
b)) ] |
|
b2N( )c |
|
|
|
|
p
что означает, что b 2 N( ). Следовательно, b ! .
2. Асимптотическая нормальность: Разложим условие первого порядка в ряд Тэйлора вокруг :
1 |
n |
|
|
|
|
|
||
|
|
Xi |
(yi g(xi; ))g (xi; ) + |
|
|
|
||
|
n |
=1 |
|
|
|
|||
+ n |
"(yi g(xi; )) |
@ i0 |
g (xi; )g (xi; )0#( ) = 0; |
|||||
=1 |
||||||||
1 |
n |
@g |
(x ; ) |
|
|
|
||
|
|
Xi |
e |
e |
e |
e |
b |
57
|
|
|
|
|
|
|
|
покомпонентно. Следовательно, |
||||
где |
e |
лежит между |
1 |
|
иnb |
@g (x ; ) |
|
|||||
|
|
|
|
|
|
|
|
|||||
pn( ) = ( |
|
|
=1 "(yi g(xi; )) |
i |
|
g (xi; |
||||||
n |
|
@ 0 |
||||||||||
|
|
b |
|
|
|
|
|
Xi |
e |
|
||
|
|
1 |
|
n |
e |
d |
|
|||||
|
|
|
|
|
|
Xi |
|
|
|
|||
|
|
|
p |
n |
|
|
|
(yi g(xi; ))g (xi; ) ! |
|
|||
|
|
|
|
|
|
=1 |
|
|
|
#) 1
e)g (xi; e)0
d |
E |
(y g(x; )) |
@g (x; ) |
g (x; )g (x; )0 |
1 |
! |
|
N (0; Qe2gg) |
|||
@ 0 |
= N 0; Qgg1Qe2ggQgg1 :
Теорема доказана.
Рассмотрим специальный случай условной гомоскедастичности:
E[e2jx] = 2 = const:
Как и для линейной модели, имеет место упрощение:
2 |
2 |
Qgg |
p |
|
d |
2 |
1 |
|
|||||||
Qe |
gg = |
) |
n(b ) ! N(0; |
Qgg ): |
5Асимптотическая эффективность и ВНМНК-оценка
НМНК-оценку можно рассматривать как аналоговую оценку, полученную из условия
E[eg (x; )] = 0. Можно построить другую аналоговую оценку, несколько изменив условие нескоррелированности:
E e |
g (x; ) |
|
= 0: |
|
2(x) |
||||
|
|
Это условие следует из регрессионного предположения. Согласно принципу аналогий
n
1 X
n
(yi
i=1
g(xi; )) |
g (xi; ) |
= 0: |
2(xie) |
||
e |
|
|
Решение e, полученное из этого уравнения, является оценкой взвешенного нелинейного метода наименьших квадратов (ВНМНК-оценкой). Она решает минимизационную задачу
|
= arg min |
1 |
n |
|
(yi g(xi; b))2 |
; |
|||||
|
|
|
|
|
|||||||
|
|
b |
n |
Xi |
|
|
|
||||
|
|
=1 |
|
2(xi) |
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
состоятельна и |
асимптотически нормальна: |
|
|
|
|||||||
e |
|
|
|
|
|
|
|
|
|
|
|
|
p |
p |
|
|
|
|
|
d |
|
1 |
|
|
|
n(e |
|
|
|
||||||
|
e ! ; |
|
) ! N(0; Q |
2 ); |
|||||||
|
|
|
|
|
|
|
|
|
gg |
|
58
Q gg = E g (x; )g (x; )0 :
2 2(x)
В условиях условной гетероскедастичности ВНМНК-оценка более асимптотически эффективна по сравнению с НМНК, точно так же как ОМНК по сравнению с МНК для линейной регрессии. Можно ещё утверждать, что ВНМНК-оценка e является асимптотически эффективной в классе оценок, удовлетворяющих условию
n
1 X
n
(yi g(xi; bIV ))zi = 0;
i=1
где zi – произвольная функция от xi, имеющая ту же размерность k 1.
6Приложение: модель бинарного выбора
Рассмотрим следующую нелинейную модель:
yi = ( |
0 |
иначеi0 |
; i |
eijxi N(0; 1): |
|
1 |
x + e |
0; |
Найдём форму регрессии:
E[yjx] = P fx0 + e 0jxg = P fe x0 jxg = (x0 ):
Видно, что регрессия нелинейная. НМНК-оценка в этом случае есть
|
|
|
|
|
|
|
min |
1 |
|
n |
(y |
|
|
(x0b))2 |
|
|
|
|
|||||||
|
|
|
|
|
Xi |
|
|
|
|
|
|
||||||||||||||
|
|
|
b |
= arg |
|
b |
n |
|
i |
|
|
i |
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
=1 |
|
|
|
|
|
|
|
|
|
|
|
|
с асимптотическими свойствами |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
p |
p |
|
|
|
|
|
|
|
|
d |
|
|
|
|
1 |
2 |
|
|
1 |
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
где |
b ! ; |
n(b ) ! N(0; Qgg |
Qe ggQgg ); |
|
|
||||||||||||||||||||
g (x; ) = f(x0 )x; Qgg = E[f(x0 )2xx0]; Qe2gg = E[f(x0 )2(y (x0 ))2xx0]: |
|||||||||||||||||||||||||
Асимптотически эффективная ВНМНК-оценка есть |
|
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
1 n |
(y |
i |
(x0b))2 |
|
|
|
|
||||||||||
|
|
= arg min |
|
|
|
|
|
|
|
|
|
i |
|
|
; |
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
e |
|
b |
n |
=1 |
(xi0 )(1 |
|
(xi0 |
)) |
|
|
|||||||||||||
ибо |
|
|
|
|
|
|
|
Xi |
|
b |
|
|
|
|
b |
|
|
||||||||
|
2(x) = V ar[yjx] = (x0 )(1 (x0 )) 6= const: |
|
|
||||||||||||||||||||||
Выведем её асимптотические свойства: |
|
|
|
|
|
|
|
|
|
(x0 0 )) |
! |
|
|||||||||||||
! ; |
pn( ) ! N |
|
0; E (x0 )(10 |
|
: |
||||||||||||||||||||
p |
|
|
|
|
d |
|
|
|
|
|
|
|
|
|
|
|
f(x )2xx |
1 |
|
||||||
e |
|
|
e |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
59
7Инференция при неидентифицированности некоторых параметров при нулевой гипотезе
В нелинейных моделях может сложиться особая ситуация, когда тестирование статистических гипотез нестандартно. Рассмотрим два примера.
Пример 1. Регрессия с гладкими порогами:
1
y = ( 1 + 2x) + ( 3 + 4x)1 + ex 5 + e; E[ejx] = 0:
Если нулевая гипотеза состоит в том, что 3 = 4 = 0 (т.е. тестируется линейность модели), то при этой нулевой гипотезе параметр 5 неидентифицируем.
Пример 2. Рассмотрим следующую разновидность ARCH-M модели:
yt = 0 + x0t 1 + t2 + et; E[etjIt 1] = 0; E[e2t jIt 1] = t2 = 0 + 1e2t 1:
Если нулевая гипотеза состоит в отсутствии ARCH эффекта, т.е. H0 : 1 = 0, то при нулевой гипотезе параметр неидентифицируем, так как условная дисперсия постоянна и её влияние поглощается свободным членом 0.
В таких ситуациях стандартная тестовая статистика (например, t или Вальдовская) асимптотически распределена не так, как мы привыкли, т.е. не как стандартно нормальная или хи-квадрат случайная величина. Вот как обычно решается подобная проблема. Пусть = ( 10 ; 20 )0, где 1 идентифицируется при нулевой гипотезе, а 2
– нет. Построим Вальдовскую статистику W ( 2) для всех возможных значений 2. Тогда “суп-Вальдовская” статистика
sup W = supW ( 2)
2
сходится к некоторому нестандартному распределению, которое получают с помощью симуляций.
Помимо приведённых выше, примерами являются тестирование на линейность самовозбуждающихся пороговых авторегрессий и тестирование на отсутствия структурных сдвигов.
60