T |
|
|
|
|
(0) |
|
|
f |
t |
|
|
(1) |
|
|
f |
t |
|
(1) |
|
|
f |
t |
|
0; |
|
|
|
y |
|
f |
|
|
|
|
|
|
|
|
|
|
|
|
t |
t |
|
|
|
|
|
a |
|
|
|
an |
|
|
|
|
|
|
t 1 |
|
|
|
|
|
a0 |
0 |
|
0 |
|
an |
0 |
|
|
a0 |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- - |
- |
- |
|
- |
- |
|
- |
- |
|
- |
- |
- |
- |
- |
|
- |
- |
- - |
- |
- |
- |
- |
- |
- |
(11.20) |
T |
|
|
|
|
(0) |
|
|
f |
t |
|
|
(1) |
|
|
f |
t |
|
(1) |
|
|
f |
t |
|
0. |
|
|
|
y |
|
f |
|
|
|
|
|
|
|
|
|
|
|
|
t |
t |
|
|
|
|
|
a |
|
|
|
an |
|
|
|
|
|
|
t 1 |
|
|
|
|
|
a0 |
0 |
|
0 |
|
an |
0 |
|
|
an |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Обозначив уt–ft0=gt0, сформируем вектор-столбец g0=(g10,...,gЕ0) с Т
компонентами. Из производных
вида:
|
|
|
f |
1 |
f |
1 |
... |
f |
|
|
|
|
|
|
|
|
a0 |
a1 |
a |
~ |
|
|
|
... |
|
... ... ... |
X |
0 |
|
|
|
f |
|
f |
|
|
f |
|
|
T |
T |
... |
|
|
|
|
|
|
|
|
a0 |
a1 |
a |
|
|
|
размера T (п+1).
Из приростов ai(1) сформируем вектор-столбец a(1)=( a0(1),..., aп(1)) .
Несложно заметить, что с учетом этих обозначений систему (11.20) можно представить в следующем виде:
~ |
~ |
) a |
(1) |
~ |
0 |
). |
(11.22) |
( X |
' X |
|
( X |
' g |
0 |
0 |
|
|
0 |
|
|
|
Из (11.22), в сою очередь, вытекает, что оценки приростов параметров a(1)
на первом шаге расчетов находятся из векторно-матричного выражения,
имеющего характерный вид:
a |
(1) |
~ |
~ |
) |
1 |
~ |
0 |
. |
(11.23) |
|
( X |
' X |
|
X |
' g |
|
|
0 |
0 |
|
|
0 |
|
|
|
3. Определив на основе полученных приростов ai(1), i=0,1,...,п оценки параметров эконометрической модели ai1=ai0+ ai1, проделаем ту же процедуру расчетов для получения новых приближений этих оценок.
Заметим, что различные модификации метода Гаусса-Зайделя допускают расчет новых значений оценок на основе следующего выражения:
ai(j)=ai(j –1)+hi(j) ai(j), |
(11.24) |
где hi(j) – так называемый “ускоряющий” множитель, вводимый для сокращения числа шагов при поиске минимума функции S2 по параметрам эконометрической модели.
Его значение выбирается с учетом величины угла наклона функции S2 в
точке aij. В области минимума функции S2(ai) длину шага уменьшают, чтобы получить “наилучшую” оценку параметров.
11.4.Методы, предполагающие линеаризацию целевой функции
Воснове методов оценки параметров эконометрической модели,
предполагающих линеаризацию целевой функции, т. е. суммы квадратов ошибки модели S2(a, х) по переменным a0, a1,...,aп, лежат свойства ее градиента S2, согласно которым направление этого вектора в произвольной
многомерной точке пространства параметров a0j, a1j,...,aпj указывает направление наибольшего роста функции S2(a, х) в этой точке.
Соответственно противоположный вектор указывает на направление наибольшего уменьшения (наискорейшего спуска).
Здесь следует подчеркнуть, что направление наискорейшего спуска в некоторой точке пространства параметров не обязательно указывает на точку оптимума функции S2. Однако двигаясь в этом направлении, можно попасть в следующую точку, в которой направление движения уточняется. А
результате последовательность точек должны привести к искомому
решению.
Градиент целевой функции S2(a, х) в произвольно выбранной исходной
(нулевой) точке пространства параметров a00, a10,..., aп0 может быть определен на основе ее разложения в ряд Тейлора первого порядка:
|
|
|
n |
|
S |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
S |
2 |
2 |
|
|
|
(ai ai |
0 |
), |
(11.25) |
|
(a, x) S 0 |
ai |
|
|
|
|
i 1 |
0 |
|
|
|
где S02=S2(a0, х) – значение суммы квадратов ошибки модели в точке
пространства ее параметров a0;
– первая производная функции S2(a, х)
0
по параметру ai в точке a0; ai – ai0 – прирост i-го параметра.
Координаты вектора – S2(a0, х), сформированного на основании
составляющих правой части выражения (11.25) как
|
|
|
|
|
|
S |
2 |
|
|
|
|
S |
2 |
|
|
|
|
S |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
S |
2 |
(a |
0 |
, x) |
|
|
|
a0 |
|
|
|
|
a1 |
... |
|
|
an , (11.26) |
|
|
a0 |
|
a1 |
|
an |
|
|
|
|
|
0 |
|
|
0 |
|
|
0 |
определяют направление наискорейшего спуска (направление оптимального движения к точке минимума S2(a, х) по оценкам параметров эконометрической модели).
Прямое использование выражения (11.26) при определении
“оптимальных” оценок a0, a1,..., aп, минимизирующих сумму квадратов ошибок модели, лежит в основе метода наискорейшего спуска. Согласно этому методу оптимальные оценки находятся на основе итеративной процедуры расчетов последовательности таких оценок a0, a1,..., aj, в которой каждая следующая оценка лежит на направлении наискорейшего спуска,
определенного в предыдущей точке.
Направление движения, например, из начальной точки a0 указывает единичный вектор, определяемый следующим выражением:
|
|
|
|
|
|
|
|
S 2 |
a0 |
0 |
... |
S 2 |
0 |
|
|
|
|
S 2 |
(a 0 |
, x) |
|
a0 |
|
an 0 |
an |
E(a |
0 |
) |
|
|
0 |
|
|
|
|
. (11.27) |
|
S 2 (a 0 |
|
|
|
|
|
|
|
|
|
|
|
|
, x) |
|
|
|
S 2 2 |
... |
|
S 2 |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
a0 |
|
an |
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
0 |
|
|
где hi(j)
Например, если для модели с двумя параметрами a0 и a1 градиент функции
S2(a00, a10) равен
S2(a0)=3 a00–2 a10,
то соответствующий единичный вектор определяется как
0 |
2 |
|
S 2 (a 0 ) |
|
|
3 |
|
0 |
|
2 |
|
0 |
E(a0 |
, a1) |
|
|
|
|
|
|
|
a0 |
|
|
|
|
a1 |
|
S 2 (a 0 ) |
|
|
|
|
|
|
|
|
|
13 |
13 |
|
|
|
|
|
|
|
|
и соответственно пропорции приростов значений параметров a0(1) |
и a1(1) |
|
|
|
|
|
|
должны быть равны 3 / 13 и 2 / 13. |
|
На практике оценку ai(j), i=0,1,...,п согласно методу наискорейшего спуска
определяют с помощью выражения, аналогичного (11.19) |
|
ai(j)=ai(j –1)+hi(j) ai(j), |
(11.28) |
– множитель, оптимизирующий размер прироста параметра j-м шаге расчетов.
Некоторые недостатки метода наискорейшего спуска обусловлены зависимостью направления движения от формы поверхности S2(a).
Поскольку направление “наискорейшего спуска” в каждой точке пространства параметров a указывает не на место расположения минимума суммы квадратов ошибки, а лишь на направление ее наибольшего убывания в этой точке, то в случае “неправильных” (существенно отличающихся от
“шарообразных”) форм поверхности S2(a) метод наискорейшего спуска
“выбирает” достаточно продолжительный маршрут движения к оптимуму.
Для ускорения этого движения Макуардт предложил комбинированный
(компромиссный) метод оценки параметров эконометрической модели,
объединяющий идеи методов Гаусса-Зайделя и наискорейшего спуска. В его
основе лежат два следующих замечания. Во-первых, вектор приростов параметров на j-м шаге расчетов по методу наискорейшего спуска можно представить в следующем виде:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
S |
2 |
(a |
( j 1) |
) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
a |
( j 1) |
|
|
|
|
|
|
|
|
|
|
|
j |
( S |
2 |
|
|
( j 1) |
|
|
|
|
|
|
j |
|
|
|
( j) |
|
h |
(a |
)) |
|
|
|
|
|
h |
|
|
a |
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
S |
2 |
(a |
( j |
1) |
) |
|
S |
... |
( j 1) |
S |
2 |
(a |
( j 1) |
. (11.29) |
|
|
|
|
|
|
|
2 |
(a |
) |
) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
a |
( j 1) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
Во-вторых, заметим, что производные функции S2(a(j–1)) по своим
аргументам a0j–1, a1j–1,..., aпj–1 |
|
равны компонентам вектора |
(Хj–1 ·gj–1) из |
правой части выражения (11.22): |
|
|
|
|
|
|
|
|
|
|
S |
2 |
(a) |
|
T |
|
|
|
f (a) |
|
|
|
|
|
|
j 1 |
|
|
( j 1) |
|
|
|
|
2 |
[yt |
f t (a |
, x)] |
|
zi |
, (11.30) |
|
ai |
|
ai |
|
|
j 1 |
t 1 |
|
|
|
j 1 |
|
|
где zi(j–1) – i-я компонента вектора Хj–1 gj–1, полученная на j-м шаге расчетов.
С учетом (11.29) вектор приростов параметров на j-м шаге расчетов находится как
|
|
|
|
h |
j |
|
|
|
|
|
|
z |
|
|
|
|
|
|
|
|
z / j . |
(11.31) |
|
|
2 |
S |
2 |
(a |
( j 1) |
) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Сопоставим выражения (11.22) и (11.31). Получим
~ |
~ |
( j) |
z; |
|
( X( j 1) ' X( j 1) ) a |
|
|
|
|
( j) a( j) z. |
(11.32) |
Макуардт объединил оба выражения из (11.32) в одно:
где Е – единичная матрица, и предложил выбирать множитель (j),
регулирующий длину прироста параметров j-м шаге расчетов, исходя из свойств функции S2(a(j –1)). Логика такого выбора определяется следующими
|
соображениями. Если |
матрица |
~ |
( j 1) |
~ |
( j 1) |
|
плохо обусловлена, где, |
|
( X |
' X |
) |
|
|
|
|
|
|
|
|
напомним, матрица |
~ |
в данном случае определена выражением (11.20), то |
|
X |
(j) должно быть выбрано достаточно большим и в этом случае приросты
параметров в большей степени соответствуют их оценкам, полученным по
|
методу |
наискорейшего спуска. |
При хорошей обусловленности |
матрицы |
|
~ |
( j 1) |
~ |
( j 1) |
|
, свидетельствующей |
о быстрой сходимости метода |
Гаусса- |
|
( X |
' X |
) |
|
|
|
|
|
|
Зайделя, значение (j) выбирается относительно небольшим. Промежуточные значения (j) характеризуют направление движения к минимуму, полученное как комбинация направлений, определенных с помощью методов Гаусса-
Зайделя и наискорейшего спуска.
В окрестности минимума метод Макуардта, как и другие методы,
уменьшает длину прироста параметров.
Заметим, что методы, основанные на линеаризации суммы квадратов ошибки эконометрической модели, также как и другие итеративные методы поиска оптимальных оценок ее параметров, могут привести к решению,
соответствующему локальному оптимуму. Для определения глобального минимума необходимо, как и в случае других методов, решить задачу оценки с использованием разных вариантов исходных точек a0, соответствующих разным участкам допустимой области существования искомых значений параметров.
11.5. Качественные характеристики оценок параметров нелинейных
эконометрических моделей
Помимо определения точечных значений оценок параметров нелинейных эконометрических моделей в эконометрических исследованиях большое внимание уделяется и поиску их интервальных характеристик, по величине которых можно судить о качестве построенного варианта эконометрической модели. Напомним, что совокупность интервальных характеристик параметров линейных эконометрических моделей можно определить на основе элементов ковариационной матрицы их оценок, определенных для независимых и гомоскедастичных ошибок выражением (2.18)
Cov(a)= 2 (X X)–1,
где Х – матрица значений независимых параметров.
Для нелинейной эконометрической модели в аналитическом виде получить аналог выражению (2.18) не представляется возможным. Однако можно определить некоторое приближение ковариационной матрицы оптимальных оценок параметров модели в области минимума суммы квадратов ошибки.
Для этого разложим нелинейный функционал модели в окрестности точки оптимума параметров a* в ряд Тейлора. В результате в соответствии с выражениями (11.19)–(11.23) получим
где f* – вектор расчетных значений функционала f( , х) в точке параметров a*, принадлежащей окрестности оптимума; Х* – матрица производных ft
/ ai, определенная согласно выражению (11.21) в точке a*, – ошибка разложения.
Перепишем выражение (11.34) в следующем виде:
g= ~ X
где вектор g определяется согласно выражению:
g=у– f*( ,
Несложно заметить, что все компоненты вектора g в точке a* известны. Из этого вытекает, что в окрестности оптимума нелинейная эконометрическая модель может быть представлена в линейной форме записи (11.35).
В соответствии с этим, согласно выражению (2.18), ковариационная матрица оптимальных оценок параметров модели a может быть представлена в следующем приближенном виде:
Приближенный характер матрицы Cov(a) обусловлен использованием аппроксимирующего приближения Тейлора для нелинейной модели и соответствующей ему точки a* из окрестности оптимума (а также матрицы
|
~ |
* ). В этом случае, также как и в случае выражения (2.34), можно показать, |
|
X |
|
|
что найденные оценки a при Т являются приблизительно состоятельными, а их распределение является асимптотически нормальным
a |
|
2 |
|
|
|
1 |
a N ( , |
|
Q |
T |
|
|
), |
|
|
|
|
|
|
|
где |
|
|
|
|
|
|
|
|
X |
|
' |
X |
* |
|
Q plim |
* |
|
|
. |
|
T |
|
|
|
|
|
|
|
|
|
Вопросы к главе XI
1. Каковы причины нелинеаризуемости моделей?
2.По каким признакам классифицируются методы оценки параметров нелинейных моделей?
3.Охарактеризуйте методы с производными и методы без производных?
4.Опишите процедуру прямого поиска.
5.В чем состоит суть методов Гаусса?
6.Опишите градиентные методы оценки параметров нелинейной модели
иособенности представления целевой функции.
Упражнения к главе XI
Задание 11.1
Имеется нелинейное однофакторное уравнение регрессии
y=f(x)+= e x+ .
Требуется разложить функцию f(x) в ряд Тейлора второго порядка в точке x0=0 и определить, чему равен предел разложения в ряд n-го порядка при n ?
Задание 11.2
Имеется нелинейное однофакторное уравнение регрессии
Требуется записать систему нормальных уравнений для определения оценок параметров 0, 1 и 2.
Задание 11.3
Имеется нелинейное уравнение регрессии
y |
t |
|
0 |
( x |
) ( x |
2t |
|
) |
, |
|
|
1t |
1 |
2 |
t |
|
Требуется записать “псевдолинейную” модель.
Задание 11.4
Имеется нелинейная однофакторная регрессионная модель
yt xt t ,
где t~(0, 2).
Требуется:
1.Вывести рекурсивные формулы для алгоритма Ньютона-Рафсона.
2.Показать, что выполняется следующее равенство:
T
M[d 2 S / d 2] 2 [df ( xt , ) / d ]2 2 z( )' z( ),
t 1
где S – сумма квадратов остатков.
Задание 11.5
Имеется нелинейное однофакторное уравнение регрессии
где t~N(0, 2).
Требуется показать, что оценка |
~ |
a |
правдоподобия совпадает с оценкой нелинейного МНК в модели
параметра по методу максимума a, определенной с использованием
yt f ( xt , ) t ,
где t~(0, 2).