11.4. Методы, предполагающие линеаризацию целевой функции

В основе методов оценки параметров эконометрической модели, предполагающих линеаризацию целевой функции, т. е. суммы квадратов ошибки модели S²(a,х) по переменным a₀, a₁,...,a_п, лежат свойства ее градиента S², согласно которым направление этого вектора в произвольной многомерной точке пространства параметров a₀^j, a₁^j,...,a_п^j   указывает направление наибольшего роста функции S²(a, х) в этой точке. Соответственно противоположный вектор указывает на направление наибольшего уменьшения (наискорейшего спуска).

Здесь следует подчеркнуть, что направление наискорейшего спуска в некоторой точке пространства параметров не обязательно указывает на точку оптимума функции S². Однако двигаясь в этом направлении, можно попасть в следующую точку, в которой направление движения уточняется. А результате последовательность точек должны привести к искомому решению.

Градиент целевой функции S²(a, х) в произвольно выбранной исходной (нулевой) точке пространства параметров a₀⁰, a₁⁰,..., a_п⁰   может быть определен на основе ее разложения в ряд Тейлора первого порядка:

 

 

где S₀²=S²(a⁰, х) – значение суммы квадратов ошибки модели в точке пространства ее параметров a⁰;  – первая производная функции S²(a, х)  по параметру a_i в точке a⁰; a_i – a_i⁰ – прирост i-го параметра.

Координаты вектора –S²(a⁰, х), сформированного на основании составляющих правой части выражения (11.25) как

 

 

определяют направление наискорейшего спуска (направление оптимального движения к точке минимума S²(a, х) по оценкам параметров эконометрической модели).

Прямое использование выражения (11.26) при определении “оптимальных” оценок  a₀, a₁,..., a_п, минимизирующих сумму квадратов ошибок модели, лежит в основе метода наискорейшего спуска. Согласно этому методу оптимальные оценки находятся на основе итеративной процедуры расчетов последовательности таких оценок a⁰, a¹,..., a^j, в которой каждая следующая оценка лежит на направлении наискорейшего спуска, определенного в предыдущей точке.

Направление движения, например, из начальной точки a⁰ указывает единичный вектор, определяемый следующим выражением:

 

 

Например, если для модели с двумя параметрами a₀ и a₁ градиент функции S²(a₀⁰, a₁⁰) равен

 

S²(a⁰)=3a₀⁰–2a₁⁰,

 

то соответствующий единичный вектор определяется как

 

 

и соответственно пропорции приростов значений параметров a₀⁽¹⁾ и a₁⁽¹⁾ должны быть равны 

На практике оценку a_i^(j), i=0,1,...,п согласно методу наискорейшего спуска определяют с помощью выражения, аналогичного (11.19)

 

a_i^(j)=a_i^(j –1)+h_i^(j)a_i^(j),                                (11.28)

 

где h_i^(j) – множитель, оптимизирующий размер прироста параметра j-м шаге расчетов.

Некоторые недостатки метода наискорейшего спуска обусловлены зависимостью направления движения от формы поверхности S²(a). Поскольку направление “наискорейшего спуска” в каждой точке пространства параметров a указывает не на место расположения минимума суммы квадратов ошибки, а лишь на направление ее наибольшего убывания в этой точке, то в случае “неправильных” (существенно отличающихся от “шарообразных”) форм поверхности S²(a) метод наискорейшего спуска “выбирает” достаточно продолжительный маршрут движения к оптимуму.

Для ускорения этого движения Макуардт предложил комбинированный (компромиссный) метод оценки параметров эконометрической модели, объединяющий идеи методов Гаусса-Зайделя и наискорейшего спуска. В его основе лежат два следующих замечания. Во-первых, вектор приростов параметров на j-м  шаге расчетов по методу наискорейшего спуска можно представить в следующем виде:

 

 

Во-вторых, заметим, что производные функции S²(a^(j–1)) по своим аргументам a₀^j–1, a₁^j–1,..., a_п^j–1  равны компонентам вектора       (Х_j–1·g^j–1) из правой части выражения (11.22):

 

 

где z_i^(j–1) – i-я компонента вектора Х_j–1g^j–1, полученная на j-м шаге расчетов.

С учетом (11.29) вектор приростов параметров на j-м шаге расчетов находится как

 

 

где  – константа.

Сопоставим выражения (11.22) и (11.31). Получим

 

 

Макуардт объединил оба выражения из (11.32) в одно:

 

 

где Е – единичная матрица, и предложил выбирать множитель ^(j), регулирующий длину прироста параметров j-м шаге расчетов, исходя из свойств функцииS²(a^(j –1)). Логика такого выбора определяется следующими соображениями. Если матрица   плохо обусловлена, где, напомним, матрица   в данном случае определена выражением (11.20), то ^(j)  должно быть выбрано достаточно большим и в этом случае приросты параметров в большей степени соответствуют их оценкам, полученным по методу наискорейшего спуска. При хорошей обусловленности матрицы  , свидетельствующей о быстрой сходимости метода Гаусса-Зайделя, значение ^(j)  выбирается относительно небольшим. Промежуточные значения ^(j) характеризуют направление движения к минимуму, полученное как комбинация направлений, определенных с помощью методов Гаусса-Зайделя и наискорейшего спуска.

В окрестности минимума метод Макуардта, как и другие методы, уменьшает длину прироста параметров.

Заметим, что методы, основанные на линеаризации суммы квадратов ошибки эконометрической модели, также как и другие итеративные методы поиска оптимальных оценок ее параметров, могут привести к решению, соответствующему локальному оптимуму. Для определения глобального минимума необходимо, как и в случае других методов, решить задачу оценки с использованием разных вариантов исходных точек a⁰, соответствующих разным участкам допустимой области существования искомых значений параметров.