1.3.Метод покоординатного спуска.

Желание уменьшить объем вычислительной работы, требуемой для осуществления одной итерации метода наискорейшего спуска, привело к созданию методов покоординатного спуска.

Пусть - начальное приближение. Вычислим частную производную по первой координате и примем:

где е₁={1,0,…,0}^T – единичный вектор оси х⁽¹⁾. Следующая итерация состоит в вычислении точки х₂по формуле:

где е₂={0,1,0,…,0}^T – единичный вектор оси х⁽²⁾и т. д.

Таким образом, в методах координатного спуска мы спускаемся по ломанной, состоящей из отрезков прямых, параллельных координатным осям.

х⁽²⁾

Спуск по всем координатам составляет одну «внешнюю» итерацию. Пусть к – номер очередной внешней итерации, а j– номер той координаты, по которой производится спуск. Тогда формула, определяющая следующее приближение к точке минимума, имеет вид:

где к=0,1,2,… ; j=1,2,…n.

В координатной форме формула выглядит так:

После j=n счетчик числа внешних итераций к увеличивается на единицу, аj принимает значение равное единице.

Величина шага _квыбирается на каждой итерации аналогично тому, как это делается в градиентных методах. Например, если_к=постоянно, то имеем покоординатный спуск с постоянным шагом.

Схема алгоритма покоординатного спуска с постоянным шагом

Шаг 1.

При к=0 вводятся исходные данные х₀,₁,.

Шаг 2.

Осуществляется циклический поj(j=1,2,…,n) покоординатный спуск из точки х_kn по формуле:

Шаг 3.

Если||x_(k+1)n – x_kn||₁, то поиск минимума заканчивается, причем:

Иначе к=к+1 и переходим к шагу 2.

Если же шаг_квыбирается из условия минимума функции:

то мы получаем аналог метода наискорейшего спуска, называемый обычно методом Гаусса – Зейделя.

Схема метода Гаусса – Зейделя

Шаг 1.

При к=0 вводятся исходные данные х₀,₁.

Шаг 2.

Осуществляется циклический поj (j=1,2,…,n) покоординатный спуск из точки х_kn по формулам:

где _kn+j-1 является решением задачи одномерной минимизации функции:

Шаг 3.

Если||x_(k+1)n – x_kn||₁, то поиск минимума заканчивается, причем:

Иначе к=к+1 и переходим к шагу 2.

1.4. Методы оврагов

1.4.1. Общая характеристика.

Градиентные методы медленно сходятся в тех случаях, когда поверхности уровня целевой функции f(x) сильно вытянуты. Этот факт известен в литературе как «эффект оврагов». Суть эффекта в том, что небольшие изменения одних переменных приводят к резкому изменению значений функции – эта группа переменных характеризует «склон оврага», а по остальным переменным, задающим направление «дно оврага», функция меняется незначительно. На рисунке изображены линии уровня «овражной» функции траектория градиентного метода характеризуется довольно быстрым спуском на «дно оврага», и затем медленным зигзагообразным движением в точку минимума.

Существуют различные подходы для определения точки минимума функции f(x)в овражной ситуации. Большинство из них основаны на эвристических (то есть интуитивных, не обоснованных строго) соображениях. Их можно применять в ситуациях, когда применение более совершенных методов невозможно или нецелесообразно, например, значение целевой функции вычисляется со значительными погрешностями, информация о ее свойствах недостаточна, и т. д. Эти методы просты в реализации и довольно часто применяются на практике, позволяя в ряде случаев получить удовлетворительное решение задачи.