7.2.2.Анализ сходимости метода

Анализ сходимости метода показывает, что при , направление будет направлением убывания , т.к. , причём угол между и всегда далёк от прямого.

Поэтому комбинация любого из рассмотренных методов выбора шага и даёт глобально сходящийся алгоритм безусловной минимизации.

7.2.3.Траектория поиска

Траектория поиска для двумерной квадратичной функции может быть следующей (Рис 7.1)

а) б)

Рис.7.1.

Легко заметить, что смежные направления поиска ортогональны, при этом вектор параллелен вектору , а вектор параллелен вектору , и т.д.

Этот результат является основой метода параллельных касательных, применение которых позволяет несколько ускорить оптимальный градиентный метод.

7.2.4.Выводы

Анализ итерационной схемы и скорости сходимости метода, а также траектории движения к стационарной точке , позволяет сформулировать три основные группы выводов.

1.В малой окрестности точки оценки начинают приближаться к нулю. Поэтому на точности оценивания начнёт все более сказываться точность оценивания шага . А из этого следует подтверждённый практикой вывод: в окрестности стационарной точки оптимальный градиентный метод неэффективен.

Поэтому при замедлении поиска рационально переключиться на другие методы, в частности, квадратичной аппроксимации в окрестности точки каждого очередного приближения.

2.Продвижение к точке по ортогональным направлениям приводит к выводу о быстрой сходимости метода в случае, когда линии уровня целевой функции подобны эллипсам, причем, чем ближе геометрия эллипсов к соответствующим концентрическим окружностям, тем лучше. Этот вывод надежно подтверждён практикой и отражает сильное влияние на скорость сходимости масштаба компонент вектора .

Поэтому медленный поиск свидетельствует, как правило, о плохо отмасштабированной задаче оптимизации и следует либо изменить масштаб компонент вектора , либо перейти к более сложным методам решения плохо отмасштабированных задач оптимизации.

3.Несмотря на глобальную скорость сходимости метода, его эффективность является низкой и, следовательно, противоречит его исторически сложившемуся названию наискорейшего спуска.