14.4. Метод покоординатного спуска.

Имеем аргументов целевой функции, т.е.координат для точки в многомерном пространстве.

Пусть выбрана начальная точка , начальный шаг и допустимая погрешность определения точки минимума.

1. Выполняется одномерный поиск по первой координате (при фиксированных остальных), позволяющий перейти в точку , соответствующую минимумупо этой координате при заданных остальных. Из этой точки проводится одномерный поиск минимумапо второй координате при фиксированных остальных, получается точки, из неё одномерный поиск по третьей координате и т.д. - по всемкоординатам. Это конец итерации, и ее результатом является новая точка.

2. Проверяется условие окончания итераций по норме разности векторов между исходной и найденной точками:. Если условие выполняется, то конец итераций. Иначе продолжаем итерации до точки, где.

На рис. 14.4 показана для часть линий уровня функции . Точка 0 - это начальная точка. Точка 1 - это точка минимума по первой координате, точка 2 - по второй при фиксированной первой координате . Эта же точка 2 является точкой, завершающей цикл по координатам. Далее опять одномерный поиск по первой координате. На рис. 14.4 каждая прямая, вдоль которой идет одномерный поиск, касается линии уровня в точке, где происходит резкое изменение направления поиска.

Рис.14.4. Шаги в методе покоординатного спуска.

Метод является очень простым, но требует большого количества итераций. В ряде случаев поиск минимума в нем может прекращаться вдали от точки минимума. Например, на рис. 14.5. показаны линии уровня функции , минимум которой находится в заштрихованной области. Если текущей станет точка, показанная на рисунке, то поиск будет прекращен, т.к. шаги по обеим осям будут приводить к возрастанию функции. Поэтому метод нуждается в усовершенствовании.

Рис.14.5. Прекращение поиска в методе покоординатного спуска вдали от минимума.

Его усовершенствованием является, например, метод Розенброка. В нем нет одномерного поиска, а выполняются выбранные шаги по каждой координате и запоминается информация об удачных и неудачных шагах. Неудачные шаги не выполняются, но изменяют шаг по этой координате для следующей итерации.

Если после некоторого количества итераций оказалось, что есть неудачные шаги по всем координатам, то происходит поворот осей в рассматриваемом многомерном пространстве. При этом направление первой оси будет соответствовать наиболее перспективному направлению поиска минимума и оно определяется по информации о величине удачных шагов по всем координатам. Далее выполняются шаги по новым координатным осям. Он хорошо работает для всех задач безусловной оптимизации, с которыми приходилось иметь дело.