Шпоры по вычмату / 24

Методы безусловной минимизации.

Методы безусловной минимизации целевой функции многих переменных (14.1) делятся на три больших группы:

- прямые методы, не использующие значения производных целевой функции, например, метод покоординатного спуска, метод Розенброка, метод случайного поиска, метод Хуна-Дживса;

- методы первого порядка, использующие значения градиента , т.е. производные первого порядка, например, метод наискорейшего спуска, метод градиента, метод сопряженных градиентов;

- квазиньютоновские методы, использующие различные аппроксимации для матрицы вторых производных целевой функции - матрицы Гессе, см. формулу (14.5).

В каждом из методов существует много модификаций. Самыми простыми являются прямые методы. Рассмотрим кратко некоторые из перечисленных методов.

Метод покоординатного спуска.

Пусть выбрана начальная точка , начальный шаг и допустимая погрешность EPS определения точки минимума.

Имеем аргументов целевой функции , т.е. координат для точки в многомерном пространстве.

1. Выполняется одномерный поиск по первой координате (при фиксированных остальных), затем по второй и т.д.- по всем координатам. Это конец итерации, и ее результатом является новая точка .

2. Проверяется условие окончания итераций по норме разность вектора между исходной и найденной точками: <EPS. Если условие выполняется, то конец итераций. Иначе и пункт 1.

На рис. 14.4 показана для часть линий уровня функции . Точка 0 - это начальная точка. Точка 1 - это точка минимума по первой координате, точка 2 - по второй при фиксированной первой координате . Эта же точка 2 является точкой , завершающей цикл по координатам. Далее опять одномерный поиск по первой координате. На рис. 14.4 каждая прямая, вдоль которой идет одномерный поиск, касается линии уровня в точке, где происходит резкое изменение направления поиска.

Рис.14.4. Шаги в методе покоординатного спуска.

Метод является очень простым, но требует большого количества итераций.

В ряде случаев поиск минимума в нем может прекращаться вдали от точки минимума. Например, на рис. 14.5. показаны линии уровня функции , минимум которой находится в заштрихованной области. Если текущей станет точка x, показанная на рисунке, то поиск будет прекращен, т.к. шаги по обеим осям будут приводить к возрастанию функции. Поэтому метод нуждается в усовершенствовании.

Рис.14.5. Прекращение поиска в методе покоординатного спуска вдали от минимума.

Его усовершенствованием является, например, метод Розенброка. В нем нет одномерного поиска, а выполняются выбранные шаги по каждой координате и запоминается информация об удачных и неудачных шагах. Неудачные шаги не выполняются, но изменяют шаг по этой координате для следующей итерации.

Если после некоторого количества итераций оказалось, что есть неудачные шаги по всем координатам, то происходит поворот осей в рассматриваемом многомерном пространстве. При этом направление первой оси будет соответствовать наиболее перспективному направлению поиска минимума и оно определяется по информации о величине удачных шагов по всем координатам. Далее выполняются шаги по новым координатным осям. Он хорошо работает для всех задач безусловной оптимизации, с которыми приходилось иметь дело.