42. Задача многомерной безусловной оптимизации. Классификация численных методов поиска решения. Покоординатные методы: общий подход, метод Гаусса-Зейделя, метод Розенброка, метод Пауэлла.
. 1. ПОСТАНОВКА ЗАДАЧИ
Пусть задана функция n действительных переменных f(x1, x2, x3, ..., xn) = f(x), определенная на множестве X ∈ R , где x - вектор- столбец, обозначающий точку в n-мерном евклидовом пространстве с координатами x1, x2, x3, ..., xn . Функция f(x) имеет локальный минимум в точке x*∈ X, если существует окрестность точки x* такая, что f(x*) ≤ f(x) во всех точках этой окрестности. В n случае глобального минимума в точке x* для всех x ∈ R справедливо неравенство f(x*) ≤ f(x). Далее будем рассматривать задачу отыскания точек минимума функции n f(x), т.е. f(x) → min , x ∈ R . Для приведения же задачи максимизации к задаче минимизации достаточно изменить знак целевой функции.
ПОИСКОВЫЕ МНОГОМЕРНЫЕ МЕТОДЫ
Все методы, которые изложены далее носят шаговый характер. Одна итерация метода может включать в себя либо один шаг, либо множество шагов. Шаг считается «удачным», если значение целевой функции в новой точке не больше, чем в старой, т.е. если f(x(k)) ≤ f(x(k-1)); в противном случае шаг считается «неудачным».
4.1. Методы на основе пошаговой одномерной оптимизации
В методе Гаусса- Зейделя при выполнении шага по каждой переменной ищут минимум целевой функции в ее направлении, при этом значения остальных переменных остаются постоянными. Этот поиск по направлению можно производить любым известным методом одномерной оптимизации ( например, методом обратного переменного шага, методом «золотого сечения» и т.п.). Таким образом, в методе Гаусса-Зейделя задача многомерной оптимизации сводится к многократному использованию метода одномерной оптимизации. Очередность варьирования переменных при этом устанавливается произвольно и обычно не меняется в процессе оптимизации.
Метод параллельных касательных (метод Пауэлла)Этот метод использует свойство квадратичной функции, заключающееся в том, что любая прямая, которая проходит через точку минимума функции х*, пересекает под равными углами касательные к поверхностям равного уровня функции в точках пересечения (Рис. 2.7). Этот метод использует свойство квадратичной функции, заключающееся в том, что любая прямая, которая проходит через точку минимума функции х*, пересекает под равными углами касательные к поверхностям равного уровня функции в точках пересечения (Рис. 2.7).
Рис. 2.7. Геометрическая интерпретация метода Пауэлла
Суть метода такова. Выбирается некоторая начальная точка х[0] и выполняется одномерный поиск вдоль произвольного направления, приводящий в точку х[1] . Затем выбирается точка х[2], не лежащая на прямой х[0] - х[1], и осуществляется одномерный поиск вдоль прямой, параллельной х[0] - х[1],. Полученная в результате точка х[3] вместе с точкой х[1] определяет направление x[1] - х[3] одномерного поиска, дающее точку минимума х*. В случае квадратичной функции nпеременных оптимальное значение находится за п итераций. Поиск минимума при этом в конечном счете осуществляется во взаимно сопряженных направлениях. В случае неквадратичной целевой функции направления поиска оказываются сопряженными относительно матрицы Гессе. Алгоритм метода параллельных касательных состоит в следующем.
1. Задаются начальной точкой x[0]. За начальные направления поиска р[1], ..., р[0] принимают направления осей координат, т. е. р [i] = е[i], i = 1, ..., n (здесь e[i]= (0, ..., 0, 1, 0, … 0)T).
2. Выполняют n одномерных поисков вдоль ортогональных направлений р[i] , i = 1, ..., п. При этом каждый следующий поиск производится из точки минимума, полученной на предыдущем шаге. Величина шага аk находится из условия
f(x[k] +
аkр[k]) = 
f(x[k] +
ар[k]).
Полученный шаг определяет точку
х[k+1] = х[k] + аkр[k] .
3. Выбирают новое направление p =-x[n] - х[0] и заменяют направления р[1], ..., р[n] на р[2], ..., р [n], р. Последним присваивают обозначения р[1], ..., р[n]
4. Осуществляют одномерный поиск вдоль направления р = р[n] = х[n] - х[0]. Заменяют х[0] на х[n+1] = х[n] + аnр[п] и принимают эту точку за начальную точку х[0] для следующей итерации. Переходят к п. 1.
Таким образом, в результате выполнения рассмотренной процедуры осуществляется поочередная замена принятых вначале направлений поиска. В итоге после n шагов они окажутся взаимно сопряженными.