Методы прямого поиска в задачах одномерной минимизации.
min-?
xk+1 = xk + tkSk , где Sk -направление.
Необходимо определить tk.
(t) = f(xk + tSk)- найти минимум функции одной переменной (нет анализа заданной функции). Будем искать точку локального минимума, поэтому ограничимся функциями, имеющими один минимум. Больше ничего о функции неизвестно. Можно вычислить (измерить) значения функции в точках.
1. Метод квадратичной интерполяции.
Пусть
функция задана на прямой, даны при этом
точки a<b<c,
и
,
точка минимума в [a,
c]
Через эти точки проведем параболу:
Положим:
,
т.е. имеем 3 уравнения и 3 неизвестных
g0,
g1,
g2.
Находим g0, g1, g2
Рассмотрим два случая:
Так
поступаем до тех пор, пока точка
не
окажется в достаточно малой окрестности
одной из трех точекa,
b, c.
После чего
такую точку считаем точкой минимума.
Метод можно обобщить на случай кубических и т.д. функций, но потребуется вычислять большее количество точек.
2. Метод дихотомии ( половинного деления.).
Если мы вычислим значения f в двух точках x1,x2 , то станет возможным исключение из рассмотрения некоторого множества точек, на котором гарантировано нет минимума, то есть имея измерения в двух точках можем сократить интервал поиска.
Как лучше выбирать точки, чтобы процесс быстрее сходился?
В
методе дихотомии предлагается
(отрезок
[0,1]
).
Остается
один из интервалов:
.
Выберем 3-й и 4-й эксперимент на-пару
в середине оставшегося интервала. После
n
(n-четно)
экспериментов
min
функции
лежит в интервале
.
Здесь каждый раз два эксперимента, но можно один, а в качестве другого брать один из предыдущих.
3. Метод «золотого» сечения.
Интервал
[a,b],
вычислить функцию
в
точках 
.
На интервале [a,b] расположен минимум функции.
,
где F1
и F2
некоторые
числа 0<F1<1,
0<F2<1.
Анализируем
перегибы функции внутри интервала, и
также, как раньше, заменяем отрезок
[a,b]
на
или
.
Идея метода в том чтобы после замены,
необходимо было вычислить только одну
точку при гарантированном уменьшении
длины отрезка, т.е.
,так как
(после
замены отрезок уменьшится в 1/
F2
=
В
новом отрезке должно быть(по правилу
«золотого» сечения): 
так
как
Тогда
так как
,
,то
.
Таким образом, уменьшение интервала в 1/ F2 = раз достигается с помощью вычисления функции в одной новой точке (см. процедуру выполнения). После n экспериментов имеем интервал неопределенности:
.
В пересчете на одно измерение этот метод лучше дихотомии.
Процедура выполнения:
Рассмотрим
[a,b], вычислить
функцию
в
точках 
.
В 1) и 2) появилась только одна новая точка. И так далее, пока длина отрезка [a,b] не станет меньше заданной величины.
4 .Метод Фибоначчи.
Пусть у нас существует ограничение на количество вычисляемых точек N.
Как выбирать средние точки , чтобы максимально уменьшить интервал, внутри которого лежит точка min?
,
к- номер
итерации.
Fj - числа Фибоначчи, обладающие свойством.
Fk+2 = Fk+1+ Fk
Два первых: 1;1
Как метод Фибоначчи связан с методом «золотого» сечения?
.
То есть асимптотически один метод переходит в другой. Окончательный интервал в методе «золотого» сечения всегда на 17% больше чем в методе Фибоначчи. Если количество измерений не задано, то используется метод «золотого» сечения, если задано - то Фибоначчи.
3. Условная минимизация.
Задача нелинейного программирования.
min f -?, на множестве X.
Нелинейная
область:
-
допустимое множество.
ji- некоторые функции.
2.1.1 Ограничения типа равенства.
рассмотрим
найти
.
Пусть g разрешима относительно x1, то есть x1= (x2).
Тогда
Пусть
f,
- дифференцируемы.
Тогда условие экстремальности:
, так как
Тогда:
,из определения
Таким образом в точке минимума выполняются эти соотношения. Получить эти необходимые условия можно используя функцию Лагранжа:
F(x,)=f+g.
Тогда необходимое условие min функции f(x1,x2) при наличии ограничений может быть записано следующим образом:
