
- •Общие сведения
- •Постановка задачи безусловной оптимизации функции многих переменных
- •Глобальный оптимум функции
- •Локальный оптимум функции
- •Выпуклость множеств и функций
- •Методы прямого поиска безусловного оптимума функции многих переменных
- •Эвристические методы
- •Метод Хука-Дживса (метод прямого поиска)
- •Метод покоординатного спуска
- •Метод Розенброка (метод вращающихся координат)
- •Метод Нелдера-Мида
- •Теоретические методы прямого поиска
- •Метод сопряженных направлений (метод Пауэлла)
- •Решение задачи безусловной оптимизации функции многих переменных с использованием необходимых и достаточных условий экстремума
- •Методы оптимизации функции одной переменной
- •Метод квадратичной интерполяции
- •Метод Пауэлла (квадратичной интерполяции)
- •Метод первого приемлемого значения (квадратичная интерполяция с использованием производных).
- •Метод кубической интерполяции (Давидона)
- •Методы оптимизации функции многих переменных
- •Общие критерии останова численных методов оптимизации функции многих переменных
- •Модельная схема применения методов оптимизации функции многих переменных
- •Градиентные методы
- •Аффинная (линейная) модель функции многих переменных
- •Метод Коши
- •Расчет направления поиска методами сопряженных градиентов
- •Метод Ньютона-Рафсона
- •Метод Марквардта
- •Методы переменной метрики (квазиньютоновские методы)
- •Соотношение секущих
- •Метод bfgs
- •Метод dfp
Методы оптимизации функции одной переменной
Требуется
найти безусловный минимум функции
одной переменной, т.е. такую точку
,
что
.
Для
решения этой задачи могут быть использованы
методы полиномиальной аппроксимации,
которые основываются на аппроксимации
на некотором интервале
,
таком, что
,
функции
некоторым полиномом
.
Тогда задача нахождения минимума функции
заменяется задачей нахождения минимума
полинома
.
Необходимыми условиями эффективной
реализации такого подхода является
унимодальность и непрерывность
в аппроксимируемом интервале.
Согласно теореме Вейерштрасса об аппроксимации, если функция непрерывна в некотором интервале, то её с любой степенью точности можно аппроксимировать полиномом достаточно высокого порядка. Следовательно, если функция унимодальна и найден полином, который достаточно точно её аппроксимирует, то координату точки оптимума функции можно оценить координатой точки оптимума полинома.
Согласно теореме Вейерштрасса качество оценок координат точки оптимума можно повысить двумя способами:
использованием полинома более высокого порядка
уменьшением интервала аппроксимации.
Второй способ является более предпочтительным, поскольку процедура построения полинома выше 3-го порядка довольно сложная.
Метод квадратичной интерполяции
Пусть известно значение функции f(x) в трех несовпадающих точках х1, х2, х3. Тогдаf(x) может аппроксимирована квадратичным полиномом вида:
где A,B,C– определяются из уравнения:
После решения этих уравнений получаем:
A=[(x3-x2)f1+(x1-x3)f2+(x2-x1)f3]/
B=[(x22-x32)f1+(x32-x12)f2+(x12-x22)f3]/
C=[x2x3(x3-x2)f1+ x1x3 (x1-x3)f2+ x2x1 (x2-x1)f3]/
=(x1-x2)(x2-x3)(x3-x1)
Точка
минимума полинома
вычисляется следующим образом:
,
при
Тогда
оценить точку оптимума функции f(x)
можно значением(оценка оптимальности):
Метод Пауэлла (квадратичной интерполяции)
Шаг1.
Задать начальную точку
,
величину шага
,
и
- малые положительные числа, характеризующие
точность
Шаг
2. Вычислить
Шаг
3. Вычислить
и
Шаг
4. Сравнить
с
:
а)
если
,
положить
б)
если
,
положить
Шаг
5. Вычислить
Шаг
6. Найти
,
Шаг 7. Вычислить точку минимума интерполяционного полинома, построенного по трем точкам:
и
величину функции
.
Если знаменатель дроби на некоторой
итерации обращается в ноль, то результатом
интерполяции является прямая. В этом
случае рекомендуется обозначить
и перейти к шагу 2.
Шаг 8. Проверить выполнение условий окончания:
и
.
Тогда
а)
если оба условия выполнены, процедура
закончена и
;
б)
если хотя бы одно из условий не выполнено
и
,
выбрать наилучшую точку (
или
)
и две точки по обе стороны от нее.
Обозначить эти точки в естественном
порядке и перейти к шагу 6.
в)
если хотя бы одно из условий не выполнено
и
,
то положить
и перейти к шагу 2.
Метод первого приемлемого значения (квадратичная интерполяция с использованием производных).
Данный метод отличается от предыдущего тем, что полином строится исходя из значений f(x) в двух точках х1, х2 (f(х1) иf(х2)) иf’(х1) илиf’(х2) (производная определяет тангенс угла наклона в точке).
Тогда
для нахождения коэффициентов квадратичного
полинома
используется следующая система:
Решая эту систему получаем:
Метод кубической интерполяции (Давидона)
Для кубической интерполяции в методе Давидона используется значение функций и ее производных, вычисленных в точках х1, х2.
Используется кубический полином следующего вида:
Параметры а0, а1, а2, а3 подбираются т.о., чтобы значениеP(х) иP’(х) в точках х1, х2совпадали со значениямиf(х) иf’(х).
Решение, определяющее стационарную точку кубического полинома выглядит следующим образом:
Эта
формула гарантирует, что точка
расположена между х1, х2.
Процесс поиска заканчивается, если производная в полученной точке достаточно мала, или процедура становится неэффективной.