Лекция 7 Оптимизация

Сформулируем задачу оптимизации как задачу поиска экстремума целевой функции Ф(Р).

Классификация методов оптимизации

1. По числу параметров:

- одномерная оптимизация;

- многомерная оптимизация.

2. По использованию производных:

- методы нулевого порядка (прямые методы);

- методы первого порядка (градиентные методы);

- методы второго порядка.

• . . .

Целевую функцию Ф(Р) будем считать унимодальной.

Определение унимодальности функции

Предположим, что f - действительная функция, определенная на [0,1]. Предположим, далее, что имеется единственное значение х, такое, что f() — максимум f(x) на [0,1], и что f(x) строго возрастает для x ≤ и строго убывает для ≤ x. Такая функция называется унимодальной: для ее графика имеются три возможные формы:

Рис. 1.Графики унимодальной функции

Заметим, что унимо­дальная функция не обязана быть гладкой или даже непрерывной.

Задачу оптимизации сформулируем следующим образом:

найти множество абсцисс x₁, x₂... х_k, в которых вычисляется функция, такое, что опти­мальное значение f лежит при некотором i в интервале х_i-1 ≤ х ≤ х_i+1 (этот интервал называется интервалом неопределен­ности).

Алгоритм выбора абсцисс x_i (i=1,…,k) называется планом поиска. Если известно только то, что f унимодальная, то какова оптимальная стратегия для нахождения х? При заданном коли­честве вычислений функции оптимальным планом поиска будет тот, который приводит к наименьшему интервалу неопределен­ности.

Большинство методов многомерной оптимизации сводится к задаче одномерной оптимизации.

Рассмотрим три известных метода одномерной оптимизации:

1. Метод дихотомии (деления отрезка пополам)

Пусть имеется целевая функция, изображенная на рис.2. Необходимо определить экстремум функции на участке (a, b)

Делим ось абсцисс на четыре равные части и вычисляем значение целевой функции в пяти точках, далее выбираем минимум из пяти найденных значений. Очевидно, что экстремум функции лежит в границах участка (a', b') прилегающего к точке найденного минимума. Интервал поиска сужается в два раза.

Если минимум находится в точке а или b, то интервал сужается в четыре раза.

Полученный интервал вновь разбиваем на четыре равные части. Поскольку значения целевой функции в трех точках были вычислены на предыдущем этапе, следующий этап требует вычисления целевой функции в двух точках.

Ф(Р)

р

a a' b' b

0 1 2 3 4

Рис. 2. Иллюстрация метода дихотомии

2. Метод Фибоначчи

Определим координату точки х относительно интервала [а, b] как число, равное (х-а) / (b-а). Таким образом, а имеет по отношению к интервалу [a,b] координату 0, b - координату 1, а средняя точка — координату 1/2.

Пусть F₀ = F₁ = 1, F₂ = 2, F₃ = 3, F₄ = 5, F₅ = 8,…, F_k = F_k-1+F_k-2. Числа F_i – числа Фибоначчи. Оп­тимальная стратегия последовательного поиска максимума назы­вается поиском Фибоначчи, поскольку она тесно связана с этими числами. При оптимальной стратегии выбирают x_k-1 = F_k-2/F_k и x_k = F_k-1/F_k. Какой бы из интервалов [0, x_k] или [x_k-1,1] не стал суженным интервалом неопределенности, унаследованная точка будет иметь по отношению к новому интервалу одну из двух следующих координат: F_k-3/F_k-1 или F_k-2/F_k-1. Тогда в качестве x_k-2 выбирается точка, имеющая по отношению к новому интервалу другую из этих координат. Используя

f(x_k-2) и зна­чение функции, унаследованное от прежнего интервала, можно еще сократить интервал неопределенности и передать в наслед­ство одно значение функции.

На последнем шаге мы придем к некоторому интервалу неопре­деленности [а,b], причем средняя точка будет унаследованной от предыдущего шага.

Тогда в качестве х₁ выбирается точка с относительной координатой ½+ε, и окончательным интервалом неопределенности будет либо [0, ½+ε], либо [½, 1] относитель­но [а, b].

На первом шаге длина интервала неопределенности уменьши­лась с 1 до F_k-1/F_k. На последующих шагах уменьшение длин интервалов выражается числами

F_k-2/F_k-1, F_k-3/F_k-2,…, F₂/F₃, F₁/F₂(1+2ε).

Таким образом, длина окончательного интервала неопределен­ности равна (1+2ε)/F_k. Пренебрегая ε, заметим, что асимптотически 1/F_k равно r^к при k→∞, где

r = (√5 – 1)/2 ≈ 0.6180 (1)

Заметим, что асимптотически, для больших k каждый шаг по­иска Фибоначчи сужает интервал неопределенности с коэффици­ентом 0.6180. Этот результат нужно сравнить с 0.5, коэффициен­том сужения интервала неопределенности в методе бисекции для нахождения нуля функции.