Методы оптимизации

41

II. Второй этап призван решить, по какую сторону от точки xN−2 лежит точка минимума функции f (x) . Второй этап выполняется по следующей схеме:

1.Находим точки x1N−1 = x N−2 , x2N−1 = xN−2 + δ , где δ [εx 2,εx ] – свободный параметр алгоритма.

2.Вычисляем значение ЦФ f (x2N −1 ) (значение ЦФ f (x1N −1 )= f (xN −2 )

x* ≈ aN + bN . 2

Рассмотрим без доказательства некоторые свойства алгоритма Фибоначчи. ·····························································

Утверждение 1. Для любого k [0,N − 3] алгоритм Фибонач-

чи обладает следующим свойством: одна из точек x1k+1 или x2k+1 совпадает с одной из точек x1k или x2k (см. рис. 2.4, 2.5).

·····························································

Указанное свойство алгоритма Фибоначчи позволяет на каждой итерации (кроме первой) производить испытания только в одной точке, т. е. если f (x1k )< f (x2k ) (рис. 2.4), то x2k+1 = x1k . Иначе (рис. 2.5) x1k+1 = x2k .

·····························································

Утверждение 2. Точки x1k , x2k расположены симметрично от-

·····························································

43

За приближение точки экстремума мы принимаем середину интервала ∆N , следовательно, количество итераций N , необходимых для нахождения минимума функции с точностью по аргументу εx , может быть найдено из условия

2.2.4 Метод золотого сечения

Метод золотого сечения (МЗС) похож на метод Фибоначчи, меняется

При этом также должно выполняться соотношение

∆k = ∆k−1 + ∆k+2. (2.22) Соответственно, рисунки 2.4 и 2.5 также иллюстрируют и метод золотого

сечения.

Из соотношений (2.21) и (2.22) следует, что

·····························································

Число γ называют «золотым сечением» (золотой пропорцией,

гармоническим делением и т. д.). В дошедшей до нас литературе впервые встречается в «Началах» Евклида (хотя сам термин был введен значительно позже, возможно, Леонардо да Винчи).

·····························································

Алгоритм золотого сечения относится к классу последовательных методов поиска. В целом, он аналогичен первой части алгоритма Фибоначчи, кроме способа вычисления точек x1k и x2k . Но, в отличие от метода Фибоначчи, длина

интервала ∆k может уменьшаться до сколь угодно малой величины, поэтому можно использовать обычный критерий окончания итерационного процесса, как, например, в методе дихотомии:

44

1.Выполняем присваивания: k = 0, a0 = a , b0 = b, x0 = a0 +2 b0 .

2.Вычисляем величины (см. рис. 2.4, 2.5):

bk+1 = x2k . Иначе (рис. 2.5) выполняем присваивания ak+1 = x1k , bk+1 = bk . Находим следующее приближение точки экстремума:

xk+1 = ak+1 + bk+1 . 2

5. Если ∆k+12 ≤ εx и f (xk+1 )− f (xk ) ≤ εy , то полагаем x* ≈ xk+1 и заканчиваем вычисления. Иначе выполняем присваивание k = k +1 и переходим на шаг 2.

Приведем без доказательства некоторые свойства алгоритма золотого сечения. Они аналогичны соответствующим свойствам алгоритма Фибоначчи, с поправкой на изменившиеся пропорции отрезков.

·····························································

Утверждение 1. Для любого k алгоритм золотого сечения

обладает следующим свойством: одна из точек x1k+1 или x2k+1 совпадает с одной из точек x1k или x2k (см. рис. 2.4, 2.5).

·····························································

Указанное свойство позволяет на каждой итерации (кроме первой) производить испытания только в одной точке, т. е. если f (x1k )< f (x2k ) (рис. 2.4), то

x2k+1 = x1k . Иначе (рис. 2.5) x1k+1 = x2k .

·····························································

·····························································

45

Соответственно,

минимума функции с точностью по аргументу εx , может быть найдено из условия:

46

2.3 Полиномиальная аппроксимация

и методы точечного оценивания

Применение методов исключения интервалов требует унимодальности целевой функции и основано на простом сравнении значений функции в двух пробных точках. Рассмотрим более эффективные методы, чем методы исключения интервалов [1, 9]. Но выигрыш в эффективности достигается ценой введения дополнительного требования – исследуемые функции должны быть гладкими.

Основная идея рассматриваемых методов связана с возможностью аппроксимации гладкой функции полиномом и последующего использования этого полинома для оценивания координаты точки экстремума.

Необходимые условия эффективной реализации такого подхода – унимодальность и непрерывность исследуемой функции. Согласно теореме Вейерштрасса об аппроксимации, если функция непрерывна на некотором интервале, то ее с любой степенью точности можно аппроксимировать полиномом высокого порядка. Координату точки экстремума функции можно оценить путем вычисления координаты точки экстремума полинома.

Точность оценки точки экстремума можно повысить двумя способами:

1)использование полинома более высокого порядка;

2)уменьшение интервала аппроксимации.

Второй способ более прост и экономичен, если функция унимодальная.

2.3.1 Квадратичная аппроксимация

Простейший вариант полиномиальной аппроксимации основан на факте, что функция f (x) имеет экстремум во внутренней точке интервала и должна быть, по крайней мере, квадратичной. Линейная функция достигает экстремума в двух граничных точках интервала.

Если задана последовательность точек x1 , x2 , x3 и известны соответствующие этим последовательностям значения функции f1 , f2 , f3 , то можно определить константы a0 , a1, a2 таким образом, что значения квадратичной функции

совпадут со значениями функции в трех указанных точках. Перейдем к вычислению параметров a0 , a1, a2 .

48

то точкой x = x3k + ∆x .

·····························································

Достоинства алгоритма – обеспечивает поиск экстремума даже для функций, не являющихся унимодальными, в отличие от интервальных методов. Недостатки – сильно зависит от выбора начальной точки x1 и величины шага ∆x .

49

обеспечено, то сходимость алгоритма не гарантирована.

2.4 Методы с использованием производных

Рассмотренные выше методы поиска основаны на предположениях об унимодальности и, в ряде случаев, о непрерывности исследуемой целевой функции. Если в дополнение к условию непрерывности ввести требование дифференцируемости, то эффективность поисковых процедур можно существенно повысить [1–2].

Напомним, что необходимым условием существования локального минимума функции, не имеющей разрывов в области определения аргумента x , в некоторой точке x* является требование стационарности точки x* , т. е.

f ′(x* )= dfdx x = x* = 0.

Если f (x) содержит члены, содержащие x в третьей и более высоких степенях, то непосредственное получение аналитического решения уравнения f ′(x) = 0 может оказаться затруднительным. В таких случаях используются приближенные методы последовательного поиска стационарной точки f (x).

2.4.1 Метод Ньютона – Рафсона

Классическая поисковая схема разработана Ньютоном и позднее уточнена Рафсоном (МНР) [9].

Пусть имеется текущее приближение точки экстремума xk . Тогда следующее приближение xk+1 будем искать в виде

Параметр hk попробуем определить таким образом, чтобы точка xk+1 совпадала с точкой экстремума, т. е.

Разложим f ′(xk + hk ) в окрестности точки xk в ряд Тейлора:

f ′(xk + hk )= f ′(xk )+ f ′′(xk )hk + 12 f ′′′(xk )hk2 + ... = 0.

Решить данное уравнение в общем виде невозможно. Оставим в уравнении только два первых члена, а остальные отбросим:

50

Отбрасывая члены ряда Тейлора, мы сознательно вносим в решение погрешность, поэтому, в общем случае, условие (2.40) выполняться не будет. Исключение – если ЦФ имеет нулевые производные, от третьего порядка включительно. Например, если функция квадратичная.

·····························································

Для квадратичных функций точка экстремума методом

Ньютона – Рафсона будет найдена за одну итерацию.

·····························································

Также следует помнить, что ряд Тейлора является сходящимся, т. е.

поэтому отбрасывание его старших членов хотя и вносит погрешность, но не такую существенную.

Геометрическое пояснение. В точке xk к графику производной f ′(x) строится касательная. Точка пересечения касательной с осью x будет следующим приближением точки экстремума xk+1. В этой точке снова строится касательная, получим точку xk+2 и т. д. Если при этом происходит постепенное приближение к точке экстремума x* , то процесс является сходящимся (рис. 2.6). Сходимость метода квадратичная.

Если же происходит удаление от точки экстремума, процесс расходится (рис. 2.7).

Чтобы процесс сходился, важно удачно выбрать начальную точку x0 . Вспомним критерий выбора начальной точки в классическом методе Ньютона поиска нулей функции:

f (x0 ) f ′′(x0 )> 0.