Методы оптимизации

51

f ' (x)

f ' (xk+1)

xk+2

xk x*

xk+1 x

f ' (xk)

Рис. 2.6 – Сходимость МНР

f ' (x)

Рис. 2.7 – Отсутствие сходимости

Если точка удовлетворяет этому условию, то она подходит для начала итерационного процесса. В первую очередь проверяют границы отрезка, если обе границы не подходят – другие точки, например середину отрезка и т. п.

Метод Ньютона является итерационным методом поиска нулей функции. Соответственно, МНР – итерационный метод поиска экстремумов. Данный метод может найти как минимум ЦФ, так и максимум, или точку перегиба. По окончании итерационного процесса найденную точку нужно классифицировать, используя соответствующие критерии.

В целом, для решения уравнения f ′(x) = 0 можно использовать любые численные методы решения уравнений с одной переменной, как интервальные – метод дихотомии, золотого сечения и т. д., так и итерационные – Ньюто-

52

на (касательных), хорд, итераций и т. д. [1–6]. Пример решения задачи методом Ньютона – Рафсона приведен далее.

2.4.2 Другие итерационные методы поиска нулей функции

Поиск нулей функции f (x) широко используется в методах оптимизации [4, 6]. Например, такая необходимость возникает при определении стационарной точки f ′(x) = 0 или решении системы нелинейных уравнений ∂f ∂xi = 0 , i =1,2,...,n , как в методе Ньютона для минимизации функций векторного аргумента.

Как уже отмечалось, рассмотренный МНР – это обычный метод Ньютона,

где εx и εy – требуемая точность решения по аргументу и по функции соответ-

ственно.

Кроме широко известных методов поиска нулей функции, перечисленных

Для начала итерационного процесса необходимы две начальные точки – x0 и x1 .

3. Метод Стефенсена (квадратичная сходимость):

55

Если в точке z f ′(z) > 0 , то минимум x* не может быть расположен правее z. Исключается интервал [z,b] (рис. 2.9).

f (x)

f ' (x) > 0

Рис. 2.9 – Поиск Больцано. Исключается интервал [z,b]

Исходя из определения унимодальной функции, если на интервале [a,b]

имеется точка минимума, то f ′(a) < 0 и f ′(b) > 0 . Вычислим координату средней точки:

z = a +2 b

и найдем f ′(z):

если f ′(z) > 0, то исключим [z,b];если f ′(z)< 0, то исключим [a,z].

Формализованное описание алгоритма. Пусть задана функция f (x),

то закончить поиск и принять x* ≈ xk . Иначе:

56

положить k = k +1 и перейти на шаг 2.

·····························································

Здесь исследуется лишь знак производной независимо от ее

значения.

·····························································

Как можно видеть, МСТ – это обычный метод дихотомии решения уравнений с одной переменной, только предназначенный для решения уравнения f ′(x) = 0, а не f (x) = 0. Аналогично можно модифицировать другие интервальные методы решения уравнений с одной неизвестной – Фибоначчи, золотого сечения и т. д.

2.5 Метод поиска с использованием кубичной аппроксимации

Функция аппроксимируется полиномом третьего порядка. Схема метода аналогична схеме методов с использованием квадратичной аппроксимации, но построение полинома проводится на основе меньшего числа точек, т. к. в каждой точке можно вычислять значения и функции, и ее производной [5].

Аппроксимирующий кубичный полином записывается в виде:

57

Данная система легко решается рекурсивным методом. После того как коэффициенты найдены, действуя по аналогии со случаем квадратичной аппроксимации, можно оценить координату стационарной точки f (x) с помощью полинома (2.50). При этом приравнивание к нулю производной (2.51) приводит к квадратному уравнению. Используя формулу для вычисления корней квадратного уравнения, запишем решение, определяющее стационарную точку кубичного полинома, в виде:

Формула для вычисления значения w обеспечивает надлежащий выбор одного из двух корней квадратного уравнения.

Для значений µ [0,1] формула (2.52) гарантирует, что получаемая точка x [x1,x2 ].

Схема метода:

1.Выполняем присваивание k = 0. Если задано начальное приближение x0 и шаг ∆ , переходим на шаг 2. Если задан интервал [a,b], содержащий иско-

мую точку экстремума, переходим на шаг 3.

2. Полагаем x0 = x0 . Если f ′(x0 )< 0, то выполняем присваивание x10 = x0 .

Далее ищем минимальное значение m , такое, что в точке x10 = x0 − 2m ∆ значение производной f ′(x10 )< 0 (m = 0,1,2,...). Затем переходим на шаг 4. Цель это-

в левой границе отрезка производная должна убывать, а в правой – возрастать.

58

3.Выполняем присваивания: x10 = a , x20 = b , x0 = a +2 b.

4.По формуле (2.52) вычисляем точку минимума xk+1 полинома F (x),

построенного по точкам x1k и x2k . Причем, согласно схеме алгоритма, неравенство x1k < x2k выполняется всегда, поэтому для определения параметра w всегда используем формулу

вычисления. Иначе выполняем присваивание k = k +1 и переходим на шаг 4.

2.6 Сравнение методов

Проведем сравнение относительных эффективностей методов исключения интервалов.

Обозначим длину исходного интервала неопределенности как ∆0 , а ∆k – длина полученного интервала в результате n вычислений ЦФ. Тогда FR(n) = ∆k ∆0 – относительное уменьшение первоначального интервала, т. е. показатель эффективности.

1. При использовании МРП на каждой итерации требуется вычислить N −1 значение ЦФ, где N – заданный заранее параметр. Поэтому всего за k итераций значение функции будет вычислено n = k (N −1) раз, т. е.

59

Как выбрать значение N , чтобы поиск был оптимальным? Для этого нужно решить следующую задачу:

В этом случае на каждой итерации, кроме первой, требуется вычислить только N − 2 значения ЦФ, т. к. значение ЦФ в точке, расположенной в середине отрезка ∆k , уже было вычислено на предыдущей итерации решения, т. е.

Данная функция для четных значений N и при условии N ≥ 3 имеет минимум в точке N* = 4 .

2. При использовании метода дихотомии на каждой итерации вычисляется 2 значения ЦФ (в точках x1k и x2k ), поэтому

3. При использовании метода Фибоначчи на первой итерации вычисляется 2 значения ЦФ, а на каждой последующей – только одно (в силу того, что одна из точек x1k+1 или x2k+1 совпадает с одной из точек x1k или x2k , полученных на предыдущей итерации). Таким образом,

n = 2 + (k −1) 1 k = n −1.

60

Из (2.18) имеем

4. При использовании метода золотого сечения на первой итерации вычисляется 2 значения ЦФ, а на каждой последующей – только одно (в силу того, что по свойствам золотого сечения одна из точек x1k+1 или x2k+1 совпадает с одной из точек x1k или x2k , полученных на предыдущей итерации). Таким образом,

n = 2 + (k −1) 1 k = n −1.

Из (2.32) имеем

Сравним величины относительного уменьшения интервала для рассмотренных методов (табл. 2.2). Первые две строки – результаты МРП для значений параметра N = 4 и N = 5. Столбец для n = 2 не заполнен, т. к. при двух вычислениях значения ЦФ уменьшить интервал невозможно. Третья и четвертая строки – оптимизированный МРП для четных значений параметра N при N = 4 и N = 6 . Пятая строка – результаты МД. Шестая, седьмая и восьмая строки – МФ для различных значений параметра N . При этом, если n ≥ N , столбец не заполняется, т. к. метод уже закончит свою работу. Последняя, девятая, строка – результаты МЗС.

Видно, что МЗС наиболее эффективен в смысле точности. МФ с увеличением параметра N приближается к нему. Но здесь еще не учитывается, что нужно вычислять также сами числа Фибоначчи. МД имеет преимущество только на первой итерации, т. к. при двух вычислениях функции позволяет сократить интервал неопределенности в 2 раза, а МЗС – только в γ ≈1,618 раз. Но в дальнейшем МД становится менее эффективен, чем МЗС и МФ. МРП – самый