Исследование операций и методы оптимизации. Часть 1. Лекционный курс

Оба критерия останова выполняются, следовательно, поиск закончен. Ответ: x = 1,6125; (точное решение x* = 1,5874).

8.4 Методы с использованием производных

Рассмотренные выше методы поиска основаны на предположениях об унимодальности и, в ряде случаев, о непрерывности исследуемой целевой функции. Если в дополнение к условию непрерывности ввести требование дифференцируемости, то эффективность поисковых процедур можно существенно повысить.

Напомним, что необходимым условием существования локального минимума функции в некоторой точке x* является требование стационарности точки x*, т.е.

Рассматриваемые ниже методы поиска экстремумов функций основаны на методах решения нелинейных уравнений с одной переменной.

8.4.1 Метод Ньютона-Рафсона

Если f (x) содержит члены, содержащие x в третьей и более высоких степенях, то непосредственное получение аналитического решения уравнения f ′(x) = 0 может оказаться затруднительным. В таких случаях используются приближенные методы последовательного поиска стационарной точки f (x). Классическая поисковая схема

разработана Ньютоном и позднее уточнена Рафсоном (МНР). Итерационная формула имеет вид:

Она легко получается, если разложить функцию f ′(x) в ряд Тейлора и ограничиться линейным приближением: f ′(xn ) ≈ f ′(xn ) + f ′′(xn )(xn+1 − xn ) = 0.

Геометрическая интерпретация приведена на рис. 8.1. Здесь начальной точкой является точка xn , а искомым экстремумом исследуемой функции точка x*.

f '(x)

f '(xn+1)

f '(xn+2)

xn x* x

xn+1 xn+2

102

Рис. 8.1. Сходимость МНР

f '(x)

x

Рис. 8.2. Отсутствие сходимости МНР

Начальное приближение в МНР следует выбирать вблизи глобального экстремума, в противном случае метод будет расходящимся (рис. 8.2)

8.4.2 Метод средней точки (поиск Больцано)

Пусть f (x) Q[a,b], т.е. функция унимодальна и дифференцируема на отрезке [a,b].

Для нахождения корня уравнения f ′(x) = 0 можно воспользоваться эффективным

алгоритмом исключения интервалов, на каждой итерации которого рассматривается лишь одна пробная точка.

Если в точке z значение функции f ′(z) < 0, то точка x* не может быть левее точки z. В этом случае исключается интервал [a, z].

f(x)

f '(z) < 0

Рис. 8.3а. Поиск Больцано.

Исключается интервал [a, z].

103

Если в точке z f ′(z) > 0 , то минимум x* не может быть расположен правее z. Исключается интервал [z,b].

f(x)

f '(z) > 0

Шаг 2: Вычислить z = R 2+ L ; f ′(z).

Шаг 3: Если f ′(z) ≤ ε , закончить поиск. Иначе:

Замечание: Здесь исследуется лишь знак производной независимо от ее значения.

Кроме рассмотренных выше интервальных методов на практике широкое распространение получили следующие методы поиска нулей функции одной переменной:

8.4.3Другие методы поиска экстремума функций

Упрощенный метод Ньютона (сходимость линейная):

106

f (x) = 2x2 +16 x; x0 =1; ∆1 = 1; ε1 = 0,01; ε2 = 0,03.

Ответ: x =1,5657. Точное решение: x* = 1,5874.

Напомним, что решение, полученное с помощью метода Пауэлла: x = 1,6125.

Это указывает на преимущество полиномиальной аппроксимации более высокого порядка.

8.5 Сравнение методов одномерной оптимизации

С помощью теоретических выкладок можно показать, что такие методы точечного оценивания, как метод Пауэлла, метод поиска с использованием кубичной аппроксимации и производных существенно эффективнее методов исключения интервалов, среди которых выделяется метод золотого сечения. Данный вывод справедлив лишь в предположении, что интервалы сходимости сравнимы между собой, а исследуемая функция является достаточно гладкой и унимодальной. Выбор того или иного метода определяется из следующих соображений:

1.Если необходимо получить решение с очень высокой степенью точности, то лучшими оказываются методы на основе полиномиальной аппроксимации.

2.Если важно добиться надежной работы алгоритма, то целесообразно выбрать метод золотого сечения.

3.Поисковые методы типа метода Пауэлла следует использовать совместно с МЗС, когда возникают затруднения с реализацией соответствующих итераций на ЭВМ.

Для оценки эффективности методов обычно используются три характеристики:

−время, затраченное на получение решения;

−точность решения;

−чувствительность к изменениям параметра сходимости.

Например, метод средней точки, метод Пауэлла и поиск с использованием кубичной аппроксимации могут быть исследованы при поиске минимума функции

f (x) = sink (x), x [0,2π] для различных нечетных значений k:

k [1,79], x* = 4,71239, f (x*) = −1, 0 для любого k .

При возрастании значения k увеличивается время решения и уменьшается точность. Однако МЗС не чувствителен к росту k .

Взаключение этого параграфа отметим, что МЗС обладает высокой

вычислительной эффективностью и простотой реализации. Методы точечного оценивания позволяют определить точки экстремума с помощью квадратичной и кубичной аппроксимации целевой функции. Если интервалы сходимости сравнимы между собой, а целевая функция гладкая и унимодальная, то методы точечного оценивания сходятся значительно быстрее, чем методы исключения интервалов. Однако при исследовании мультимодальных или быстроизменяющихся функций (типа

f (x) = sink x , которая обладает узкими впадинами вблизи точки минимума) наиболее надежным оказывается метод "золотого сечения".

Вопросы для самопроверки

1.Метод равномерного поиска минимума функции.

2.Метод дихотомии поиска минимума функции.

3.Метод золотого сечения поиска минимума функции.

4.Метод Фибоначчи поиска минимума функции.

107

5.Показатели эффективности методов прямого поиска минимума функции.

6.Погрешности методов прямого поиска минимума функции.

7.Методы полиномиальной аппроксимации поиска минимума функции одной переменной.

8.Суть метода квадратичной аппроксимации.

9.Метод Пауэлла поиска минимума функции одной переменной.

10.Метод Ньютона-Рафсона. поиска минимума функции одной переменной.

11.Метод средней точки (поиск Больцано) поиска минимума функции одной переменной.

12.Какие методы поиска нулей функции используются для одномерной оптимизации функций?

13.Метод поиска минимума функции одной переменной с использованием кубичной аппроксимации.

108

Тема 9. Поиск экстремумов функции нескольких переменных (безусловная оптимизация)

9.1 Классификация методов безусловной оптимизации

Здесь исследуются методы и алгоритмы, позволяющие на итерационной основе

получать оценки решения оптимизационной задачи x*, которым соответствует минимальное значение целевой функции f (x). Указанные методы применимы и к задачам

При определенных условиях многие задачи с ограничениями типа:

производные ∂ f (x) ∂xi и ∂2 f (x)(∂xi ∂ j ) в любой точке x Rn :

1)f (x*) = 0, ( x*- стационарная точка);

2)2 f (x* ) – матрица Гессе должна быть положительно определена.

Это условие означает, что квадратичная форма

yT 2 f (x*)y > 0, y Rn , y ≠ 0.

Для выпуклой непрерывно дифференцируемой функции необходимо и достаточно

лишь выполнение равенства: f (x*) = 0.

Методы, ориентированные на решение задач безусловной оптимизации, можно условно разделить на три больших класса:

−Методы прямого поиска (нулевого порядка), основанные на вычислении только значений ЦФ.

−Градиентные методы (методы 1-го порядка), в которых используются точные значения первых производных.

−Методы 2-го порядка, в которых используются также вторые производные целевой функции f (x).

Ни один метод или класс методов не отличается высокой эффективностью при решении оптимизационных задач различных типов. В некоторых ситуациях вычисление значений ЦФ требует чрезмерных затрат времени. Иногда невозможно или очень трудно найти аналитическое выражение для производных целевой функции. Поэтому при использовании градиентных методов следует применять процедуру разностной аппроксимации производных. Таким образом, в каждом конкретном случае необходимо приспосабливать применяемый метод к конкретным характеристикам решаемой ЗО.

9.2. Методы прямого поиска

Рассмотрим два метода прямого поиска:

1.Поиск по симплексу или s2 - метод.

2.Метод Хука-Дживса.