3. Численные методы решения задач одномерной оптимизации унимодальных функций

3.1. Прямые методы. Предварительные сведения

Для решения задачи минимизации функции f(x) на отрезке [а; b] на практике, как правило, применяют приближенные методы. Они по­зволяют найти решение этой задачи с необходимой точностью в ре­зультате определения конечного числа значений функции f(x) в ее производных в некоторых точках отрезка [а; b]. Методы, использую­щие только значения функции и не требующие вычисления ее произ­водных, называются прямыми методами минимизации. Большим достоинством прямых методов является то, что от целе­вой функции не требуется дифференцируемости и, более того, она может быть не задана в аналитическом виде. Единственное, на чем ос­нованы алгоритмы прямых методов минимизации, это возможность оп­ределения значений f(x) в заданных точках.

Рассмотрим наиболее распространенные на практике прямые ме­тоды поиска точки минимума.

Самым слабым требованием на функ­цию, позволяющим использовать эти методы, является ее унимо­дальность.

Функция f(x) называется унимодальной на отрезке [а; b] , если она непрерывна на [а; b], и существует два числа которые такие, что:

1. если , то на отрезке функция f(x) монотонно убывает;

2. если , то на отрезке функция f(x) монотонно возрастает;

3. если

Применение некоторых методов одномерной минимизации возможно только в случае, если скорость изменения целевой функции на любом участке отрезка ограничена некоторым числом, одним и тем же для всех участков. В этом случае говорят, что данная функция удовлетворяет на этом участке условию Липшица. Целевые функции большинства практических задач оптимизации указанным свойством обладают.

Определение. Функция f(x)удовлетворяет на отрезке [а; b] условию Липшица, если существует такое число (константа Липшица), что

для всех , принадлежащих [а; b].

3.2. Методы перебора и поразрядного поиска

Метод перебора или равномерного поиска является простейшим из прямых методов минимизации и состоит в следующем. Разобьем отрезок [а; b] на равных частей точками деления . Вычислив значения f(x) в точках , путем сравнения найдем точку , для которой

Далее, положим

Замечания:

1. Погрешность определения точки минимума функции f(x) ме­тодом перебора не превосходит величины .

2. Пусть реализация метода перебора потребовала N вычисле­ний функции f(x). Это означает, что отрезок [а; b] был разбит на n =N-1 частей и достигнутая точность определения составила .

3.3. Методы исключения отрезков

В методе перебора, рассмотрением выше, точки в которых оп­ределяются значения f(x), выбираются заранее. Если же для выбора очередной точки вычисления (измерения) f(x) использовать информа­цию, содержащуюся в уже найденных значениях f(x), то поиск точки минимума можно сделать более эффективным, т.е. сократить число определяемых для этого значений f(x), как, например, в методе пораз­рядного поиска. Один из путей такого более эффективного поиска точки ука­зывает свойство 3 унимодальных функций. Пусть . Сравнив значения f(x) в точках (проб­ных точках), можно сократить отрезок поиска точки ,перейдя к отрезку , если или к отрезку , если (рис. 1). Описанную процедуру можно повторить необходимое число раз, последовательно уменьшая отрезок, содержащий точку миниму­ма. Когда длина последнего из найденных отрезков станет достаточно малой, следует положить , где — одна из точек этого отрезка, например, его середина. Методы минимизации, основанные на этом принципе, называются методами исключения отрезков.

Чтобы относительное уменьшение отрезка на каждой итерации не зависело от того, какая из его частей исключается из дальнейшего рассмотрения, пробные точки следует располагать симметрично относительно середины исходного отрезка. В зависимости от способа вы­бора пробных точек получаются различные методы исключения отрез­ков. На практике используются следующие.

Рис. 1. Уменьшение отрезка поиска точки минимума методами исключения отрезков