Одномерная оптимизация
2.1 Задача экстремума
Одномерная задача
оптимизации в общем случае формулируется
следующим образом. Найти наименьшее
(или наибольшее) значение целевой функции
y=f(x),
заданной на множестве
,
и определить значение проектного
параметра х Є
,
при которой целевая функция принимает
экстремальное значение.
Существование решения поставленной задачи вытекает из теоремы Вейерштрасса: всякая функция f(x), непрерывная на отрезке [a, b], принимает на этом отрезке наименьшее и наибольшее значения, т.е. на отрезке [a, b] существуют такие точки x1 и x2, что для любого х [a, b] имеют место неравенства f(x1)<f(x)<f(x2).
Эта теорема не доказывает единственности решения. Не исключена возможность, когда равные экстремальные значения достигаются сразу в нескольких точках данного отрезка.
Будем рассматривать методы оптимизации для разных классов целевых функций. Простейшим из них является случай дифференцируемой функции f(x) на отрезке [a, b], причем функция задана в виде аналитической зависимости y=f(x), и может быть найдено явное выражение для ее производной f'(x). Нахождение экстремумов таких функций можно проводить известными из курса высшей математики методами дифференциального исчисления.
Функция f(x) может достигать своего наименьшего и наибольшего значения либо в граничных точках отрезка [a, b], либо в точках min и max. Последние точки обязательно должны быть критическими, т.е. производная f'(x) в этих точках должна обращаться в нуль – это необходимое условие экстремума. Т.о. необходимо вычислить значение функции во всех критических точках данного отрезка и в его граничных точках и сравнить полученные значения.
Если уравнение f'(x)=0 для отыскания критических точек аналитически решить не удается; необходимо использовать численные методы решения нелинейных уравнений.
В случае когда функция задана таблично или может быть вычислена при некоторых дискретных значениях аргумента, используются различные методы поиска.
Методы поиска
Численные методы поиска экстремальных значений функции рассмотрим на примере поиска min функции f(x) на отрезке [a, b].
Будем предполагать, что целевая функция унимодальна, т.е. имеет только один min.
Процесс решения задачи методом поиска состоит в последовательном сужения интервала изменения проектного параметра, называемого интервалом неопределенности. В начале процесса оптимизации его длина равна b – а, а к концу должна стать менее заданного допустимого значения , т.е. оптимальное значение проектного параметра должно находиться в интервале неопределенности – отрезке [xn, xn+1], причем xn+1– xn< .
Наиболее простым способом сужения интервала неопределенности является деление его на некоторое число равных частей с последующим вычислением значений целевой функции в точках разбиения и нахождением среди них наименьшего yi=f(xi). Очевидно, что с увеличением числа точек разбиения погрешность в определении минимума стремится к нулю. Данный метод можно назвать методом перебора. Основная трудность при его использовании состоит в выборе n и оценке погрешности. Можно, например, провести оптимизацию с разными шагами и исследовать сходимость только итерационного процесса. Но это трудоемкий путь.
Более экономичным способом уточнения оптимального параметра является использование свойства унимодальности целевой функции, которое позволяет построить процесс сужения интервала неопределенности. Пусть среди всех узлов xk (k=0, 1, … , n) найдено значение xi в котором yi принимает наименьшее значение. Это означает, что оптимальное значение проектного параметра находится на отрезке [xi–1, xi+1], т.е. интервал неопределенности сузился до длины двух шагов. Если xi+1– xi–1> , то его снова можно уменьшить путем нового разбиения. Получится интервал, равный двум длинам нового шага разбиения, и т.д. Процесс оптимизации продолжается до достижения заданного размера интервала неопределенности. В данном методе общего поиска можно с помощью некоторой изобретательности, а также разумного выбора шага разбиения добиться эффективного поиска.
Существует и ряд специальных методов поиска оптимальных решений с разными способами выбора узлов и сужения интервала неопределенности: метод деления отрезка пополам, метод золотого сечения и другие.