1. Оптимизация. Целевая функция. Локальные и глобальные экстремумы. Аналитическое исследование экстремума функции одной переменной.

Оптимизация – получение наилучших результатов при заданных условиях (найти максимальную прибыль работы предприятия, минимизировать отходы производства). При решении задачи оптимизации должен быть задан критерий оптимизации или целевая функция. Целевая функция

Задача оптимизации сводится к математической задаче поиска экстремума функции многих переменных.

Локальные и глобальные экстремумы.

У функции могут быть экстремумы двух типов: максимумы и минимумы.

Локальным экстремумом называется экстремум, который является экстремумом какой-то ограниченной области (a, b).

Глобальным является экстремум на всей области определения переменной(A).

Задача оптимизации – найти все локальные экстремумы и среди них выбрать глобальный.

Аналитическое исследование для функции одной переменной.

Дана функция одной переменной R(x). Проведем аналитическое исследование для данной функции:

1. решить полученное уравнение с одним неизвестным.

1. Проверку на максимум и минимум можно выполнить с помощью производной . Если при переходе через точку, подозрительную на экстремум производная меняет знак с «+» на «-», то в этой точке – максимум. Если при переходе через точку, подозрительную на экстремум производная меняет знак с «-» на «+», то в этой точке – минимум.

2. Для проверки взять вторую производную в подозрительной точке . Если вторая производная меньше нуля, то в этой точке находится max; если <0 - в этой точке находится min. Если =0, то необходима проверка производных более высокого порядка.

Замечание:

Возможны случаи, когда в точке экстремума производная не существует, поэтому обязательным условием для наличия экстремума: производная в этой точке равна нулю или не существует.

Когда производная равна нулю, но экстремума нет. Это точка перегиба.

Графическое определение экстремума.

Для того чтобы графически определить экстремум, надо построить график этой функции и найти все локальные экстремумы и выявить среди них глобальный.

Одномерная оптимизация метод сканирования.

Метод заключается в последовательном переборе всех значений с шагом ε (погрешность решения) с вычислением критерия оптимальности R в каждой точке. Путем выбора наибольшего из всех вычисленных значений R и находится решение задачи x*.

Достоинство метода в том, что можно найти глобальный максимум критерия, если R(x) – многоэкстремальная функция. К недостаткам данного метода относится значительное число повторных вычислений R(x), что в случае сложной функции R(x) требует существенных затрат времени.

Метод золотого сечения.

Метод основан на делении текущего отрезка [a, b], где содержится искомый экстремум, на две неравные части, подчиняющиеся правилу золотого сечения, для определения следующего отрезка, содержащего максимум.

Золотое сечение определяется по правилу: отношение всего отрезка к большей его части равно отношению большей части отрезка к меньшей. Ему удовлетворяют две точки c и d, расположенные симметрично относительно середины отрезка.

.

Путем сравнения R(c) и R(d) определяют следующий отрезок, где содержится максимум. Если R(d)>R(c), то в качестве следующего отрезка выбирается отрезок [a, d].

Новый отрезок снова делится на неравные части по правилу золотого сечения

Существуют аналитические формулы для расчета новой точки на отрезке, где находится максимальное значение R(x), которую нетрудно получить:

.

Условие окончания поиска – величина отрезка, содержащего максимум, меньше заданной погрешности.

Многомерная безусловная градиентная оптимизация метод градиента.

Метод градиента в чистом виде формирует шаг по переменным как функцию от градиента R(x) в текущей точке поиска. Простейший алгоритм поиска minR(x) записывается в векторной форме следующим образом:

,

Или в скалярном виде:

j=1,…, n.

Величина рабочего шага в направлении градиента h grad R(x) зависит от величины градиента, который заранее учесть трудно, и от коэффициента пропорциональности шага h, с помощью которого можно управлять эффективностью метода.

Поиск каждой новой точки состоит из двух этапов:

1. оценка градиента R(x) путем вычисления частных производных от R(x) по каждой переменной ;

2. рабочий шаг по всем переменным одновременно.

Величина h сильно влияет на эффективность метода. Большей эффективностью обладает вариант метода, когда шаг по каждой переменной определяется направляющими косинусами градиента

,

где

Метод наискорейшего спуска.

В текущей точке вычисляется , и затем в направлении градиента ищется . Наиболее часто используется сканирование до первого локального минимума по направлению .

В результате вдали от оптимума эффективность метода повышается, мы быстрее попадаем в район оптимума, в окрестности которого эффективность метода снижается из-за частой смены направления поиска и приближается к эффективности метода градиента.

Метод, как и все градиентные методы, обладает невысокой эффективностью в овражных функциях. В ряде случаев можно повысить скорость выхода в район оптимума предъявлением невысоких требований к точности поиска по направлению (задается величиной h – шагом поиска по направлению). Условием окончания может являться малость модуля градиента R(x) . В ряде случаев используют уменьшение шага поиска оптимума по направлению после каждой смены направления. Это позволяет с большей точностью каждый раз находить оптимум, но резко снижает эффективность поиска в овражных функциях.