Классификация методов оптимизации
Общая запись задач оптимизации задаёт большое разнообразие их классов. От класса задачи зависит подбор метода и эффективность её решения.
Классификацию задач определяют: целевая функция, критерий оптимизации и допустимая область, которая задаётся системой неравенств и равенств.
Возможны различные подходы к классификации методов оптимизации. Выделим основные.
В соответствии с задачами оптимизации:
Локальные методы: сходятся к какому-нибудь локальному экстремуму целевой функции. В случае унимодальной целевой функции, этот экстремум единственен, и будет глобальным максимумом/минимумом.
Глобальные методы: имеют дело с многоэкстремальными целевыми функциями. При глобальном поиске основной задачей является выявление тенденций глобального поведения целевой функции.
По методам поиска:
детерминированные;
случайные (стохастические);
комбинированные.
По виду допустимого множества
Безусловная оптимизация, если
.
Отсутствуют ограничения и связи.Условная оптимизация, если
.
Присутствуют ограничения и/или связи.
По виду критерия оптимальности:
Задачи математического программирования (критерий – функция);
Вариационные задачи (критерий – функционал).
По критерию размерности допустимого множества:
методы одномерной оптимизации;
методы многомерной оптимизации.
По виду целевой функции и допустимого множества:
Задачи оптимизации, в которых целевая функция и ограничения
являются линейными функциями, разрешаются
так называемыми методами линейного
программирования.В противном случае имеют дело с задачей нелинейного программирования и применяют соответствующие методы. В свою очередь из них выделяют две частные задачи:
если и — выпуклые функции, то такую задачу называют задачей выпуклого программирования;
если
,
то имеют дело с задачей целочисленного
(дискретного) программирования.
По объему необходимой информации для реализации метода, а также требованиям к гладкости и наличию у целевой функции частных производных:
прямые методы, требующие только вычислений целевой функции в точках приближений (методы нулевого порядка);
методы первого порядка: требуют вычисления первых частных производных функции;
методы второго порядка: требуют вычисления вторых частных производных.
По способам анализа (технологии расчетов):
аналитические методы (например, метод множителей Лагранжа);
численные методы;
графические методы.
2. Безусловная оптимизация функции одной переменной
Задача оптимизации, в которой характеристическая мера задана функцией одной переменной, относится к наиболее простому типу оптимизационных задач. Тем не менее, анализ задач такого типа занимает центральное место в оптимизационных исследованиях. Это связано не только с тем, что именно такие задачи часто решаются на практике, но и с тем, что одномерные методы оптимизации часто используются для анализа подзадач, которые возникают при реализации итеративных процедур, ориентированных на решение многомерных задач.