Выбор метода оптимизации

Выбор метода решения зависит от способа постановки задачи оптимизации. Эффективность метода характеризуется многими параметрами: скоростью сходимости, временем выполнения одного шага поиска, объемом занимаемой памяти машины и т.д. Когда оптимизационная задача поставлена, приходит время выбирать метод ее решения. Прежде всего, при этом следует учесть основные характеристики целевой функции и функций ограничений.

По ним все задачи разбиваются на классы, каждому из которых отвечает своя группа предпочтительных алгоритмов. Однако речь идет именно о группе, так что проблема выбора остается и после определения класса задачи. Самое общее правило выбора звучит следующим образом: чем больше информации о производных, которую можно получить ценой приемлемых затрат, будет использовано при решении задачи, тем лучше.

Выбор метода безусловной оптимизации

Пусть известно, что целевая функция дважды дифференцируема, а число переменных равных n таково, что nxn - матрица свободно помещается в оперативной памяти машины. В этой ситуации методы поиска без ограничений можно ранжировать следующим образом:

- модифицированные ньютоновские с вычислением производных;

- модифицированные ньютоновские без вычисления производных;

- квазиньютоновские с вычислением градиентов;

- квазиньютоновские без вычисления градиентов;

- методы сопряжения градиентов с вычислением первых производных;

- методы сопряжения градиентов без вычисления первых производных;

- метод многогранника.

Чем выше позиция метода в этом списке, тем больше число задач указанного класса, которые он успешно решает. В приведенном списке самым непритязательным является метод многогранника. Он же и самый ненадежный. Этот и подобный ему методы следует использовать, только когда нет альтернативы.

Выбор метода для задачи с нелинейными ограничениями

В основе большинства методов решения небольших задач с гладкими целевыми функциями и линейными ограничениями лежит какая-то из типовых стратегий поиска безусловного минимума.

При хорошем воплощении метода именно она будет определять его качества.

Размер задачи

Существующие программы минимизации при линейных ограничениях разделяются на две категории: одни рассчитаны на большие размерности, другие - на малые и умеренные. Стало быть, подбирая средства для решения конкретной задачи прежде всего следует решить, считать ли ее “большой” или нет. Разработка математического обеспечения для оптимизации при больших размерностях всегда была делом коммерческим, в то время, как методы и программы для небольших задач создавались в “академических” целях. Отсюда ряд характерных различий. В частности, средства, ориентированные на большие задачи, намного удобнее в обращении.

Структура ограничений

Алгоритмы решений небольших задач могут использовать существенно различные внутренние представления матрицы ограничений, и ориентироваться на разные предположения о ее структуре. Будучи приспособленные к одним структурам, алгоритм окажется неэффективным (или неудобным) в обращении для других. Сказанное относится, в частности, к алгоритмам линейного программирования.