Базовые средства матпакета Scilab

Также известно, что аналитические методы поиска оптимума

применимы только для ограниченного круга задач. В основном это связано с тем, что при использовании аналитических методов возникает необходимость вычисления производных и решения нелинейных уравнений (а для многомерных функций – систем нелинейных уравнений), которые тоже, как правило, решаются только численными методами.

Для поиска оптимального значения целевой функции численными методами кроме самой целевой функции необходимо задать точность искомого оптимума Ɛи начальную точку поиска X0.

Выбор начального приближения является нетривиальной задачей. Поэтому прежде, чем приступить к численному решению задачи оптимизации нелинейных функций, необходимо провести исследование целевой функции.

Исследование целевой функции

Исследование целевой функции можно осуществлять как графически, так и аналитически.

Проведение графического исследования поведения целевой функции (которое возможно только для функций от одной и двух переменных) очень полезно с точки зрения того, что можно не только визуально удостовериться в наличии оптимума, но и провести правильный выбор начальной точки его поиска.

Так в случае одномерной оптимизации можно в области допустимых значений xпостроить график целевой функции, например,

f(x)=x4 + 3x3 - 13x2 - 26x + 26,

который позволяет определить отрезок, содержащий единственный минимум, а затем на этом отрезке, выбрать точку, которая будет использована в качестве начального приближения для дальнейшего уточнения координат точки минимума с требуемой точностью (рис.2.7.1-2).

261

--> // Исследование функции на интервале (-100; 100)

--> -->scf(0)

-->x = -100:0.1:100;

--> // Загрузка сценария РИС2712

--> exec('РИС2712.sce', 0)

--> // Уточнение границ отрезка на интервале (-5; 1)

--> -->scf(1)

--> x = -5:0.1:1;

--> exec('РИС2712.sce')

Рис. 2.7.1-2. Исследование графика целевой функции f(x)

262

Из графика следует, что на отрезке [-4.5;-3] имеется один локальный минимум. После графического исследования, если это возможно, полезно провести аналитическое исследование функции: вычислить первую и вторую производные целевой функции, и убедиться, что на отрезке

меняет знак с минуса на плюс, а f (х) –положительна.

Полученная таблица значений функции и производных (2.7.1-3) подтверждает правильность выбора отрезка [-4;-3], следовательно, из этого отрезка и будет выбрана начальная точка для дальнейшего уточнения точки минимума.

Рис. 2.7.1-3. Аналитическое исследование функции f(x) на отрезке [-4;-3]

Проведем исследование поведения функции от двух переменных. Например, предположим, что необходимо выбрать начальную точку для поиска минимума функции Розенброка:

f(x1,x2)=100(x2-x12)2+(1-x1)2.

263

Отметим, что функция Розенброка является тестовой функцией для многих методов оптимизации в связи с тем, что она относится к классу овражных функций, для которых результат поиска сильно зависит от выбора начальных условий.

Построим график поверхности и контурное изображение функции, которые помогут визуально оценить оптимальную область функции

Розенброка (рис. 2.7.1-4).

-->// Исследование функцииrosenbrock

-->

-->exec('РИС2714.sce', 0);

--> xdata = linspace(-2, 2, 100); --> ydata = linspace(-2, 2, 100);

--> contour(xdata, ydata, rosenbrock, [1 10 100 1000]) --> [x, y] = meshgrid(-2:0.1:2, -2:0.1:2);

--> z = rosenbrock(x, y); --> scf(1); surf(x, y, z);

264

Рис. 2.7.1-4. Исследование функции Розенброка f(x1,x2)

Из контурного графика функции следует, что минимальным является контур со значением функции f=1. Следовательно, в качестве начальной точки поиска минимума может быть выбрана, например, точка с координатами (0,0), определяемая в Scilab вектором x=[0,0].

Построение контурного графика может послужить первым шагом для нахождения оптимального решения многомерной функции, и, кроме того, позволяет сократить количество итераций по поиску оптимума. Однако получить графическое изображение функции можно только тогда, когда у нас есть ограниченное количество входных переменных (1 или 2). Во всех остальных случаях приходится сразу приступать к использованию численных алгоритмов и тогда начальное приближение выбирается исходя из пространства допустимых значений конкретной функции.

2.7.2. Численные методы оптимизации и их реализация в Scilab

Численные методы оптимизации нелинейных функций

Среди численных методов поиска экстремума нелинейных функций можно выделить [24]:

методы прямого поиска, то есть методы, в которых при поиске экстремума целевой функции используются только ее значения;

265

градиентные методы, а также многочисленные модификации этих

значения ее первых производных или первых и вторых производных функции (т.е. в основе градиентных методов лежит выбор направления поиска и шага спуска в этом направлении).

В Scilab реализованы методы поиска оптимума, которые применимы как для решения задачи одномерной, так и многомерной оптимизации для условной и безусловной нелинейной оптимизации [13].

Безусловная оптимизация нелинейных функций использует два базовых алгоритма: Квази-Ньютоновские алгоритмы и алгоритмы НелдераМида.

Квази-Ньютоновские алгоритмы, применяют смешанную процедуру поиска с использованием квадратичного или кубического полиномов и алгоритм BFGS для аппроксимации и корректировки Гессиана (матрицы вторых частных производных). Квази-Ньютоновские методы оптимизации

явное формирование матрицы Гессе, заменяя её приближением, исходя из

этого метода: метод с ограниченным использованием дополнительной памяти (L-BFGS), который предназначен для решения нелинейных задач с большим количеством неизвестных, а также метод с ограниченным использованием памяти в многомерном кубе (L-BFGS-B). Этот метод находит минимум любой дважды непрерывно дифференцируемой выпуклой функции. Несмотря на эти теоретические ограничения, BFGS хорошо справляется и с невыпуклыми функциями.

Алгоритм Нелдера-Мида, также известен как метод деформируемого многогранника или симплекс-метод. Этот алгоритм является алгоритмом прямого поиска и использует только значения функции (не требует производные), а поэтому легко применим к негладким и/или зашумленным функциям. Здесь регулярным симплексом называется множество (n+1)-й равноудаленной точки в n-мерном пространстве. В двумерном пространстве симплексом является равносторонний треугольник, а в трехмерном пространстве – правильный тетраэдр.

Алгоритм, построенный на основе метода Нелдера-Мида, заключается в последовательном перемещении и деформировании симплекса вокруг

оптимальной точки с помощью итерационной процедуры. Существуют несколько модификаций этого метода, допускающих, чтобы симплексы были неправильными. В результате получился очень надежный метод прямого поиска, являющийся одним из самых эффективных, если n<6. В различных модификациях метода симплекс может перемещаться с помощью трех основных операций: отражения, растяжения и сжатия.

Средства Scilab для решения задач оптимизации

Программные средства Scilab для решения определенных задач оптимизации называют решателями. Безусловно, одной из самых сложных проблем, возникающих при решении задачи оптимизации, является проблема формализации – представление реального оптимизируемого объекта или процесса в виде математической модели, т.е. в виде функции, связывающей параметры оптимизации с воздействующими на неё факторами. При этом второй по сложности проблемой здесь является выбор из множества существующих алгоритмов подходящего и позволяющего обеспечить сходимость за приемлемое время. Эту задачу в системе Scilab помогают выполнить решатели, включающие различные методы, настраиваемые на максимальную скорость решения задачи оптимизации, используя доступные вычислительные ресурсы и соответствующие настройки их параметров. То есть в Scilab программные средства оптимизации реализованы как наборы объектно-ориентированных инструментов – решателей и вспомогательных компонент.

Основными программными средствами оптимизации в Scilab являются

[13]:

optim– решатель, предназначенный для задач нелинейной

оптимизации как без ограничений, так и с ограничениями, основанный на Квази-Ньютоновских методах и использующий внешнюю функцию cost, которая позволяет свести к минимуму проблемы, связанные с вычислением производных и их градиентов,

в тех случаях когда их сложно получить в явном виде;

Neldermead – набор объектно-ориентированных инструментальных средств, который поддерживает прямой поиск оптимума, основанный на методах Нелдера-Мида.

Они могут использоваться, если:

o нет необходимости или невозможно получить производные

целевых функций;

o количество параметров невелико (не более 6);

o могут существовать границы и/или нелинейные ограничения. В наборе инструментальных средств Neldermeadпредоставлены следующие решатели:

267

o neldermead– решатель, который реализует различные варианты алгоритмов Нелдера-Мида и может управлять ими для установки их компонент, таких, например, как способы вычисления начальных симплексов, критерии завершения процесса оптимизации и многие другие;

o fminsearch – решатель, который реализует упрощенный алгоритм Нелдера-Мида, в котором заранее заданы конкретные установки критериев прекращения оптимизации, начальные симплексы и вспомогательные установки.

o nmplot – решатель, обеспечивающий расширенные возможности для отображения и хранение выходных графиков хода выполнения итерации алгоритма Нелдера-Мида, то есть его можно рассматривать как инструмент для исследования процесса оптимизации и обучения.

Вспомогательными классами и методами для этих решателей являются:

o optimbase – абстрактный, определяющий такие параметры как количество переменных, минимальные и максимальные границы, количество нелинейных ограничений неравенства, критерии прекращения, целевые функции; optimsimplex – класс для управления симплексом из произвольного числа вершин, включая вычисление симплекса различными методами и управление его параметрами.

o optimset –метод, который может создавать или обновлять значения структур данных оптимизации для изменения поведения методов и результатов оптимизации;

o optimget – метод, который запрашивает текущие значения

структуры данных оптимизации;

o optimplotfunccount, optimplotx и optimplotfval – методы, которые

осуществляют управление возможностями вывода результатов для решателей.

Таким образом, система Scilab имея большую коллекцию доступных алгоритмов, обладает большим потенциалом для решения задач нелинейной оптимизации функций как одной, так и многих переменных.

Рассмотрим использование некоторых упомянутых выше решателей более подробнее.

2.7.3. Решатели нелинейной оптимизации Scilab

268

Решатель optim

Решатель optimпредназначен для решения задачи нелинейной оптимизации f(X), где X является вектором, а f(X) функцией, возвращающей скаляр. Функция optim использует Квази-Ньютоновские методы, основанные на различных алгоритмах, в том числе на BFGS-алгоритме, который представляет собой алгоритм высокой точности для локальной оптимизации. Пространство допустимых решений этой функции может быть и ограниченное – задача нелинейной оптимизации с ограничениями (или условная оптимизация):

minf(X), приbinf<= X<= bsup,

где binf – нижняя граница, а bsup – верхняя граница X.

Для вычисления значений целевой функции и её производных функция optimиспользует вспомогательную функцию costf. Имя этой функции входит в состав аргументов в качестве указателя на функцию. Заметим, что функция costf является внешней, и может быть написана на языках Scilab, C++ или

Fortran.

В случае если costf является sce-функцией, то обращение к ней может иметь следующий формат:

[f,g,ind]=costf(X,ind),

где X – вектор значений текущей точки, ind – параметр, предназначенный для связи функции costfс функцией optim(если значение ind равно 2 , 3 или 4 то функция сostfобеспечивает поиск минимума, если ind=1, то в функция optimне выполняется), f – вещественное значение целевой функции в точке X, а g – вектор, содержащий значения частных производных целевой функции (или, в случае одномерной оптимизации, значение производной), вычисляемых с использованием функции numdervative(f,X).

Выходное значение параметра indпоказывает причину завершения работы функции costf, причем, если ind<0, то это значит, что f не может являться оценкой X, а ind=0 означает прерывание процесса оптимизации.

Функция optimможет быть вызвана одним из следующих форматов:

fopt=optim(costf,X0) fopt=optim(costf,<contr>,X0,algo,df0,mem,work,<stop>,iprint=iflag)

[fopt,xopt]=optim(…) [fopt,xopt,gopt]=optim(…)

[fopt, xopt, gopt, work] = optim(…)

[fopt, xopt, gopt, work, iters] = optim(…) [fopt, xopt, gopt, work, iters, evals]= optim(…)

[fopt, xopt, gopt, work, iters, evals, err]=optim(…)

269

fopt,xopt,gopt,work,iters,evals,err,ti,td=optim(…,params="si","sd")

Набор обязательных входных параметров:

сostf – функция, вычисляющая целевую функцию и частные производные (или производную в случае одномерной оптимизации);

X0 – вещественный вектор, состоящий из начальных значенийX.

аlgo – строка, указывающая используемые доступные алгоритмы (по умолчанию – "qn"):

"qn" – Квази-Ньютоновский BFGS;

"gc" – ограниченная память BFGS;

"nd" – не используются производные и не учитываются ограничения по X.

df0 – вещественный скаляр, представляющий значение f на первой итерации (по умолчанию df0=1).

mem – целое число переменных, используемых для матрицы Гессе (по умолчанию mem=10);

<stop>– последовательность (список) параметров, управляющий cходимостью алгоритма:

"ar", nap

"ar", nap, iter "ar", nap, iter, epsg

"ar", nap, iter, epsg, epsf "ar", nap,iter, epsg, epsf, epsx

где: nap – максимальное количество допустимых вызовов costf (по умолчанию nap=100);

iter – максимальное количество итераций (по умолчанию

iter=100);

epsg – порог градиентной нормы (по умолчанию epsg=%eps); epsf – порог контроля снижения f (по умолчанию epsf=0); epsx – порог контроля изменения X (по умолчанию epsx=0),

"iprint=iflag" – именованный аргумент, используемый для установки режима трассировки выходных данных (по умолчанию iprint=0, режим, при котором печатаются сообщения), причем, если iprint больше или равно 1, выводится больше информации, в зависимости от выбранного алгоритма:

Если iflag<0, то целевая функция вычисляется в каждой из m итераций, с ind=1.

Выходные параметры:

fopt – значение целевой функции в точке xopt;

270