2. Теоретические методы прямого поиска

   1. Метод сопряженных направлений (метод Пауэлла)

На k-м этапе метода Пауэлла используютсяnлинейно независимых направлений поиска; при этом поиск начинается в некоторой точкеи проводится следующим образом:

Шаг 1. Начиная из , с помощью какого-либо одномерного поиска определяетсятак, чтобы принимала минимальное значение, и полагается . Начиная из, определяетсятак, чтобы обращалась в минимум, и полагается . Поиск продолжается последовательно в каждом направлении, всегда начиная из самой последней точки последовательности, пока не будут определены все,i=1, …,n. Величина, полученная при минимизациив направлении, используется на шаге 4 (см. ниже).

Шаг 2. Пауэлл отметил, что поиск, осуществляемый в соответствии с шагом 1, может привести к линейно зависимым направлениям поиска, как, например, в случае, когда одно из компонент становится тождественным нулем, поскольку в этом направлении не может быть движения. Следовательно, два направления могут стать коллинеарными. Таким образом, не следует заменять старое направление на новое, если после этого направления нового набора становятся линейно зависимыми. Пауэлл показал также (на примере квадратичной функции), что при нормировании направлений поиска в соответствии с формулой= 1,i= 1, …,n, определитель матрицы, столбцы которой представляют собой направления поиска, принимает максимальное значение тогда и только тогда, когдавзаимно сопряжены относительно Н. Он пришел к выводу, что направление полного перемещения наk-м этапеs^(k)должно заменять предыдущее направление только в том случае, когда заменяющий вектор увеличивает определитель матрицы направлений поиска, поскольку только тогда новый набор направлений будет более эффективным. Следовательно, после минимизациив каждом изnнаправлений, как на шаге 1, проводится один дополнительный шаг величиной (), соответствующий полному перемещению наk-м этапе и приводящий в точку (). Затем проводится тест (см. шаг 3), чтобы убедиться, уменьшается ли определитель матрицы направлений поиска путем включения нового направления и отбрасывания старого.

Шаг 3. Обозначим наибольшее уменьшение в каком-либо направлении поиска наk-м этапе черезНаправление поиска, соответствующее этому максимальному изменению, обозначим через. Чтобы сделать обозначения более компактными, положим,и, гдеи. Тогда еслии (или), то следует использовать на (k+1)-м этапе, т.едляi= 1, …,n, и начать поиск из точки[или изв зависимости от того, в какой точке х функцияпринимает наименьшее значение].

Шаг 4. Если тест на шаге 3 не удовлетворен, то ищется минимум в направлении вектора, проведенного изв, точка этого минимума берется в качестве начальной для следующего (k+1)-го этапа. Система направлений, используемых на (k+1)-м этапе, та же, что и наk-м этапе, за исключением направления, которое заменяется на. Однакопомещают в последний столбец матрицы направлений, а не на место. Следовательно, на (k+1)-м этапе будут использоваться следующие направления

Шаг 5. Критерий удовлетворительной сходимости для метода Пауэлла, используемый для определения момента окончания поиска в конце любого этапа, состоит в том, что изменение по каждой независимой переменной должно быть меньше, чем заданная точность ,i= 1, …,n, или.