Рассмотрим три метода: метод градиента, метод крутого восхождения (метод наискорейшего спуска), метод сопряженных градиентов.

8.1. Метод градиента

Сущность этого метода сводится к выполнению следующих операций: 1. В исходной точке определяется градиент рассматриваемой

функции.

39

2. В направлении градиента осуществляют рабочий шаг.

Здесь необходимо особо отметить пошаговую процедуру поиска, которая заключается обычно в следующем:

а) определяются точки, откуда шагаем и куда шагаем; б) сравниваются отклики в этих точках и шаг считается удачным,

если величина целевой функции улучшилась, т.е. увеличилась при поиске максимума (max) и уменьшилась при определении минимума

(min).

В каждой новой точке вычисляется величина целевой функции. Алгоритм поиска следующий:

Иначе говоря, расчеты заканчиваются толькоДв том случае, когда движение из последней удачной точкибне приводит к улучшению целевой функции.

тимума величина шага принимается пропорционально величине первой производной по каждой координате.

Движение по изложенному алгоритму осуществляется до тех пор, пока не будет достигнут глобальный экстремумАс заданной точностью поиска.

При этом последняя удачная точка поиска считается глобальным экстремумом рассматриваемой функциии. Основным недостатком данного метода является большой объем выч слен й [4].

8.2. МетодСрелаксаций

Метод релаксаций заключается в следующем:

а) определяют частные производные рассматриваемой функции по всем координатным осям;

б) из всех вычисленных производных определяют наибольшую; в) в направлении наибольшей производной осуществляется

первый шаг и если он оказался удачным, то величину последующего шага удваивают и осуществляют в этом же направлении еще один шаг. Если и он оказался удачным, то предыдущий шаг вновь удваивают. Эта последовательность применяется до тех пор, пока не

40

Допустим, снова шаг оказался неудачным, тогда осуществляют вновь деление предыдущего шага пополам до тех пор, пока последний шаг не будет меньше или равен заданной точности поиска.

В этой точке определяют вновь частные производные по осям координат от рассматриваемой функции, из которых выбирают наибольшую. Предположим, что это направление будет по оси х2, по которой продолжают движение по вышеизложенному алгоритму до следующего экстремума по заданному направлению и т.д.

Алгоритм поиска следующий:

Движение по вышеизложенному методу осуществляется до тех пор, пока не будет достигнут экстремум с заданной точностью поиска. Иначе при очередном изменении направления движения первый шаг окажется неудачным. Тогда последняя удачная точка является результатом решения рассматриваемой задачи [4].

8.3. Метод наискорейшего спуска (крутого восхождения)

Метод крутого восхождения (наискорейшего спуска) сочетает наилучшие свойства предыдущих методов и сводится к следующему:

а)определяется градиент в исходной точке; б)в направлении градиента осуществляется не один шаг, как в методе

градиента, а несколько шагов, пока не будет достигнут экстремум в дан-

41

ном направлении. Причем каждый последующий шаг удваивается после того, как предыдущий шаг окажется удачным. Шаг считается удачным, если в результате движения функция улучшается, т.е. увеличивается при поиске максимума и уменьшается при определении минимума; в) как только очередной шаг окажется неудачным, величина последую-

щего шага уменьшается в два раза и движение осуществляется из последней удачной точки. Уменьшение шага происходит до тех пор, пока его величина не будет равна заданной точности поиска;

г)в последней удачной точке вновь определяется градиент и движение по новому направлению продолжается;

д) расчеты по заданному алгоритму продолжаются до тех, пока не будет определен экстремум с заданной степенью точности. Практически расчеты прекращаются в том случае, когда определен

42