Содержание

Введение……………………………………………………………………3

1 Теоретическая часть.……………….……………………………………4

1.1Градиентные методы……………………………………………...……4

1.1.1Метод градиентного спуска с дроблением шага………...…………5

1.1.2Метод наискорейшего спуска ………………………………………6

1.1.3Метод сопряженных направлений ………………………….………6

1.1.4Метод Ньютона………………………….……………………………7

1.2 Постановка задачи оптимизации…….………………………………7

1.3 Необходимые и достаточные условия экстремума...………………7

1.4 Характеристика класса задачи …………………………………..……8

1.5 Задачи многомерной безусловной минимизации……………………8

2 Расчётная часть…..………………………………………………………10

2.1 Аналитический метод решения ………………………………………10

2.2 Алгоритм метода градиентного спуска ………………………...……11

Заключение…………………………………………………………………12

Введение

Метод оптимизации, как раздел математики существует достаточно давно. Оптимизация – это выбор, т.е. то, чем постоянно приходится заниматься в повседневной жизни. Термином "оптимизация" в литературе обозначают процесс или последовательность операций, позволяющих получить уточненное решение. Хотя конечной целью оптимизации является отыскание наилучшего или "оптимального" решения, обычно приходится довольствоваться улучшением известных решений, а не доведением их до совершенства. Поэтому под оптимизацией понимают скорее стремление к совершенству, которое, возможно, и не будет достигнуто.

Цели данной курсовой работы:

• рассмотреть и изучить основные методы оптимизации;

• представить заданную квадратичную форму в матричной форме записи;

• исследовать характер экстремума;

• описать в матричной форме метода поиска и составление алгоритма;

• рассмотреть основные приемы решения задач нахождения экстремума и оптимизации в математическом пакете MathCAD;

• произвести расчёт;

• сделать выводы по работе.

1 Теоретическая часть

1.1 Градиентные методы

Важность прямых методов неоспорима, т.к. в практических задачах информация о значениях целевой функции является единственно надежной информацией, которой располагает инженер. Однако, если существует и непрерывны целевая функция f(x) и ее первые производные, a также они могут быть записаны в аналитическом виде (или с достаточно высокой точностью вычислены при помощи численных методов), то целесообразно использовать методы, основанные на использовании градиента целевой функции.

Градиент функции F(x) – это вектор, составляющие которого равны частным производным функции F(x) по соответствующим переменным, т.е.

Направление вектора градиента совпадает с направлением наискорейшего возрастания функции. Вектор противоположного знака -ÑF(x) называется антиградиентом, его направление совпадает с направлением наискорейшего убывания функции.

Матрица вторых производных Ñ2F(x) – это симметричная квадратная матрица порядка n вторых частных производных функции F(x). Эту матрицу называют матрицей Гессе и обозначают H(x) = Ñ2F(x). Ее элемент, расположенный на пересечении i-й строки и j-го столбца, равен:

Пусть х^Т =[x₁ , x₂ ,…, x_n ] – вектор переменных. Для наличия в точке x* локального минимума 0 и матрица(максимума) необходимо, чтобы выполнялось равенство ÑF(x*) = Гессе H(x*) = Ѳ F(x*) была положительно (отрицательно) полуопределенной, т.е. x^T 0 ( xHx ³^T 0).Hx £

Достаточным условием существования минимума (максимума) в точке x* является положительная (отрицательная) определённость матрицы Гессе в этой точке, т.е. x^T Hx >0 ( x^T Hx<0).

Все методы основаны на итерационной процедуре, реализуемой в соответствии с формулой x^{k +1} = x^k + a^k s(x^k ), где

x^k – текущее приближение к решению x^* ;

a^k – параметр, характеризующий длину шага;

s(x^k ) – направление поиска в N - мерном пространстве управляемых переменных x_i , i = 1, 2,..., N.

Способ определения a^k и s(x^k ) на каждой итерации связан с особенностями применяемого метода. Обычно выбор a^k осуществляется путем решения задачи минимизации f(x) в направлении s(x^k ). Поэтому при реализации градиентных методов необходимо использовать эффективные алгоритмы одномерной минимизации.