25. Численный метод оптимизации функции одной переменной – метод «золотого сечения»

Тебуется найти безусловный минимум функции f(x) одной переменной, т.е. такую точку , что . 

При построении конкретного метода одномерной оптимизации, работающего по принципу сокращения интервала неопределенности, следует определиться с правилом выбора на каждой итерации двух внутренних точек, при этом желательно, чтобы одна из них всегда использовалась в качестве внутренней для следующего интервала. В этом случае число вычислений функции сократится вдвое, и новая итерация потребует расчета только одного нового значения функции. В методе золотого сечения в качестве внутренних точек выбираются точки золотого сечения.

Определение. Точка производит «золотое сечение» отрезка, если отношение длины всего отрезка к большей части равно отношению большей части к меньшей. 

Метод относится к последовательным стратегиям. Задается начальный интервал неопределенности и требуемая точность. Алгоритм основан на анализе величин функции в двух точках. В качестве точек вычисления функции выбираются точки золотого сечения. Тогда учетом свойств золотого сечения на каждой итерации, кроме первой, требуется только одно новое вычисление функции. Поиск заканчивается, когда длина текущего интервала неопределенности оказывается меньше установленной величины.

Алгоритм.

1. Задать начальный интервал неопределенности  и требуемую точность .  2. Положить k=0. 

3. Вычислить точки ,.  4. вычислить значения : ,

5. Сравнить значения  и  : а) если  , исключить интервал  , положить  . Перейти к шагу 6. 

б) если  >  , то исключить интервал , положить .Перейти к шагу 6.

6. Вычислить   а) если , то поиск завершен . В качестве приближения можно взять середину этого интервала .  б) если  то положить k=k+1 и перейти к шагу 4.

26. Градиентный метод оптимизации – метод с дроблением шага

В этом варианте градиентного метода величина шага αⁿ на каждой итерации выбирается из условия выполнения неравенства

f(xn+1) = f(xn – αnf ′(xn)) ≤ f(xn) – εαn||f ′(xn)||2,

(11)

где ε ∈ (0, 1) — некоторая заранее выбранная константа. Условие (11) гарантирует (если, конечно, такие αⁿ удастся найти), что получающаяся последовательность будет релаксационной. Процедуру нахождения такого αⁿ обычно оформляют так. Выбирается число δ ∈ (0, 1) и некоторый начальный шаг α⁰. Теперь для каждого n полагают αⁿ = α⁰ и делают шаг градиентного метода. Если с таким αⁿ условие (11) выполняется, то переходят к следующему n. Если же (11) не выполняется, то умножают αⁿ на δ ("дробят шаг") и повторяют эту процедуру до тех пор пока неравенство

f ′(xn) =

∫

1 0

f ′′[x* + s(xn – x*)](xn – x*) ds

не будет выполняться.

27.Градиентный метод оптимизации – метод наискорейшего спуска.

В данном случае на каждой интеграции шаг выбирается из условия минимума функции f(x) в направлении движения. Т.е. ,

где

Алгоритм метода:

1.Задаются ; вычисляются полагается k=1

2. определяется

3.вычисляются

4.проверяется условие окончания вычислений

Если оно выполняется, то полагается , и вычисления завершаются.

28. Градиентный метод оптимизации – метод Ньютона

Метод Ньютона так же как и градиентные методы, относится к методам спуска, т.е. предназначены для численного решения задач безусловной минимизации. Метод Ньютона основан на идее замены минимизируемой функции f(x) в окрестности точки квадратичной частью ee разложения в ряд Тейлора

Суть метода: в методе Ньютона очередная точка в последовательности …приближений к точке минимума выбирается по правилу: , где -матрица, обратная матрице А. Таким образом, метод Ньютона является методом второго порядка.

Алгоритм метода:

1.Задаются Задаются ; вычисляются полагается k=1

2.вычисляется

3.определяется

4.вычисляются ,

5.проверяется условие окончания вычислений . Если оно выполняется, то полагается , и вычисления завершаются.