Квадратичная аппроксимация

Исходная функция аппроксимируется функцией: , (35), где х₀ – точка отсчета, e - точность. Для определения коэффициентов, входящих в функцию (35), выбираются 3 точки и в них вычисляется значение функции f (x₁, x₂=x₁+Δx, x₃=x₂+Δx,f(x₁), f(x₂), f(x₃)). По 3 точкам находим a, b, c. Стационарная точка функции (35) вычисляется из равенства ее производной нулю: x_a=x₀-b/2a. (36) Она используется в условии останова и как новая точка для аппроксимации. Min(f(x₁), f(x₂), f(x₃))=f(x_m). Проверяются условия: |f(x_m)-f(x_a)|<=e_y, |x_m-x_a|<=e_x, если условия выполняются min(f(x_m),f(x_a)), иначе 3 точки (x₁, x_a, x₃).

Метод деления интервала пополам

Предполагается, что точка минимума находится на заданном интервале [a,b]. Т очки выбираются так, что делят интервал на 4 равные части:

x_m=(a+b)/2, x₁=(a+ x_m)/2, x₂=(x_m+b)/2.

Функция вычисляется в этих точках и после сравнения ее значений интервал сокращается в 2 раза. С новым интервалом действия повторяются.

Метод золотого сечения

Отрезок АВ делится точкой С в отношении золотого сечения, если .(37) Эти отношения используются для выбора двух точек внутри интервала неопределенности. Каждая из точек делит интервал [a, b] в отношении золотого сечения.

В этих точках вычисляется функция. Если f(x₁) > f(x₂), то отбрасывается часть интервала [a, x₁], если f(x₁) < f(x₂), то отсекается часть [x₂, b], а при равенстве значений функции – любая из них. Оставшаяся часть интервала равна от величины исходного. Сокращение интервала продолжается до достижения заданной точности.

Метод Фибоначчи

Схема метода почти полностью совпадает с методом золотого сечения. Отличие в том, что вместо золотого сечения используется отношение чисел Фибоначчи: на k-й итерации доли малого и большого отрезков интервала равны и соответственно.

Метод первого порядка

Он применим к дифференцируемым функциям в случаях, когда первая производная может вычисляться с высокой точностью. Метод средней точки. Определяется средняя точка интервала c=(a+b)/2 и вычисляется в ней производная. Если f '(c) < 0, полагают а = с, при f '(c) > 0, принимают b = с. Условия окончания поиска: ((b-a)<  )  (| f '(c) | < ₁). Эффективность метода зависит от трудоемкости вычисления производной. Задаваемая точность ₁ не должна быть выше точности вычисления производной.

Методы второго порядка

Методы применимы к дважды дифференцируемым функциям. При этом предъявляются высокие требования к точности вычисления производных. Метод Ньютона – Рафсона. Основан на линейной аппроксимации в окрестности текущей точки x_k: В стационарной точке аппроксимации, которая принимается за очередное приближение x_k+1, производная равна нулю: . Отсюда следует рекуррентная формула: (41)

при для каждого k. Условия окончания поиска: | f '(x_k) | < ₁ и/или |x_k+1-x_k | < .

Если начальная точка достаточно близка к стационарной, то метод сходится.

Многомерный поиск безусловного минимума Метод Гаусса-Зейделя (покоординатного спуска)

Процедура поиска сводится к решению последовательности задач одномерной минимизации по каждой переменной.

Начальная точка . Зафиксируем все переменные, кроме первой, на начальных значениях и решаем задачу одним из одномерных методов, находим x₁’. Приходим к очередной одномерной задаче . Аналогично строятся и решаются последующие одномерные задачи. Эти n задач составляют один цикл. Его результатом является точка X¹. Она принимается за начальную точку для следующего аналогичного цикла. Условия окончания поиска: .

x₂

Недостатки. Эффективность зависит от направления осей координат относительно линий уровня. Метод неэффективен в условиях оврага. Если функция не дифференцируема в отдельных точках, поиск может остановиться, не достигнув окрестности минимума.