1. Метод средней точки (метод Больцано)

Метод средней точки является вариантом метода деления интервала пополам. Последовательные сокращения интервала неопределенности производятся на основе оценки производной минимизируемой функции в центре текущего интервала.

Начальный этап. Для запуска метода необходимо:

(1) задать [a₁,b₁] – начальный интервал локализации минимума, на границах которого знаки производных различны, т. е.f '(a₁)f '(b₁) < 0;– малое положительное число;

(2) установить счетчик числа итерацийk = 1.

Основной этап

Шаг 1. Взять пробную точкуx_kв центре текущего интервала и проверить критерий окончания поиска: (1)x_k= (a_k+b_k)/2; (2) еслиf '(x_k)≤иL_k = b_k –a_k ≤ , то остановиться (x_k =х^*– аппроксимирующий минимум).

Шаг 2. Сократить текущий интервал:

(1) eслиf '(x_k) > 0, то положитьa_k + 1=a_kиb_k + 1= x_k, в противном случае –a_k + 1= x_k,b_k + 1= b_k;

(2) заменитьkнаk + 1 и вернуться на шаг 1.

2. Метод трехточечного поиска на равных интервалах

В практических задачах вычисление производной на каждой итерации может оказаться затруднительным, а иногда и просто невозможным. Рассматриваемый метод позволяет сократить интервал локализации минимума на основе сравнения значений функции в пробных точках без вычисления производных.

Начальный этап.

(1) Задать [a₁,b₁] – начальный интервал поиска, гдеa₁,b₁– границы интервала, удовлетворяющие условиюf '(a₁)f '(b₁) < 0;– погрешность вычисления минимумаx^*.

(2) Положитьx_m= (a₁+b₁)/2 иk = 1.

Основной этап.

Шаг 1. Взять 2 пробные точкиx₁=a_k+L_k/4 иx₂=b_k–L_k/4, гдеL_k=  =b_k– a_k– длина текущего интервала. Точкиx₁,x₂иx_mделят [a_k,b_k] на 4 равные части.

Шаг 2. Сократить текущий интервал локализации минимума:

(1) еслиf₁<f_m, то положитьa_k + 1=a_k,b_k + 1=x_m,x_m=x₁, перейти к шагу 3;

(2) еслиf₁≥f_m ≤f₂, то положитьa_k + 1=x₁,b_k + 1=x₂; иначе –a_k + 1=x_m,b_k + 1=b_k,x_m=x₂.

Шаг 3. Проверить критерий окончания поиска:

(1) заменитьkнаk+ 1;

(2) еслиL_k=b_k–a_k ≤, то остановиться. Если данное условие не выполняется, вернуться к шагу 1.

3. Метод Ньютона

Метод Ньютона минимизации функции является обобщением известного метода Ньютона отыскания корня уравнения f '(x) = 0, гдеf(x) – скалярная функция скалярного аргументаx. Минимизацияf(x) основывается на использовании квадратичной аппроксимации функцииf(x) в точкеx_k:f(x) =f(x_k) +f '(x_k)(x–x_k) + 0.5f ''(x_k)(x–x_k)².

В качестве приближения x_k + 1к минимумуx^*берется точка, в которой производнаяf '(x) = 0, т. е.f '(x_k) +f ''(x_k)(x_k + 1 – x_k) = 0.

Таким образом, x_k + 1=x_k–f '(x_k)/f ''(x_k).

Итерационный процесс строит последовательность точек {x_k}, которая при определенных условиях квадратично сходится к некоторой стационарной точкеx^*функцииf(x), т. е. к точке, в которойf '(x^*) = 0. Процесс останавливается, когдаx_k + 1–x_k ≤иf '(x_k) ≤, где> 0 – заранее заданное малое число.

Существенными недостатками метода Ньютона являются: 1) сложность задания начального приближенияx₁в малой окрестности искомого минимумаx^*; 2) необходимость вычисления вторых производных минимизируемой функции.