2. Метод трехточечного поиска на равных интервалах

В практических задачах вычисление производной на каждой итерации может оказаться затруднительным, а иногда и просто невозможным. Рассматриваемый метод позволяет сократить интервал локализации минимума на основе сравнения значений функции в пробных точках без вычисления производных.

Начальный этап.

(1) Задать [a₁, b₁] – начальный интервал поиска, где a₁, b₁ – границы интервала, удовлетворяющие условию f '(a₁)f '(b₁) < 0;  – погрешность вычисления минимума x^*.

(2) Положить x_m = (a₁ + b₁)/2 и k = 1.

Основной этап.

Шаг 1. Взять 2 пробные точки x₁ = a_k + L_k/4 и x₂ = b_k – L_k/4, где L_k =  = b_k – a_k – длина текущего интервала. Точки x₁, x₂ и x_m делят [a_k, b_k] на 4 равные части.

Шаг 2. Сократить текущий интервал локализации минимума:

(1) если f₁ < f_m, то положить a_k + 1 = a_k, b_k + 1 = x_m, x_m = x₁, перейти к шагу 3;

(2) если f₁ ≥ f_m ≤ f₂, то положить a_k + 1 = x₁, b_k + 1 = x₂; иначе – a_k + 1 = x_m, b_k + 1 = b_k, x_m = x₂.

Шаг 3. Проверить критерий окончания поиска:

(1) заменить k на k + 1;

(2) если L_k = b_k – a_k ≤ , то остановиться. Если данное условие не выполняется, вернуться к шагу 1.

3. Метод Ньютона

Метод Ньютона минимизации функции является обобщением известного метода Ньютона отыскания корня уравнения f '(x) = 0, где f(x) – скалярная функция скалярного аргумента x. Минимизация f(x) основывается на использовании квадратичной аппроксимации функции f(x) в точке x_k: f(x) = f(x_k) + f '(x_k)(x – x_k) + 0.5f ''(x_k)(x – x_k)².

В качестве приближения x_k + 1 к минимуму x^* берется точка, в которой производная f '(x) = 0, т. е. f '(x_k) + f ''(x_k)(x_k + 1 – x_k) = 0.

Таким образом, x_k + 1 = x_k – f '(x_k)/f ''(x_k).

Итерационный процесс строит последовательность точек {x_k}, которая при определенных условиях квадратично сходится к некоторой стационарной точке x^* функции f(x), т. е. к точке, в которой f '(x^*) = 0. Процесс останавливается, когдаx_k + 1 – x_k ≤  и f '(x_k) ≤ , где  > 0 – заранее заданное малое число.

Существенными недостатками метода Ньютона являются: 1) сложность задания начального приближения x₁ в малой окрестности искомого минимума x^*; 2) необходимость вычисления вторых производных минимизируемой функции.

4. Метод линейной интерполяции (метод секущих)

Метод секущих предлагает заменить вторую производную f ''(x_k) в ньютоновской формуле ее линейной аппроксимацией (f '(x_k) – f '(x_k – 1))/(x_k – x_k – 1).

Тем самым очередное приближение x_k + 1 к стационарной точке x^* задается формулой вида x_k + 1 = x_k – f '(x_k)(x_k – x_k – 1)/(f '(x_k) – f '(x_k – 1)).

Легко видеть, что x_k + 1 – точка пересечения с осью абсцисс секущей прямой, проходящей через точки x_k и x_k – 1.

В отличие от метода Ньютона метод секущих гарантирует сходимость точек {x_k} к стационарной точке x^*, однако сходимость метода достигается ценой потери быстродействия. Как правило, метод дихотомии оказывается эффективнее метода секущих, хотя последний и получен из более быстродействующей схемы.

Начальный этап. Пусть методом Свенна получен интервал неопределенности [a₁, b₁], границы которого удовлетворяют неравенству f '(a₁)f '(b₁) < 0. Задать  – погрешность вычисления минимума и принять k = 1.

Основной этап.

Шаг 1. Найти очередное приближение x_k + 1 к минимуму x^* и проверить условие окончания поиска:

(1) x_k + 1 = b_k – f '(b_k)(b_k – a_k)/(f '(b_k) – f '(a_k));

(2) если f '(x_k + 1) ≤ , то остановиться.

Шаг 2. Уменьшить интервал поиска минимума:

(1) если f '(x_k + 1) > 0, то a_k + 1 = a_k, b_k + 1 = x_k + 1, в противном случае принять a_k + 1 = x_k + 1, b_k + 1 = b_k;

(2) положить k = k + 1 и перейти к шагу 1.