Приложение 2. Метод трехточечного поиска на равных интервалах

В практических задачах вычисление производной на каждой итерации может оказаться затруднительным, а иногда и просто невозможным. Рассматриваемый метод позволяет сократить интервал локализации минимума на основе сравнения значений функции в пробных точках без вычисления производных.

Начальный этап (1) Задать [a₁, b₁] - начальный интервал поиска, где a₁, b₁ - границы интервала, удовлетворяющие условию f (a₁)f (b₁)<0;  - погрешность вычисления минимума х*. (2) Положить x_m = (a₁ + b₁)/2 и k = 1.

Основной этап

Шаг 1. Взять две пробные точки x₁ = a_k + L_k/4 и x₂ = b_k - L_k/4, где L_k = b_k - a_k - длина текущего интервала. Точки х₁, х₂ и х_m делят [a_k, b_k] на четыре равные части.

Шаг 2. Сократить текущий интервал локализации минимума:

(1) если f₁ < f_m, то положить a_k+1 = a_k, b_k+1 = x_m, x_m = x₁, перейти на шаг 3;

(2) если f₁ ≥ f_m ≤ f₂, то положить a_k+1 = x₁, b_k+1 = x₂; иначе - a_k+1 = x_m, b_k+1 = b_k, x_m = x₂.

Шаг 3. Проверить критерий окончания поиска:

(1) заменить k на k +1;

(2) если L_k = b_k - a_k ≤ , то остановиться. Если данное условие не выполняется, вернуться на шаг 1.

Приложение 3. Метод Ньютона

Метод Ньютона минимизации функции является обобщением известного метода Ньютона отыскания корня уравнения f '(x) = 0, где f(x) - скалярная функция скалярного аргумента х. Минимизация f(x) основывается на использовании квадратичной аппроксимации функции f(x) в точке x_k:

F(x) = f(x_k) + f '(x_k)(x - x_k) + f ''(x_k)(x - x_k)² * 1/2

В качестве приближения х_k+1 к минимуму х* берется точка, в которой производная F'(x) равна нулю, т.е. f '(x_k) + f ''(x_k)(x_k+1 -x_k) = 0.

Таким образом, x_k+1 = x_k - f '(x_k)/f ''(x_k).

Итерационный процесс строит последовательность точек {x_k}, которая при определенных условиях квадратично сходится к некоторой стационарной точке х* функции f(x), т.е. к точке, в которой f ' (x*) = 0. Процесс останавливается, когдаx_k+1 - x_k ≤  и f '(x_k) ≤ , где  > 0 - заранее заданное малое число.

Существенными недостатками метода Ньютона являются: 1) сложность задания начального приближения х₁ в малой окрестности искомого минимума х*; 2) необходимость вычисления вторых производных минимизируемой функции.

Приложение 4. Метод линейной интерполяции (метод секущих)

Метод секущих предлагает заменить вторую производную f ''(x_k) в ньютоновской формуле её линейной аппроксимацией (f '(x_k)-f '(x_k-))/(x_k-x_k-1).

Тем самым очередное приближение х_k+1 к стационарной точке х* задаётся формулой вида

x_k+1 = x_k - f '(x_k) * (x_k - x_k-1) / ( f '(x_k) - f '(x_k-1)).

Легко видеть, что х_k+1 - точка пересечения с осью абсцисс секущей прямой, проходящей через точки х_k и х_k-1.

В отличие от метода Ньютона метод секущих гарантирует сходимость точек {x_k} к стационарной точке х*, однако, сходимость метода достигается ценой потери быстродейсвия. Как правило, метод дихотомии оказывается эффективнее метода секущих, хотя последний и получен из более быстродействующей схемы.

Начальный этап. Пусть методом Свенна получен интервал неопределённости [a₁,b], границы которого удовлетворяют неравенству f '(a₁)f '(b₁) < 0. Задать  - погрешность вычисления минимума и принять k=1.

Основной этап

Шаг 1. Найти очередное приближение х_k+1 к минимуму х* и проверить условие окончания поиска:

(1) x_k+1 = b_k - f '(b_k)*(b_k - a_k)/(f '(b_k) - f '(a_k));

(2) если f '(x_k+1) ≤ , то остановиться.

Шаг 2. Уменьшить интервал поиска минимума:

(1) если f '(x_k+1) > 0, то a_к+1 = a_k, b_k+1 = x_k+1, в противном случае принять a_k+1 = x_k+1, b_k+1 = b_k;

(2) положить k = k + 1 и перейти на шаг 1.