Приложение 5. Метод кубической интерполяции для одномерной минимизации

Суть алгоритма заключается в том, что на каждой итерации функция f(x) аппроксимируется кубическим полиномом F(x), точка минимума x^(*) которого берётся в качестве текущего приближения к искомому минимуму х*. Алгоритм предполагает вычисления в каждой очередной точке значений функции f(x) и её производной f '(x).

Начальный этап. Задать , х₁, h₁ - параметры метода, имеющие общепринятый смысл. Методом Свенна установить начальный интервал [a, b]:

(1) Изменить направление поиска h₁ = -h₁, если f '(x₁) > 0.

(2) Вычислять f_k в точках x_k+1 = x_k + h_k при h_k = 2h_k-1, k=2,3,...m-1 до тех пор, пока не продвинемся в точку x_m , такую, что f '(x_m)f '(x_m-1) < 0.

(3) Если x _m-1< x_m , то положить a = x_m-1, b = x_m, иначе - a = x_m, b = x_m-1.

Основной этап ..

Шаг 1. Найти аппроксимирующий минимум:

(1) Вычислить параметр  = (z + w - f '(a))/(f '(b) - f '(a) + 2w),

где z = f '(a) + f '(b) + 3(f(a) - f(b)) / ( b - a), w = (z² - f '(a)f '(b))^1/2 .

a + (b - a), если 0≤  < 1,

(2) Принять аппроксимирующий минимум

x^(*)  = a, если  < 0, и

x^(*)  = b, если  > 1.

Шаг 2. Проверить критерий окончания поиска:

Если f '(x) <  или x = a, или x = b, поиск окончить. Иначе вернуться на шаг 1, используя новый интервал [a, x], если f '(x) > 0, либо интервал [x, b], если f '(x) < 0.

Приложение 6. Метод Фибоначчи

Метод Фибоначчи является процедурой линейного поиска минимума унимодальной функции f(x) на замкнутом интервале [a, b], отличающейся от процедуры золотого сечения тем, что очередная пробная точка делит интервал локализации в отношении двух последовательных чисел Фибоначчи. Последовательность чисел Фибоначчи задаётся условиями F₀ = F₁ = 1, F_k+1 = F_k + F_k-1, k = 1,2,... Начальными членами последовательности будут 1, 1, 2, 3, 5, 8, 13,... Стратегия поиска Фибоначчи требует заранее указать n - число вычислений минимизируемой функции и  - константу различимости двух значений f(x). Рассмотрим один из возможных вариантов метода.

Начальный этап

(1) Задать начальный интервал [a₁, b₁], длину конечного интервала L_n и определить число n так, чтобы выполнялось условие F_n > (b₁ - a₁)/L_n. Вычислить  ≤ L₁/F_n+1.

(2) Взять две пробные точки ₁ = a₁ + (F_n-2/F_n)(b₁ - a₁) и ₁ = a₁ + (F_n-1/F_n)(b₁-a₁). Положить k = 1.

Основной этап

Шаг 1. Сократить текущий интервал локализации:

(1) Если f(_k) < f(_k), то положить a_k+1 = a_k, b_k+1 = _k,_k+1 =_k и вычислить новую точку _k+1 = a_k+1 + (F_n-k-2/F_n-k)L_k+1, где L_k+1 = b_k+1 - a_k+1; перейти на шаг 2.

(2) Если f(_k)≥ f(_k),то положить a_k+1 =_k, b_k+1 = b_k, _k+1 = _k и вычислить _k+1 = a_k+1 + (F_n-k-1/F_n-k) L_k+1.

Шаг 2. Проверить критерий окончания поиска:

(1) Заменить k на k+1. (2) Если k = n - 1, перейти на шаг 3, иначе - на шаг 1.

Шаг 3. Найти аппроксимирующий минимум х^(*):

(1) Положить _k = _k + .

(2) Если f(_k) > f(_k), то x^(*) = (_k + b_k)/2. В противном случае - x^(*) = (a_k + _k)/2.

Приложение 7. Метод Зангвилла

Основная стратегия метода базируется на свойстве квадратичных функций, называется свойством параллельного подпространства. Если x^k+1 - точка минимума квадратичной функции, полученная в результате серии одномерных поисков из начальной точки x¹ по всем направлениям системы _k = {pⁱ}, i = 1,2,...,k, а z^k+1 - точка минимума этой же функции вдоль тех же направлений _k, но из другой начальной точки z₁, то вектор p^k+1 = z^k+1 - x^k+1 сопряжен со всеми направлениями системы _k.

Начальный этап. Задать начальную точку x¹, константу . Положить p₁ = - grad y(x¹), k = 1.

Основной этап. Шаг 1. Оптимальный поиск точки x^k+1 = x^k + _kp^k. Если k = n, то перейти к шагу 4.

Шаг 2 Перейти в другую начальную точку z¹ = x^k+1 + *d, где d = -grad y(x^k+1) - новое поисковое направление, * - оптимальное решение задачи минимизации y(x^k+1 + d). Положить i = 1.

Шаг 3. Проверить критерий окончания поиска и, если он не выполняется, выполнить спуск вдоль направлений _k в точку z^k+1:

(1) Если grad y (zⁱ) ≤ , то остановиться: x* = zⁱ - искомый минимум.

(2)Найти оптимальный шаг _i в точку zⁱ⁺¹ = zⁱ + pⁱ.

(3)Если i < n, то заменить i на i+1 и вернуться к операции (2); иначе - построить новое сопряженное направление p^k+1 = z^k+1 - x^k+1, заменить k на k+1 и перейти к шагу 1.

Шаг 4. Установить новые начальные условия для очередной итерации:

(1) взять xⁿ⁺¹ за новую начальную точку x¹ = xⁿ⁺¹, принять p¹ = - grad y(x¹);

(2) заменить k на k+1 и перейти к шагу 1.