Лабораторная работа № 3.

Тема: Методы Ньютона и сопряжённых градиентов.

Цель работы: знакомство с методами многомерной безусловной оптимизации второго порядка и близкого к ним по эффективности метода сопряжённых градиентов, освоение и сравнение эффективности их применения для конкретных целевых функций.

1. Краткие теоретические сведения.

1.1 Методы Ньютона.

1.1.1 Общая характеристика.

Методы Ньютона относятся к методам второго порядка, использующих вторые частные производные целевой функции f(x). Все они являются прямым обобщением известного метода Ньютона отыскания корня уравнения:

φ(x) = 0, (1)

где φ(x) – скалярная функция скалярного аргумента x.

Метод Ньютона отыскания корня уравнения описывается следующей рекуррентной формулой:

x_k+1 = x_k - φ(x_k) / φ'(x_k). (2)

Этот метод ещё называют методом касательных для решения уравнения (1).

Пусть теперь φ(x) – n-мерная вектор-функция векторного аргумента x той же размерности. Тогда для решения системы уравнений φ(x) = 0 мы можем использовать итерационный процесс, аналогичный (2):

x_k+1 = x_k - φ(x_k)^–1·φ'(x_k), (3)

φi

xj

{

г

}

де φ'(x_k) = (x_k) – квадратная матрица n x n.

Рассмотрим теперь случай, когда вектор-функция φ(x) является градиентом некоторой скалярной функции f(x), т.е.

φ(x) = f '(x).

Приравнивая её нулю, приходим к системе уравнений, определяющей координаты стационарных точек функции f(x). Формула метода Ньютона для решения этой системы выглядит так:

x_k+1 = x_k – (f ''(x)) ^–1·f '(x), (4)

и получается заменой в (3) φ(x_k) на f '(x).

Итерационный процесс (4) строит последовательность точек {x_k}, которая при определённых предположениях сходится к некоторой стационарной точке x_ функции f(x), т.е. к точке, в которой f '(x_) = 0. Если матрица вторых производных f ''(x_) положительно определена, эта точка будет точкой локального минимума функции f(x).

1.1.2 Метод Ньютона.

В методе Ньютона последовательность точек спуска определяется формулой (4). Для текущей точки x_k направление и величина спуска определяется вектором p_k = – (f ''(x_k)) ^–1·f '(x_k). Хотя в определении вектора p_k фигурирует обратная к f ''(x_k) матрица (f ''(x_k)) ^–1, на практике нет необходимости вычислять последнюю, так как направление спуска p_k можно найти как решение системы линейных уравнений

f ''(x_k)·p_k = – f '(x_k) (5)

каким-нибудь из методов.

Схема алгоритма.

шаг 1:	На первой итерации, при k = 0, вводятся начальное приближение x0 и условие останова ε3. Вычисляются градиент f '(x0) и матрица f ''(x0).
шаг 2:	Определяется направление спуска pk, как решение системы линейных уравнений f ''(xk)·pk = – f '(xk) (например, методом исключений Гаусса).
шаг 3:	Определяется следующая точка спуска: xk+1 = xk + pk.
шаг 4:	Вычисляются в этой точке xk+1 градиент f '(xk+1) и матрица f ''(xk+1).
~ ~ шаг 5:	Если ||f '(xk+1)||  ε3, то поиск на этом заканчивается и полагается x = xk+1 и y = f(xk+1). Иначе k = k + 1 и переход к шагу 2.

Особенностью метода Ньютона является то, что для квадратичной целевой функции он находит минимум за один шаг, независимо от начального приближения x₀ и степени овражности.

В общем случае, когда минимизируемая функция не квадратична, вектор p_k = – (f ''(x_k)) ^–1·f '(x_k) не указывает в точку её минимума, однако имеет большую составляющую вдоль оси оврага и значительно ближе к направлению на минимум, чем антиградиент. Этим и объясняется более высокая сходимость метода Ньютона по сравнению с градиентными методами при минимизации овражных целевых функций.

Недостатками метода Ньютона является то, что он, во-первых, предполагает вычисление вторых производных и, во-вторых, может расходиться, если начальное приближение находится слишком далеко от минимума.