21.10 Метод секущих.

Метод секущих решения уравнения заключается в приближенной замене функции F в этом уравнении не касательной y = F(xⁿ) + F ′(xⁿ)(x – xⁿ), а секущей гиперплоскостью. Например, в одномерном случае — прямой y = F(xⁿ) + (F(xⁿ) – F(x^n–1))(x – xⁿ) /(xⁿ – x^n–1) (см. рис. 21.8). Эта замена приводит (в скалярном случае!) к следующему методу решения задачи:

xn+1 = xn –

xn – xn–1 f ′(xn) – f ′(xn–1)

f ′(xn),

который и называется методом секущих. Известно, что для достаточно гладких выпуклых функций порядок сходимости этого метода равен τ, где τ = (√5 + 1)/2 ≈ 1.618 — известная константа (называемая золотым сечением).

Рис. 21.8.

В многомерном случае поступают следующим образом. Пусть xⁿ, x^n–1, ..., x^n–m — уже вычисленные m + 1 итерации. Для каждой компоненты f_j′ функции f ′ (j = 1, ..., m) построим в R^m+1 гиперплоскость S_j, проходящую через m + 1 точку (xⁱ, f_j′(xⁱ)) (i = n – m, ..., n) графика этой компоненты. Пусть P - "горизонтальная" проходящая через нуль гиперплоскость в R^m+1: P = {(x, y) ∈ R^m×R; y = 0}. В качестве xⁿ⁺¹ возьмем точку пересечения гиперплоскостей P и S_j:

xn+1 ∈ P ∩

(

m ∩ j = 1

Sj

)

(в общем положении эта точка единственна).

Несложные рассуждения показывают, что xⁿ⁺¹ можно вычислять так. Пусть α⁰, ..., αⁿ — решение системы

m ∑ i = 0

αif ′(xn–i) = 0,

m ∑ i = 0

αi = 1.

Тогда

xn+1 =

m ∑ i = 0

αixn–i.

Затем описанные действия повторяются для точек xⁿ⁺¹, xⁿ, ..., x^n–m+1.

Отметим, что поскольку на каждом шаге в системе меняется лишь один столбец, то ее решение на каждом шаге можно обновлять с помощью специальной процедуры, не требующей большого объема вычислений.

Отметим, что метод секущих, в отличие от ранее рассматривавшихся методов, не является одношаговым в том смысле, что для вычисления следующей итерации ему не достаточно информации, полученной на предыдущем шаге — нужна информация, полученная на m + 1 предыдущих шагах. Такие методы называются многошаговыми. В следующем параграфе мы рассмотрим ряд таких методов. Методы же Ньютона и градиентный являются одношаговыми: для вычисления xⁿ⁺¹ требуется знать поведение функции и ее производных только в точке xⁿ.

21.11 Квазиньютоновские методы. Методы переменной метрики.

Введем в пространстве R^m новое скалярное произведение 〈·,·〉 формулой 〈x, y〉 = (Sx, y), где S — самосопряженный положительно определенный оператор на R^m. Оно естественно порождает новую норму |||x||| = 〈x, y〉^1/2 и метрику на R^m. Операция взятия градиента дифференцируемой функции, как легко видеть, не инвариантна относительно скалярного произведения (метрики): градиент 〈f 〉′ функции f относительно нового скалярного произведения связан со старым градиентом f ′ соотношением

〈f 〉′(x) = S^–1f ′(x).

Соответственно градиентный метод в новой метрике имеет вид

xⁿ⁺¹ = xⁿ – αS^–1f ′(xⁿ).

Естественно желание подбирать оператор S с целью ускорения сходимости. Например, если f квадратична: f(x) = (Ax, x)/2 + (b, x) + c, то метод имеет вид

xⁿ⁺¹ = xⁿ – αS^–1(Axⁿ + b) = xⁿ –α(S^–1Axⁿ + S^–1

и является градиентным методом в старой метрике для функции f₁ = (S^–1Ax, x)/2 + (S^–1b, x) + c. При оптимальном выборе шага α его скорость сходимости линейна со знаменателем q = (Λ – λ)/(Λ + λ), где Λ и λ — максимальное и минимальное собственные значения оператора S^–1A. Поэтому желательно сделать их разброс минимальным.

В методе оператор S можно менять на каждом шаге с той же целью ускорения сходимости. Такие методы называют иногда методами переменных направлений или переменной метрики.

В общем случае неквадратичной функции f в оптимальным выбором в качестве S будет выбор Sⁿ = f ′′(xⁿ). Тогда превращается просто в метод Ньютона со всеми присущими ему недостатками и достоинствами. С целью уменьшения объема вычислительной работы часто поступают следующим образом. Метод записывают в виде

xⁿ⁺¹ = xⁿ – Gⁿf ′(xⁿ),

а операторы Gⁿ пытаются вычислять так, чтобы максимально использовать уже полученную информацию при минимальном объеме вычислений и, главное, стремясь, чтобы

Gⁿ – [f ′′(xⁿ)]^–1 → Θ при n → ∞.

Методы, получающиеся таким способом часто называют квазиньютоновскими.

Задача.  Докажите, что если f ∈ C², x* - невырожденная точка минимума функции f, а последовательность операторов Gⁿ удовлетворяет условию, то метод локально сверхлинейно сходится.

Построение операторов Gⁿ, как правило, укладывается в следующую общую схему. Для того, чтобы ее оправдать, заметим, что для квадратичной функции f и итераций xⁿ, определяемых формулой

xⁿ⁺¹ = xⁿ – αⁿGⁿf ′(xⁿ),

имеет место соотношение

αⁿsⁿ = A^–1φⁿ, т. е. αⁿsⁿ = [f ′′(xⁿ)]^–1φⁿ,

где sⁿ = –Gⁿf ′(xⁿ), φⁿ = f ′(xⁿ⁺¹) – f ′(xⁿ).

Поэтому представляется естественным, чтобы операторы Gⁿ⁺¹, которые должны аппроксимировать [f ′′(xⁿ)]^–1, должны удовлетворять аналогу условия, а именно, т. н. квазиньютоновскому условию:

αⁿsⁿ = Gⁿ⁺¹φⁿ.

При этом стремятся также к тому, чтобы Gⁿ⁺¹ получалось из Gⁿ в результате коррекций, не требующих большого объема вычислений.

Примером метода, построенного на этом пути, может служить один из наиболее эффективных среди квазиньютоновских методов метод Бройдена — Флетчера — Шенно, задаваемый формулой, в которой

Gⁿ⁺¹ = Gⁿ + [γⁿsⁿ(sⁿ)* – sⁿ(φⁿ)*Gⁿ – Gⁿφⁿ(sⁿ)*]/(sⁿ, φⁿ),

где

γⁿ = αⁿ + (Gⁿφⁿ, φⁿ)/(sⁿ, φⁿ),

а "*" означает операцию транспонирования, в частности, (sⁿ)* — вектор-строка. Шаг αⁿ в этом методе часто выбирают как в методе наискорейшего спуска в направлении sⁿ:

αⁿ = argmin_{α∈[0, ∞)} f(xⁿ + αsⁿ).

Для квадратичных функций метод Бройдена — Флетчера — Шенно конечен (выходит на точное решение не более, чем за m шагов). Для неквадратичных же функций он при достаточно общих условиях локально сверхлинейно сходится.

Число различных вариантов и модификаций квазиньютоновских методов весьма велико.