1.2 Вариационные методы

Вариационные итерационные методы

Связь между вариационной задачей и задачей решения СЛАУ.

Пусть , гдеLⁿ есть n-мерное евклидово пространство. Рассмотрим квадратичный функционал от u, называемый функционалом энергии:

где А — линейный оператор, ,с — константа. Этот функционал совпадает с квадратичным функционалом гдеА* — сопряженный к А оператор. Действительно, по определению сопряженного оператора и (u, A*u) = (A*u, u) в силу коммутативности скалярного произведения. Тогда

так как

Без ограничения общности предположим, что оператор А самосопряженный, А = А*. В противном случае будем рассматривать задачу с оператором при решении вариационной задачи.

Будем также считать, что А — положительный оператор, т.е. A > 0, это означает, что для любого ненулевого вектора u выполнено (Au, u) > 0. Поставим задачу об отыскании элемента v, придающего наименьшее значение функционалу Ф(u):

.

Теорема Пусть А = А* > 0. В этом случае существует единственный элемент , придающий наименьшее значение квадратичному функционалу, являющийся решением СЛАУАu = f.

Доказательство. СЛАУ Au = f имеет единственное решение v, поскольку А является невырожденным оператором в силу его положительной определенности. Покажем, что в этом случае при для любого вектора Δ имеет место:т.е. придостигается минимум квадратичного функционала.

Действительно,

т.е. при и любомимеет место. Докажем, что верно и обратное утверждение. Если элемент доставляет минимальное значение функционалу энергии, то он является решением системы линейных уравнений Из курса математического анализа известно, что в точке минимума должно выполняться условиеA > 0. Вычисляя градиент, приходим к условию минимума функционала Таким образом установлена эквивалентность вариационной задачи (отыскание элемента, придающего минимум Ф(u)) и задачи о нахождении решения СЛАУ.

Заметим, что СЛАУ с самосопряженным и положительно определенным оператором А представляют собой важный класс задач в математической физике, в частности, они возникают при решении краевых задач для эллиптических уравнений. При необходимости можно произвести симметризацию по Гауссу исходной системы.

Методы градиентного и наискорейшего спуска

Метод градиентного спуска состоит в нахождении следующего приближения в итерационном процессе из предыдущего, путем смещения в направлении градиента функционала

(2.25)

, (2.26)

где А — положительно определенная симметричная матрица; α_k — параметр, определяемый из заданных условий; например, из условия минимума величины

В этом случае итерационный метод называется методом наискорейшего спуска.

Так как то (2.26) приобретает вид

где (2.27)

что соответствует записи итерационного метода в форме (2.17). Здесь τ_k является итерационным параметром, который в методе наискорейшего спуска определяется из условия минимума функции по τ_k. Найдем условие этого минимума.

Здесь учтено соотношение: , посколькуив силу коммутативности оператораА. Подставим в последние равенства из (2.27) получимоткуда следует

, или где

Вектор r_kназываютвектором невязки.

Метод минимальных невязок

Этот итерационный метод определяется следующим образом. Пусть

как и ранее, Итерационный параметр τ_k на каждой итерации выбирается так, чтобы минимизировать, евклидову норму невязки . Заметим, что итерационный процессможет быть представлен в равносильном виде в терминах невязки. Тогда для квадрата евклидовой (третьей) нормы невязки получаем условие

Для отыскания минимума невязки на следующей итерации приравняем нулю производную последнего выражения по итерационному параметру τ_k. Получим равенство

.

Из последнего соотношения находим значение итерационного параметра

Метод сопряженных градиентов

Этот метод применяется для решения систем уравнений с самосопряженной положительной матрицей А = А* > 0.

Оптимизируем градиентный метод, выбирая параметры τ таким образом, чтобы на последующем шаге невязка была ортогональна всем предыдущим. На первом шаге ищем аналогично методу наискорейшего спуска. Получим невязки, образующие ортогональный базис. На последнем шаге невязка становится равна нулю, так как пространство конечномерно, и единственный элемент, ортогональный всем базисным векторам конечномерного пространства — нулевой. Получаем точное решение за конечное число шагов (прямой метод). Однако этот метод работает не всегда, так как при плохой обусловленности матрицы он становится вычислительно неустойчивым.

Идея метода состоит в следующем. Выбираем произвольное начальное приближение и вычисляем по нему вектор невязки , тогда первое приближение

Из условия ортогональности невязок на двух первых шагах находим значение итерационного параметра

Построим такое приближение, чтобы учитывались две предыдущие — трехслойный итерационный метод. Фактически, при построении его применяется процесс ортогонализации Грамма – Шмидта.

Если , то—A-сопряженные невязки.

Имеем метод сопряженных градиентов.

Все невязки уменьшаются по норме, поэтому данный метод эффективен даже для плохо обусловленных задач, т.к. на определенном шаге можно оборвать вычисления и получить приближение к решению с заданной точностью. Тогда этот метод становится итерационным.

Приведем последовательность расчетных формул одного из вариантов метода сопряженных градиентов.

…

(2.29)

где

В вычислительной практике этот метод используется при умеренном числе обусловленности, больших n и неизвестных границах спектра матрицы А, как итерационный метод, поскольку k₀ обычно достаточно большое число.