Стационарные итерационные процедуры. Теоремы о сходимости.

Пусть задана система ЛАУ общего вида (первого рода): Ax=b; x,b Rⁿ, . (1) Требуется привести данную систему к виду x=Tx+d (2) с матрицей (оператором) Т, удовлетворяющей условию в какой либо матричной норме. Рассмотрим простейший прием такого преобразования. x=x-H(Ax-b), (3)

где Н- некоторая невырожденная матрица. Из (3) следует, что x=Tx+d, где (4) T=E-HA, d=Hb.

Некоторые определения.

1. Итерационная процедура, основанная на представлении (3) x^k=x^k-1-H(Ax^k-1-b) (5) называется линейной стационарной итерационной процедурой; при этом матрица Т в представлении (4) называется матрицей перехода, а матрица Н – матрицей расщепления.

2. Более общая линейная нестационарная итерационная процедура записывается в виде:

x^k= x^k-1-H_k(A x^k-1-b), где H_k – матрица расщепления k-го шага. Соответственно матрица перехода T_k=E-H_kA – называется матрицей перехода k-го шага. Ниже будут более подробно рассмотрены стационарные итерационные процедуры. Связь условия сходимости линейного стационарного процесса со свойствами спектра матрицы Т устанавливает следующая теорема.

Теорема 1. Пусть система (4) имеет единственное решение стационарная процедура

(6) сходится к решению системы (4) при тогда и только тогда, когда все собственные значения матрицы Т по модулю меньше 1.

Достаточность. Заметим, что условие теоремы равносильно условию . Пусть x* - точное (и единственное) решение системы (4). Запишем следующую систему:

Вычитая из первого уравнения второе, получаем: x^k- x* = T(x^k-1- x*).

Обозначим - ошибка k-ого шага. Тогда

(7)

является итерационной процедурой для операторного уравнения r=Tr, достаточным условием сходимости которой, согласно принципу сжатых отображений, является условие .Заметим, что матрица Т- вещественная. Рассмотрим в качестве нормы матрицы Т- спектральную норму: по условию теоремы  и достаточность доказана.

Необходимость. От противного. Пусть одно из собственных значений матрицы Т, например, и пусть y - соответствующий собственный вектор: . Выберем начальное приближение в виде , где С - некоторая константа. Запустим итерационную процедуру:

не может быть нарушено условие .

28.

Рассмотрим простейший прием такого преобразования. x=x-H(Ax-b), (3) где Н- некоторая невырожденная матрица. Из (3) следует, что x=Tx+d, где (4) T=E-HA, d=Hb. Итерационная процедура, основанная на представлении (3) x^k=x^k-1-H(Ax^k-1-b) (5) называется линейной стационарной итерационной процедурой; при этом матрица Т в представлении (4) называется матрицей перехода, а матрица Н – матрицей расщепления.

Рассмотрим некоторые частные случаи стационарных процедур, зависящих от выбора матрицы Н. Пусть матрица перехода в этом случае имеет вид: T=E-A. Получаем так называемый метод простых итераций, или метод Ричардсона. Выясним условия сходимости метода Ричардсона. Пусть собственное значение матрицы Т, собственное значение матрицы А. является корнем характеристического уравнения , корнем уравнения или: , откуда следует, что . Согласно теореме 1, условие сходимости: Последнее условие, например, выполняется, если

и .

Теорема 1.Пусть система (4) имеет единственное решение стационарная процедура

сходится к решению системы

x=Tx+d, где T=E-HA, d=Hb. при тогда и только тогда, когда все собственные значения матрицы Т по модулю меньше 1.

29.

Рассмотрим простейший прием такого преобразования. x=x-H(Ax-b), (3) где Н- некоторая невырожденная матрица. Из (3) следует, что x=Tx+d, где (4) T=E-HA, d=Hb. Итерационная процедура, основанная на представлении (3) x^k=x^k-1-H(Ax^k-1-b)(5) называется линейной стационарной итерационной процедурой; при этом матрица Т в представлении (4) называется матрицей перехода, а матрица Н – матрицей расщепления.

Пусть , где некоторый параметр сходимости, с помощью которого можно оптимизировать процедуру Ричардсона. Матрица перехода в этом случае имеет вид: .

Теорема 2.Пусть и , является оптимальным значением параметра сходимости обобщенной итерационной процедуры Ричардсона: .

Т.к. , то все собственное значения матрицы А m, M>0 и .Выберем в качестве матричной нормы - спектральную норму . По определению, , поэтому, чем меньше спектральный радиус, тем быстрее сходится итерационная процедура в соответствии с принципом сжатых отображений. Пусть собственное значение матрицы корень уравнения

,  - корень уравнения:

Из сравнения двух характеристических уравнений Таким образом, имеем .

Так как функция кусочно линейна по , то достигается на концах отрезка

Найдем такое , для которого . (8)

Легко проверить, что при выполняются следующее условие: - обозначим.Покажем, что полученное значение как раз и является оптимальным в смысле критерия (8).

Пусть, например, .

Из последних равенств видно, что при любом знаке один из модулей будет , т.е. , что и требовалось доказать.

30-32

Релаксационные методы.

Пусть задана система ЛАУ общего вида (первого рода): Ax=b; x,b Rⁿ, . (1) Требуется привести данную систему к виду x=Tx+d (2) с матрицей (оператором) Т, удовлетворяющей условию в какой либо матричной норме. Рассмотрим простейший прием такого преобразования. x=x-H(Ax-b), (3)

где Н- некоторая невырожденная матрица. Из (3) следует, что x=Tx+d, где (4) T=E-HA, d=Hb.

Итерационная процедура, основанная на представлении (3) x^k=x^k-1-H(Ax^k-1-b) (5) называется линейной стационарной итерационной процедурой; при этом матрица Т в представлении (4) называется матрицей перехода, а матрица Н – матрицей расщепления.

В данном классе методов приведение системы (1) к виду (4) осуществляется с помощью расщепления матрицы А, т.е. ее представления в виде: A=D-C_L-C_U ,(9) где

D= - диагональная матрица, C_L= - строго нижняя (левая) треугольная матрица, C_U= - строго верхняя (правая) треугольная матрица. Подставляя представление (9) в систему (1) Ax=b Dx=(C_L+C_U)x+b x=D^-1(C_L+C_U)x+ D^-1b x=Tx+d, где T= D^-1(C_L+C_U)= D^-1(D-A)=E- D^-1A, d= D^-1b, H= D^-1 - матрица расщепления. Получаемый при этом итерационный метод называется методом Якоби. Необходимое условие сходимости: (иначе не существует D^-1). Достаточные условия сходимости в соответствии с теоремой 1: . Или более простое условие: пусть матрица А - вещественная, причем (такая матрица А называется матрицей со строгим диагональным преобладанием).

Метод Якоби может быть оптимизирован следующим образом. Снова воспользуемся разложением (9) и запишем систему в виде: x=D^-1C_Lx+ D^-1C_Ux+d. (10) Нетрудно убедиться, что при покомпонентной записи (10) , где

вектор g^Lx содержит только первые (i-1) компонент вектора х , а вектор g^Ux - содержит компоненты, начиная с (x_i+1) . (11) Процедура (11) носит название итерационный метод Гаусса-Зейделя Условия сходимости - те же, что и для метода Якоби, но при этом получается дополнительное ускорение процедуры. Более эффективное ускорение сходимости метода Зейделя может быть достигнуто с помощью ускоряющего множителя (как в обобщенном методе Ричардсона). Получающийся при этом алгоритм носит название “метод последовательной верхней релаксации” и реализуется в два этапа:

(12) где - релаксационный параметр. Если , то при итерационная процедура сходится.

Теорема 1. Пусть система (4) имеет единственное решение стационарная процедура

(6) сходится к решению системы (4) при тогда и только тогда, когда все собственные значения матрицы Т по модулю меньше 1.

33-34Численное дифференцирование.

Существует два подхода к выводу формул численного дифференцирования.

1. Интерполяционный подход. Полагаем , где - интерполяционный многочлен Лагранжа, , причем остаточный член формулы дифференцирования выражается через

Недостаток: при стремлении получить достаточно высокую точность приходится использовать большое количество узлов, в которых вычисляется значение функции. Если функция задана таблично, то такой подход приемлем.

2. Конечно-разностная аппроксимация, основанная на Тейлоровском разложении. Рассмотрим этот подход более подробно. Пусть задана сетка , где h - шаг сетки

Теорема 1.Имеют место следующие утверждения: Пусть

. (1) . (2)

. (3)

(4)

Для определенности докажем (4): используем тейлоровское разложение в точках x₁ и x_-1

.

Складывая эти две формулы, получим .

В силу непрерывности четвертой производной

.

Замечание.

Формулы (1), (2), (3) и (4) называются формулами численного дифференцирования. При этом формула (1) - определяет правую разностную производную и имеет порядок точности , формула (2) – определяет левую разностную производную и имеет порядок точности , формула (3) - определяет центральную разностную производную первого порядка и имеет порядок точности , формула (4) - определяет центральную разностную производную второго порядка и имеет порядок точности .

35-36.Численные методы решения задачи Коши.

Задача для ОДУ первого порядка для функции одной переменной ставится следующим образом

(5) Более общая постановка задачи Коши для дифференциального уравнения n-го порядка

(6)

Здесь - заданные числа (начальные условия). Задача (6) с помощью замены переменных

, . сводится к системе дифференциальных уравнений первого порядка:

(7)

Систему (7) можно переписать в векторном виде: , где (8) , , . Система (8) исследуется и решается аналогично одномерной задаче Коши (5), поэтому важно изучить, прежде всего, численные методы решения задачи (5). В курсе математического анализа формулируется и доказывается теорема существования и единственности решения задачи Коши. Отметим, что для выполнения теоремы необходимо и достаточно, чтобы функция имела непрерывные частные производные в замкнутой ограниченной области на плоскости . Будем искать решение задачи (5) в прямоугольниках Введем сетку на оси , Простейший итерационный процесс решения (5) на сетке получается, если аппроксимировать производную на сетке правой конечной разностью. Обозначая приближенное решение на сетке , получим или

(9)

Итерационная процедура (9) называется “метод Эйлера” (или “метод ломаных”). Дадим графическую иллюстрацию метода.

Н ачав движение из точки на точном решении , итерационное решение образует ломаную линию, каждый отрезок которой представляет собой касательную к кривой , проходящую через данную точку. Например, - уравнение касательной к u(x) в точке . где u₁(x₁)-та интегральная кривая, которая проходит через точку (x₁,y₁). Из рисунка видно, что ошибка растет с номером k. Выясним, каков порядок этой ошибки в сеточной норме

Оценка погрешности метода Эйлера. Будем считать, что ошибка округления имеет порядок не меньший, чем . Тогда из (9) следует: (10) Разложим точное решение задачи (5) в точке с такой же точностью: (11) Вычтем(11) из (10) 

(12)

где В силу условий теоремы существования и единственности частные производные ограничены в прямоугольнике : Обозначим и оценим (12) по модулю (13) по условию. Обозначим (14)

Теорема 2. Для метода Эйлера имеет место следующая оценка погрешности:

(15)

Из (13) следует (рекурсия назад)

Используя алгебраическое тождество получаем

(16)

(В последнем неравенстве использовано свойство второго замечательного предела) Учитывая, что

получим , т.е. оценку (15).

Замечание. Из соотношения (16) следует, что 1. Ошибка растет с номером шага k. 2. Порядок ошибки в методе Эйлера .

37-39.Методы Рунге-Кутта.

Методы Рунге-Кутта - это группа итерационных методов решения задачи Коши (4), характеризуемая следующими условиями: 1)Это одношаговые методы, т.е. при переходе из точки в точку используется лишь информация о предыдущей точке . Этому условию соответствует такая общая запись итерационной процедуры , (17) где выражается через значения функции в точке или близким к ней (сдвинутым на долю шага). 2. Процедура (16) согласуется с рядом Тейлора вплоть до членов порядка , где p -порядок метода. 3. Метод не использует производных от , а требует только вычисления функции в различных точках сетки, причем число вычислений функции - минимально возможное для данного порядка. Заметим, что метод Эйлера является частным случаем метода Рунге-Кутта, имеющий наименьший первый порядок точности. Рассмотрим один из примеров повышения порядка точности метода Рунге-Кутта (16) до второго порядка. Представим в виде следующей линейной комбинации . Разложим функцию в точке в ряд Тейлора до членов первого порядка включительно

. Подставляя эти формулы в (16) , получим:

. (18) (все входящие в правую часть функции берутся в точке ) Аналогичное разложение по Тейлору напишем для функции , используя уравнение . (19) Требуя совпадения коэффициентов разложений (18) и (19) при одинаковых степенях h, получим систему уравнений для неизвестных коэффициентов :

(20)

Система (20) недоопределена. Поэтому один из коэффициентов можно задать произвольно. Например, положим . Решая (20), получим

. Итерационная процедура (17) приобретает вид

. (21)

Учитывая результат теоремы 2, заключаем, что точность этого метода , т.е. данный метод - второго порядка.

Рассмотрим некоторые частные случаи процедуры (21).

Отбрасывая погрешность, получаем

. (22)

Полученный метод Рунге-Кутта носит название “предиктор-корректор”. Чтобы прояснить смысл этого названия разобьем процедуру (22) на два этапа:

На первом этапе “предсказываем” значение по методу Эйлера. На втором этапе это значение корректируется путем усреднения угловых коэффициентов в точках и . За счет коррекции, точность данного метода и повышается на порядок по сравнению с методом Эйлера.

Согласно (21) , получаем

. (23)

Обозначим

.

Тогда (23) разбивается на два этапа:

На первом этапе находим - прогнозируемое значение на половинном шаге от точки по методу Эйлера.

Вычисляем наклон интегральной кривой в точке , и на втором этапе, двигаясь по касательной с данным угловым коэффициентом из точки ( ) в точку ( ), получаем окончательно Полученный метод носит название “модифицированный метод Эйлера”.

Замечание 1.

Существуют процедуры Рунге-Кутта повышенной точности (порядка 3, 4, 5…). Например, метод Рунге-Кутта четвертого порядка точности (наиболее употребляемый на практике) сформулирован следующим образом

где

(24)

Если , то погрешность процедуры .

Замечание 2.

При практическом применении методов Рунге-Кутта возникает вопрос: какой формулой пользоваться на практике? Если априори известно, что - достаточно гладкая функция, например, , то наиболее эффективна процедура (24). Если же гладкость функции недостаточна, то лучше использовать методы второго и третьего порядка.

Замечание 3.

В среде МАТЛАБ реализованы две процедуры Рунге-Кутта:

ode23 – метод второго и третьего порядка

и ode45 - метод четвертого и пятого порядка.

В лабораторной работе 7 предусмотрено знакомство с этими командами.