Численные методы (Шапошникова Д.А.) / Лекции / Лекция_ 5_ИЭТ 2011

Методы вычислений. ИЭТ. 4-й семестр. Лекция 5. Стр. 7

МЕТОДЫ ВЫЧИСЛЕНИЙ

ИЭТ, 4-й семестр, 2²

Лекция 5

Численные методы линейной алгебры

Численные методы линейной алгебры: прямые и итерационные методы решения систем линейных алгебраических уравнений (метод Гаусса, метод простой итерации, метод Зейделя).

В классических курсах методов вычислений обычно выделяют четыре основные задачи линейной алгебры: решение системы линейных алгебраических уравнений, вычисление определителей, вычисление обратной матрицы, определение собственных значений и собственных векторов матрицы. Мы рассмотрим только первую и последнюю из этих основных задач. Вторую и третью задачи вкратце обсудим при изучении задачи решения линейных систем.

Решение систем линейных алгебраических уравнений. Постановка задачи

Рассмотрим систему линейных алгебраических уравнений относительно неизвестных :

Решением системы называется совокупность значений неизвестных

, при подстановке которых все уравнения системы обращаются в тождества. Система, имеющая хотя бы одно решение, называется совместной; система, не имеющая ни одного решения — несовместной.

Линейная система “свернутом” виде может быть записана в виде , ,

или в матричном виде

, где , , ,

матрица называется матрицей системы, вектор называется правой частью системы, вектор — решение системы.

Если , то матрица системы невырождена, у нее существует обратная матрица. Известно, что в этом случае решение системы существует, единственно и устойчиво по входным данным. Это означает, что рассматриваемая задача корректна.

Пусть - приближенное решение системы. Мы будем стремиться к получению решения, для которого погрешность мала. (Количественные характеристики «величины» погрешности будут введены позднее.) Качество полученного решения далеко не всегда характеризуется тем, насколько мала погрешность . Иногда вполне удовлетворительным является критерий малости вектора невязки . Вектор показывает, насколько отличается правая часть системы от левой, если внее подставить приближенное решение. Заметим, что и поэтому погрешность и невязка связаны равенством .Решение системы формально легко получить, умножив обе части уравнения слева на матрицу имеем

Оба эти случая хорошо иллюстрируются геометрически для

Обусловленность задачи решения линейной системы. Приведенные выше рисунки иллюстрируют некорректную задачу и хорошо обусловленную корректную задачу.

Однако, система эквивалентна системе , а поскольку из-за округления чисел при вводе в память компьютера левая часть будет отлична от точного нуля, то можно утверждать, что, вообще говоря, любая система после ввода в память компьютера становится несовместной. Б. Парлетт в книге "Симметричная проблема собственных значений" пишет, предупреждает: "Причудливые подчас эффекты арифметики конечной точности должны быть всегда в поле зрения при матричных вычислениях". Попытаемся понять, как сильно могут влиять погрешности округления на погрешность конечного результата, какие свойства матрицы системы определяют ее "чувствительность" к погрешностям округления и какие "причудливые эффекты" могут возникать в машинных расчетах, т.е. попытаемся исследовать обусловленность задачи решения линейной системы. Обусловленность решения линейной системы важна еще и потому, что матрица системы и правые части в большинстве практических научных расчетах содержат ошибки, мера влияния которых на погрешность результата также определяется обусловленностью задачи. Ниже приведена геометрическая иллюстрация плохо обусловленной задачи. Прямая получена как результат возмущения правой части уравнения, описывающего прямую . Малая погрешность правой части приводит к катастрофической погрешности: точка А — решение исходной системы, точка В — решение возмущенной системы.

Рассмотрим пример

и

Очевидно, что решением первой системы является вектор , а решением второй — , т.е. изменение правой части в пятой значащей цифре привело к изменению решения в первой значащей цифре. Заметим, что определители матриц малы ( ). Рассмотрим еще несколько примеров.

Определитель матрицы системы равен , хотя ее решения мало зависят от погрешностей исходных данных. В этом легко убедиться, умножив оба ее уравнения на :

С другой стороны, определители матриц систем

и равны единице.

Решение первой системы —(, а решение второй системы — . Т.е малая погрешность правой части, относительная погрешность составляет 1%, приводит к катастрофической погрешности решения , относительная погрешность решения равна 100%.

Таким образом, мы убедились, что (определитель матрицы системы) не может служить мерой обусловленности матрицы.

Норма матрицы. Число обусловленности матрицы. Если в пространстве векторов введена норма и если , , числа m и M — наименьшее и наибольшее значения своеобразного "коэффициента растяжения".

Согласованной нормой в пространстве матриц называют величину .

Например,

если , то согласованная норма матрицы ,

если , то согласованная норма матрицы ,

если , то согласованная норма матрицы ,

если , то согласованная норма матрицы .

Внешне столь различные, эти нормы эквивалентны: когда некоторая последовательность векторов по одной из этих норм стремится к нулю, то она стремится к нулю и по остальным нормам: тогда и только тогда, когда . Или, что то же самое, существуют числа и такие, что .

Величина m тоже играет важную роль в матричных вычислениях. Если матрица невырождена, то она обратима и .

Абсолютная и относительная погрешности вектора.

Абсолютная погрешность вектора x^

Относительная погрешность вектора x^ .

Выбор той или иной конкретной нормы в практических задачах диктуется тем, какие требования предъявляются к точности решения.

Пусть — точное решение линейной системы , а

— решение системы с возмущенной матрицей :

, ,

вычитая из второго уравнения первое, имеем , откуда и, следовательно, .

Величину принято называть числом обусловленности матрицы.

Оценка числа обусловленности. Замечательно, что число обусловленности матрицы совершенно также определяет влияние на погрешности решения возмущения правой части системы.

Пусть — решение системы с возмущенной правой частью: :

, , , , и т.е.

Заметим, что если , то . Такое определение числа обусловленности позволяет дать следующую геометрическую интерпретацию обусловленности матрицы. Матрица отображает n-мерную единичную сферу (множество векторов единичной длины ) в множество векторов различной длины . Это множество — r-мерный эллипсоид в Rⁿ, r — ранг матрицы А, для невырожденных систем r = n. На рисунке изображен случай n =2.

Здесь и — наибольшее и наименьшее сингулярные числа матрицы — соответственно большая и малая полуоси эллипса и плохая обусловленность отвечает сильно вытянутым эллипсам.

Таким образом, чем больше число обусловленности, тем чувствительнее решение линейной системы к погрешностям округления. Системы (матрицы) с большим числом обусловленности называют плохо обусловленными.

Реальное вычисление числа обусловленности предполагает знание нормы обратной матрицы, вычисление которой сравнимо по количеству операций с решением системы. Однако для анализа обусловленности системы достаточно знать какую-либо хорошую оценку числа обусловленности, например, часто вычисляется очень точная оценка, нижняя граница истинного числа обусловленности , где — j-й столбец матрицы А, , , — специально выбранный вектор, координаты которого .

Решение линейной системы методом Гаусса

Методы решения систем линейных алгебраических уравнений можно разделить на точные и приближенные. Примером точных методов может служить метод Крамера, который на самом деле никогда не применяется из-за огромного количества вычислений и связанных с ними ошибок округления. Точные методы решения линейных систем применяют для решения линейных систем относительно небольшой размерности (до ). Метод Гаусса — точный метод решения невырожденной системы линейных алгебраических уравнений. Метод Гаусса, его еще называют методом гауссовых исключений, состоит в том, что систему линейных алгебраических уравнений относительно неизвестных

приводят последовательным исключением неизвестных к эквивалентной системе с треугольной матрицей

решение которой находят по формулам

Общее число арифметических операций прямого хода метода Гаусса , считая размерность системы n.

Пример.

Легко убедиться, что точным решением системы является вектор . Если решить эту задачу методом Гаусса, выполняя вычисления с тремя значащими цифрами, то в результате округлений получится совершенно непригодное решение .

Решение системы линейных алгебраических уравнений

методом простых итераций

Точные методы решения линейных систем применяют для решения линейных систем относительно небольшой размерности (до ). Для решения систем большей размерности () используют итерационные методы. Для решения систем еще больших размерностей(> 10⁶ ) применяют специальные методы, которые здесь не рассматриваются Метод прогонки – алгоритм решения систем линейных алгебраических уравнений с трехдиагональными матрицами. Общее число арифметических операций прямого хода 8n.

Итерационные методы хороши для систем с разреженными матрицами. Разреженными называют матрицы, большинство элементов которых — нули. Рассмотрим простейший итерационный метод решения линейной системы — метод простых итераций.

Метод состоит в следующем.

Сначала система уравнений преобразуется к виду и ее решение вычисляется как предел последовательности

Преобразовать систему к виду можно, например, выделив диагональные элементы: .

Теорема. Пусть выполнено условие . Практически это означает, что итерационные последовательности хорошо сходятся для тех матриц, у которых диагональные элементы велики по сравнению с внедиагональными.

Тогда

1. решение системы существует и единственно;

2. при произвольном начальном приближении метод простой итерации сходится и справедлива оценка погрешности .(*)

1) Из курса линейной алгебры известно, что система линейных алгебраических уравнений имеет единственное решение при любой правой части тогда и только тогда, когда соответствующая однородная система имеет только нулевое решение. Пусть - решение однородной системы . . Т.к. по условию , это неравенство возможно только при . Следовательно, =0 и тем самым первое утверждение теоремы доказано.

2) Вычитая из равенства равенство , получим

.

Вычисляя норму левой и правой частей этого равенства и используя неравенство получим :

.

Справедливость неравенства (*) установлена. Учитывая, что не зависит от k, а при получаем, что при.

В качестве условия окончания итерационного процесса можно взять условие , где — заданная погрешность. Тогда полагаем .

Решение системы методом Зейделя. В итерационном методе Зейделя (метод Зейделя называют методом Гаусса-Зейделя, процессом Либмана, методом последовательных замещений) . При вычислении каждой последующей компоненты решения используются уточненные значения предыдущих компонент.

Метод Зейделя легко записать в компактной матричной форме: ,

, .

Если , то , . В практических расчетах используют то же условие окончания итерационного процесса, что и в методе простых итераций.