2 . С И С Т Е М Ы Л И Н Е Й Н Ы Х

А Л Г Е Б Р А И Ч Е С К И Х У Р А В Н Е Н И Й

Система m линейных алгебраических уравнений представляется в виде

Система уравнений (2.1) имеет единственное решение, если определитель det(A) отличен от нуля. В развернутой (компонентной) записи эта система уравнений имеет вид

Прямые методы решения

Прямыми называют методы решения систем линейных алгебраических уравнений, для которых результат получается за конечное, заранее определенное, число арифметических операций. Наиболее популярным среди них является метод Гаусса1.

1 Гаусс Карл Фридрих [30.4.1777 23.2.1855]. С 1795 по 1798 юды учился в Геттингенском университете. В 1799 году получил доцентуру в Брауншвейге, а с 1807 года - кафедру математики и астрономии Геттингенского университета, а также должность директора Геттингенской астрономической обсерватории. С 1802 года являлся иностранным (с 1824 - иностранным почетным) членом Петербургской академии наук.

Метод Гаусса

Рассмотрим процедуру решения системы линейных алгебраических уравнений

методом Гаусса на следующем примере:

что гарантирует единственность решения.

1 шаг. Первая строка системы уравнений делится на первый коэффициент:

1х, + 2х; - Зх3 = -4, 1х, +4х2 + 1х3 = 12, 2х, + 6х2 +0х3 = 14.

2 шаг. Первая строка вычитается из второго уравнения:

1х, +2х2 - З х3 = -4,

|Ох, + 2х2 + 4х3 = 16,

2х, +6х2 + 0х3 = 14.

3 шаг. Из третьего уравнения вычитается первая строка, умноженная на 2: 1х, + 2х2 - З х3 = -4,

-Ох, +2х2 +4х3 = 16,

Ох, +2х2 +6х3 = 22.

4 шаг. Второе уравнение делится на 2:

1х, +2х2 - З х3 = -4,

|Ох, +1х2 +2х3 = 8,

Ох, +2х: +6х, =22.

5 шаг. Из третьего уравнения вычитается второе ypaBHeHnet ум^оженное на 2:

значениями на главных диагоналях), существуют единственные решения первых двух

должно быть отлично от нуля. Для того, чтобы убедиться в этом, произведем следующие выкладки:

диагональными, а их определители представлены разложениями соответственно по последнему столбцу и нижней строке.

Покажем единственность разложения (2.3). Предположим, что такое разложение возможно не единственным образом, то есть

А = LmU(1) = L(2)U(2).

Проводя простейшие преобразования, получаем

Цп _ L(2)U(2)U(1) «

Можно заметить, что поскольку исходные и обратные матрицы сохраняют свою “треугольную” форму, в левой части последнего выражения расположена нижняя

треугольная матрица, а в правой части - верхняя треугольная. Но равенство в этом

Первый шаг метода Гаусса приводит матрицу к виду

1 1 О"

А = О 0 1

О1 1

Нулевое значение на главной диагонали матрицы вызывает аварийную остановку вычислительного процесса. Нетрудно убедиться, что для исходной матрицы А один из

угловых миноров = 0, то есть имеется противоречие условиям теоремы 2.1. Для

успешного выполнения процедуры метода Гаусса следует поменять местами строки матрицы А (смена столбцов приведет к необходимости изменить порядок неизвестных), например:

1 1 О'

А* = 0 1 1

1 1 1

м построим новую матрицу

В силу сделанного предположения все угловые миноры матрицы Pm_,Am., отличны от нуля: последний угловой минор Am= det(Am) = det(A) *0 также отличен от нуля. В

рассмотренном частном случае теорема доказана. 2. Пусть теперь det(Aml) = 0.

Представим разложение определителя матрицы А в виде разложения по последнему столбцу:

det(A) = d et(A J = ±a,mdet(A ^,)±aJm det(A(m!’,)± ...± a mm det(A'ml,) .

В силу det(A)*0, существует хотя бы один det(A(J^,) * 0 . Поменяем местами

строки матрица А с номерами ш и k (m * k в силу принятого условия det(Am.,) = 0). В результате получаем преобразованную матрицу А^ = РтАга, у которой угловой минор

диагонали: U - верхняя треугольная матрица с единицами на главной диагонали.

Определение числа операций алгоритма метода Гаусса

Подсчитаем число операций умножения и деления (наиболее длительные операции

Благодаря симметрии матрицы А имеет место равенство Ат = А , что позволяет произвести следующие преобразования:

UTKTNT = N K U ,

UTKT = N K U (N t )''

N"'UTK T = KU(NT) '‘

IC- W K 1 = U (N t )~'

В силу того, что К '.К 1 являются диагональными матрицами, N4 , и 1 - нижние

Равенство возможно лишь при условии, что и в левой, и в правой частях этого тождества расположены диагональные матрицы.

Матрицы (N r) ' и U имеют единицы на главной диагонали; следовательно, их произведение также содержит единичную главную диагональ, то есть

U (N t ) '‘ = E , U = N T

Отсюда следует, что соотношение (2.5) можно переписать в виде

А = NKNT

Далее представим матрицу К в виде

Определение числа операций алгоритма метода квадратного корня

Подсчитаем число операций умножения и деления, необходимых для реализации

алгоритма метода квадратного корня.

1. Факторизация исходной матрицы, то есть вычисление матриц S и D:

3.Вычисление т раз значений квадратных корней.

где Мд = ||А"‘|| |(а || - число обусловленности матрицы А, характеризующее зависимость относительной погрешности решения системы уравнений от относительного “возмущения” правой части. Очевидно, что

1= INI= ||а •А '11 <;||а Ц■||а _‘1 = м * •

Пример 2.2. Рассмотрим систему уравнений Г0,780х + 0.563у = 0,217, [о,913х + 0,659у = 0,254.

Определитель этой системы уравнений Л = 0,780 - 0,659 - 0,563 • 0,913 = 0,000001 = 10 отличен от 0, хотя и мал. Матрица коэффициентов представляется в виде

0,780 0,563

А =

0,913 0,659 Вычисление обратной матрицы приводит к значению

659000 -563000

А"1

-913000 780000

Нетрудно убедиться, что определитель обратной матрицы принимает значение А = 659000-780000-563000-913000= 1000000= 106.

При использовании для вычисления нормы матрицы выражения

I m -1

M = J z 2 X

V•=* и

получаем для рассматриваемого случая:

||А|| = 1,480952059, |а.-' || = 1480952,059.

Теперь можно оценить число обусловленности матрицы А, то есть показатель устойчивости решения при возмущении правой части системы уравнений:

МА=2193219.

что и требовалось доказать.

Теорема 2.3. Пусть матрица А имеет обратную и выполнено условие

Тогда матрица А = А + 5А имеет обратную и справедлива оценка погрешности

то А ' существует в силу существования матриц А"1 и (Е + С )'1

Теперь определим отклонение возмущенного решения от исходНОГо:

бх = х - х = А '1? - A"'f = А -1? - A 'f + A*‘f - A " ‘f = А"'(? ^ f) + (A"‘ -A ~')f

откуда можно оценить норму

Цбх1 = Цл-'бг (X -А - Е)х| ^ |А-1 • |5fl|+||А-А - Е| - И .

Оценим порознь слагаемые в правой части этого неравенства:

| * - Н м - Л - 1 Ф * С ) ||А

|А-'А - е | = ||(А+ 6а )*'а - е| = | а (е + А-'бА))" а - е| = |(а (е + с))" а - е| =

=1е +с)"а "а - е11=|(е +с) " - е1=1е +с)"(е -(е +с) |= Н е +с)"с1^

Вспоминая, что МА = ||А',||-||А||, получаем доказываемое утверждение теоремы

Преобразуем выражение (2.9) к виду

где п - также номер итерации. В отличие от метода Якоби, теперь для вычисления очередной неизвестной используются найденные на этой же итерации значения всех предыдущих величин. Как и ранее, вычислительный процесс заканчивается, когда выполняется условие:

6>0 - заданная точность вычисления результата.

Пример 2.4. Рассмотрим систему алгебраических уравнений, указанную в предыдущем примере:

[4х + 2у = 5, [Зх + 5у = 9.

Представим полученные выражения в виде итерационной схемы

S_9v,n' xt«i. = L _ d !_

4

(n+D

;5

Это означает, что для нахождения величины у на (п+1) итерации используется значение х. только что вычисленное на этой же итерации. В качестве начального приближения также примем х(0) =0, yl0) =0. Результаты расчетов сведены в табл. 2.2. На рис. 2.2 графически показан ход выполнения итерационной процедуры Зейделя.

Как и в предыдущем случае, представим матрицу коэффициентов А в виде суммы А = А, + D + A. с теми же обозначениями. Метод Зейделя можно представить в форме

1Зейдель Филипп Людвиг [24.10.1821 - 13.8.1896] - немецкий астроном и математик. С 1851 стал

членом Баварской академии наук; с 1854 - членом Геттингенской академии наук.

Сходимость итерационных методов

Сравнивая формулы (2.10) метода Якоби и (2.12) метода Зейделя, можно заметить,

что если методы сходятся, то есть в некотором смысле (х(п+1) - х(п)) 0, п -» х , то они

сходятся к решению исходных задач Ax(n) = f, п оо.

Пример 2.5. Рассмотрим еще одну систему алгебраических уравнений, несколько

отличающуюся от приведенных в предыдущих примерах:

( 4х + 2у = 5,

}-20х + 5у = -2,5.

-2.5 + 20Х1"*11

У5

Результаты расчетов сведены в табл. 2.3. На рис. 2.3 отражен ход выполнения процедуры Зейделя.

Таблица 2.3

Результаты выполнения итерационной процедуры метода Зейде;

Результаты расчетов показывают, что в последнем случае отсутствует сходимость последовательности результатов к точному решению. Это приводит к необходимости определения условий сходимости той или иной итерационной процедуры.

В общем случае итерационные методы решения систем линейных алгебраических уравнений можно записать в канонической форме

где в (п+|).т (п } - итерационные параметры.

Рис. 2.3. Отсутствие сходимости при использовании метода Зейделя

В случае, если в{п+|), х(п+|) не зависят от номера итерации, метод называется

стационарным. В частности, для метода Якоби B(n+I) = D, т(п+,) = 1; для метода Зейделя B(n+,) = А, + D, т(п+|) = 1.

Если B(n+1) = Е . метод называется явным; в случае В(п+,) * Е - неявным.Примеры итерационных методов:

- явный стационарный метод простых итераций

т

неявный стационарный метод верхней релаксации

Для установления условий сходимости определим величину погрешности метода формулой z (n) = х(п) - х, тогда из формулы (2.13) для стационарного итерационного метода можно получить

Полиномы Чебышёва1

Для дальнейшего рассмотрения определим, согласно [8], норму

JfJ = max |f(x)|.

хЦа.Ь]

называемую чебышёвской.

Рассмотрим задачу: среди всех полиномов степени N со старшим коэффициентом, равным 1, найти такой многочлен TN(x), для которого величина |TN|| = njax|TN(x)| минимальна. Такой многочлен носит название полинома Чебышёва.

Расмотрим функцию

Произведем тригонометрические преобразования:

PN+,(х) = cos((N + l)arccos(x)) = cos(N • arccos(x) + arccos(x)) =

=cos(N • arccos(x))cos(arccos(x)) - sin(N arccos(x))sin(arccos(x)) =

=xPN(x) - sin(N • arccos(x))sin(arccos(x));

PN_,(x) = cos((N - l)arccos(x)) = cos(N • arccos(x) - arccos(x)) =

=cos(N • arccos(x))cos(arccos(x)) + sin(N • arccos(x))sin(arccos(x)) =

=xPK(x) + sin(N • arccos(x))sin(arccos(x)).

Складывая почленно два последних равенства,

PN*I + P\-i = - XPN*

PN.,= 2 XPN -P n1,

получаем рекуррентное соотношение для построения функции PN+1. В соответствии с формулой (2.15)

Р0(х) = cos(0- arccos(x)) = I; Р,(х) = cos(l ■arccos(x)) = x .

Чебышев Пафнутнй Львович [4.5.1821 26.11.1894]. В 1841 году закончил Московский университет и там же в 1846 году защипы магистерскую диссертацию. В 1847 году подготовил и защитил диссертацию на право чтения лекций и был утвержден в звании доцента Петербургского университета. В 1849 году защитил докторскую диссертацию; в 1850 году стал профессором Пегербургского университета. С 1856 года являлся икадемиком Петербургской академии наук.

И далее, в соответствии с полученной зависимостью Р2(х) = 2хР,(х)- Р0(х) = 2х2 -1; Р,(х) = 2xPj(x)- Р,(х) = 4х’ - Зх: Р4(х) = 2хР,(х) - Р,(х) = 8 х \-8 х 2 +1:

Р5(х) = 2хР4(х)- Р,(х) = 1бх* -20х5 +5х

На рис. 2.4 показаны некоторые полиномы построенной системы.

Рис. 2.4. Полиномы TN(X) при N= 2, 3, 4, 5, 6

Можно заметить, что в общем случае коэффициент при старшей степени

Очевидно, что TN(x) является полиномом степени N со старшим коэффициентом, равным I.

Доказательство. Пусть существует полином SN(x) степени N со старшим коэффициентом 1(рис. 2.5), причем

I|SN | | < | Q N | .

то есть |SN(x)| < ||Qn || V xe[-I,l].

Построим функцию R(X) = QN(X) -S N(X). отличную от нуля и являющуюся полиномом степени (N-1).

Рис. 2.5. Графики полиномов QsCx), Ss(x) и их разности R(x) = Q5(x)- S5(x)

В точках экстремумов хр имеем

QN(*PM -0P-|QN1- P=^N-

Тогда R(xp) = (—l)p • ||Qn || —SN(xp) . p = 0,N и в силу предположения функция R(x) на отрезке [-1, 1] меняет знак N раз, а значит имеет N корней, чего не может быть, поскольку R(x) является полиномом степени (Nrl).

Таким образом, утверждение леммы 2.2 доказано.

Поскольку построенный ранее полином Чебышёва TN(x) удовлетворяет всем требованиям леммы, он является наименее уклоняющимся от нуля на отрезке [-1, I].

В случае необходимости отыскания полинома, наименее уклоняющегося от нуля на произвольном отрезке [а, Ь], следует перейти к новой переменной

Корни этого многочлена расположены в точках

Ь’ Ро _ Г+Х~ Ь + а

Рассмотрим соотношения: у = arccos(z);

cos(y) = z - нечетная функция;

cos(2y) = 2cos2(y ) - 1 = 2z2 -1 - четная функция:

cos(3y) = cos(y) - (4cos2(y) - з) = 4z3 - 3z - нечетная функция;

cos(4y) = 2• (2cos2(y)- l)2 -1 = 2^2z2 - l)2 -1 - четная функция:

s(N • arccos(-z)) = (- l)Ncos(N • arccos(z)) = (- l)N^ ^|z + Vz: - 1J + |z -V z : - 1j

Положим z = — , тогда

виде

N J r f _

PN = ( - I) , . 2N

1+Pl

Теперь очевидно, что построенный полином принимает экстремальные значения, равные

ITNI= lejf?JTN(Х)1 = Г+Рр^

Здесь использовано определение собственных значений и векторов:

T(NV = X kpk.

Учитывая, что

Сравнивая последнее неравенство с выражением (2.19), определяем точное значение нормы:

||T (N)|= V .

С учетом этого можно оценить величину погрешности: ||z(N,|= | r (N,z,0,|S v .|zW|.

Построение доказательства теоремы 2.6 основано на поиске такого набора

является как раз матричной функцией матричного аргумента, то соответствующая скалярная функция

(l- x ,N,Xl) ( l - x ,N- '\ ) - . . . ( l - x ,llX1)

определяет собственные значения матрицы T(N). В этом случае ее спектральный радиус может быть определен как

v ^ a x l ( 1- x 'N'X1).(1- x ,- ,X1)....(l-x<"X 1)|.

Тогда спектральный радиус можно определить следующим образом:

max |f(X)|

и определение набора т(п), n = 1,N сводится к задаче поиска

отыскании полинома степени N, наименее уклоняющегося от нуля на отрезке [linin’А.та*]* которая может быть решена с использованием полинома Чебышёва.

Корни функции (2.20) принимают значения:

1- т,п)Х = 0, Х „ = - ^ , п =Т к

и должны совпадать с корнями полинома Чебышёва:

n = 1,N.

1+Pot(n) '

Обозначения соответствуют введенным при формулировке теоремы.

Для оценки нормы погрешности заметим, что

2РГ v £ ^ al J f(X)H fll= 1+р,

1+РГ

что и требовалось доказать.

Рассмотрим неявную итерационную схему с положительно определенными матрицами А и В:

минимальное (максимальное) собственное значение матрицы В-1А является одовременно и минимальным (максимальным) собственным значением для матрицы С.