Algebra&Geometry / modules 3-4 / lect18
.pdf
Лекция 18. Метод наименьших квадратов
1. Метод наименьших квадратов
Если линейная неоднородная система
|
8 a11x1 + : : : + a1nxn = b1 |
|
< ak1x1 ¢+¢ ¢: : :¢+¢ ¢akn¢x¢ ¢n = bk |
не имеет решений, то существует |
„наилучшее приближенное решение\. Наилучшее в следующем смысле: |
: |
задавая значения неизвестных мы изучаем отклонение левой части от правой. Отклонение вычисляется так. Пусть числа ®1; : : : ; ®n это значения неизвестных x1; : : : ; xn. Положим
c1 = aaa®1 + : : : + a1n®n; : : : ; ck = ak1®1 + : : : + akn®n:
|
|
|
|
|
|
|
¹ |
Наборы чисел c1; : : : ; ck и b1; : : : ; bk мы рассматриваем, как координаты векторов c¹ и b в евклидовом про- |
|||||||
k |
. Теперь отклонение набора c1; : : : ; ck |
|
|
|
¹ |
||
странстве R |
от набора b1; : : : ; bk это просто jb ¡ c¹j. |
||||||
Матрицу системы |
|
0a11... |
|
a1...n1 |
|
|
|
|
|
|
¢.¢.¢. |
|
|
||
|
|
|
Bak1 |
¢ ¢ ¢ |
aknC |
|
|
|
|
|
@ |
A |
|
|
|
мы будем рассматривать, как матрицу координат векторов |
|
|
|||||
|
a¹1 = 0a11... |
1 |
; a¹2 = |
0a12... |
1; : : : ; a¹n = |
0a1...n |
1 |
|
Bak1C |
|
Bak2C |
BaknC |
|||
|
@ |
A |
|
@ |
A |
@ |
A |
из пространства Rk. Тогда вектор c¹ это линейная комбинация: c¹ = ®1a¹1 |
+ : : : + ®na¹n, т.е. c¹ 2 ha¹1; : : : ; a¹ni. |
¹ |
¹ |
Теперь мы видим, что модуль разности jb ¡c¹j минимален, когда вектор c¹ есть проекция вектора b на подпро- |
|
странство ha¹1; : : : ; a¹ni. В этом случае числа ®1; : : : ; ®n и есть решение наилучшего приближения. |
|
Замечание. Решение наилучшего приближения единственно, если векторы a¹1; : : : ; a¹n линейно независимы, т.е. образуют базис своей линейной оболочки. В противном случае решений бесконечно много, так как есть
|
|
|
¹ |
|
|
|
|
|
|
|
|
бесконечно много способов выразить проекцию вектора b как линейную комбинацию векторов a¹1; : : : ; a¹n. |
|||||||||||
Проекция, разумеется, единственна, но способов ее описания бесконечно много. |
|
|
|||||||||
Если a¹1; : : : ; a¹n базис, то проблем не возникает. |
|
|
|
|
|
|
|
|
|
||
Пример. Найдем решение наилучшего приближения для несовместной системы |
|
|
|||||||||
|
|
8 x1 + x2 = 0 |
|
|
|
|
|
|
|
||
|
|
< |
|
|
|
|
|
|
|
|
|
|
|
2x1 ¡ x2 = 1 |
|
|
|
|
|
|
|||
|
|
: x1 ¡ 2x2 = 0 |
|
|
|
|
|
|
|||
Мы ищем проекцию c¹ = x1a¹1 + x2a¹2 вектора |
|
|
|
|
|
|
|
|
|
||
¹b = |
0 |
|
h |
|
|
i |
|
1 |
1 |
Ai |
|
@0A |
на подпространство L = |
|
; a¹2 |
|
h@1A @ |
¡2 |
|
||||
011 |
|
a1 |
|
= |
021; 0 |
¡1 |
1 |
: |
|||
Строим систему: |
½ (¹c ¡ ¹b; a¹2) = 0 |
) |
½ ¡3x1 + 6x2 = ¡1 |
) |
½ x2 = 0 |
|
¹ |
|
6x1 ¡ 3x2 = 2 |
|
x1 = 1=3 |
|
(¹c ¡ b; a¹1) = 0 |
|
|
Для этого приближенного решения отклонение левой части от правой в каждом уравнении равно 1=3. Следовательно, среднеквадратичная ошибка равна 1=p3.
2. Скалярное произведение и транспонирование
Теорема 1. Пусть A некоторая n£n матрица, а x;¹ y¹ 2 Rn два произвольных вектора. Тогда (Atx;¹ y) = (¹x; Ay¹) и (Ax;¹ y¹) = (¹x; Aty¹).
Доказательство. Так как (At)t = A, то достаточно доказать первое неравенство. Напомним, x¹ это n £ 1 матрица столбец координат вектора, а (¹x)t это 1 £ n матрица строка координат. Скалярное произведение (¹x; y¹) это единственный элемент 1 £ 1 матрицы (¹x)t ¢ y¹ (или (¹y)t ¢ x¹). Так как транспонирование 1 £ 1 матрицы ее не меняет, то
(¹x; Ay¹) = (¹x)tAy¹ = ((¹x)tAy¹)t = (¹y)tAtx¹ = (Atx;¹ y¹):
¤
Замечание. Если матрица A симметрична, то (Ax;¹ y) = (x; Ay¹).
Теорема 2. Все корни характеристического многочлена симметричной матрицы A вещественны.
1
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Доказательство. Если A 2 £ 2 матрица, то все очень просто: |
|
|
|
|
|
|
||||||||
|
¯ |
b |
c |
¡ |
¸¯ |
|
¡ |
|
|
|
2 |
¡ |
2 |
|
pA(¸) = |
¯ |
a ¡ ¸ |
|
¯ |
= ¸2 |
|
|
|
|
|
||||
¯ |
|
b |
¯ |
|
(a + c)¸ + ac b2 |
: |
||||||||
|
|
|
|
|
равен (a |
¡ |
c) |
|
+ 4b |
|
> 0. К сожалению, даже для |
|||
Осталось заметить, что дискриминант¯ |
этого многочлена¯ |
|
|
|
||||||||||
3 £ 3 матриц вычисления становятся слишком сложными. Мы будем рассуждать совсем по другому.
Пусть ' оператор такой, что A' = A. Если характеристический многочлен pA имеет комплексный корень ® + i ¯, ¯ 6= 0, то, как мы знаем, есть два ненулевых вектора v¹ и u¹ такие, что
'(¹v) = ® v¹ ¡ ¯ u¹ |
) |
A ¢ v¹ = ® v¹ ¡ ¯ u¹ |
||
'(¹u) = ¯ v¹ + ® u¹ |
A |
¢ |
u¹ = ¯ v¹ + ® u¹ |
|
Так как (A v;¹ u¹) = (¹v; A u¹), то |
|
|
|
|
|
|
|
|
|
(® v¹ ¡ ¯ u;¹ u¹) = (¹v; ¯ v¹ + ® u¹) ) ®(¹v; u¹) ¡ ¯(¹u; u¹) = ¯(¹v; u¹) + ®(¹v; u¹) ) ¯(jv¹j2 + ju¹j2) = 0: |
||||
Противоречие. |
|
|
|
¤ |
Определение 1. Мы будем называть оператор ' симметричным, если его матрица A' симметрична.
Предложение 1. Пусть V ортонормированный базис, а ' симметричный оператор. Тогда матрица AV' симметрична.
Доказательство. Пусть C = CE!V матрица перехода, тогда C ортогональная матрица и C¡1 = Ct. Так
как AV' = C¡1A' C = CtA' C, то
¡AV' ¢t = ¡CtA' C¢t = CtA'C = AV' ;
¤
Теорема 2. Пусть ' симметричный оператор. Если v¹ и u¹ его собственные векторы с собственными числами ¸ и ¹, ¸ 6= ¹, то v¹?u¹.
Доказательство. Имеем, |
|
¸(¹v; u¹) = (¸ v;¹ u¹) = (A ¢ v;¹ u¹) = (¹v; A ¢ u¹) = (¹v; ¹ u¹) = ¹(¹v; u¹) ) (¸ ¡ ¹)(¹v; u¹) = 0: |
¤ |
Так как ¸ ¡ ¹ 6= 0, (¹v; u¹) = 0. |
Следствие. Пусть ' симметричный оператор, и все корни его характеристического многочлена простые. Тогда существует ортонормированный базис из собственных векторов оператора '.