6.1. Решение пере- и недоопределенных слау

Задача наименьших квадратов в разных дисциплинах называется по-разному. Например, математически это есть задача отыскания для заданной точки функционального пространства ближайшей точки в заданном подпространстве. Статистика вводит в свою постановку задачи вероятностные распределения и оперирует терминами типа регрессионный анализ. Инженерный подход к решению проблемы анализа сложных систем приводит к задачам оценивания параметров или фильтрации.

Главное состоит в том, что все эти задачи содержат в себе одну и ту же центральную проблему, а именно последовательность линейных задач наименьших квадратов. Эту проблему можно сформулировать следующим образом. Пусть дана действительная -матрицарангаи действительный-вектор. Задача наименьших квадратов состоит в нахождении действительного-вектора, минимизирующий евклидову длину (норму) вектора невязки.

Здесь не выдвигается никаких предположений относительно сравнительной величины параметров и, поэтому удобно все многообразие разделить на шесть случаев (рис.6.1).

В основе решения задач такого типа лежит представление -матрицыв виде произведения, гдеи– ортогональные матрицы. Напомним, что матрицаназывается ортогональной, если(– единичная матрица), из единственности обратной матрицы следует, что и. Любое разложение-матрицытакого типа называется его ортогональным разложением. Важным свойством ортогональных матриц является сохранение евклидовой длины при умножении. Это значит, что для любого-вектораи любой ортогональной-матрицы

. (6.2)

В контексте решения задачи наименьших квадратов минимизации евклидовой нормы имеем

(6.3)

для произвольной ортогональной -матрицыи-вектора.

Использование такого разложение позволяет сформулировать задачу метода наименьших квадратов в следующем виде. Пусть – ортогональная-матрица ранга, представленная в виде

, (6.4)

где и– ортогональные матрицы размерности соответственнои, а–-матрица вида

, (6.5)

где –-матрица ранга.

Рисунок 6.1. Шесть случаев задачи МНК в соответствии со сравнительной характеристикой величин ,и ранга.

Определим вектор

(6.6)

и новую переменную

. (6.7)

Определим как единственное решение системы.

Тогда:

1. Все решения задачи о минимизации имеют вид

, где– произвольно. (6.8)

2. Любой такой вектор приводит к одному и тому же вектору невязки

. (6.9)

3. Для нормы вектора невязки справедливо

(6.10)

4. Единственным решением минимальной длины является вектор

. (6.11)

Заменим согласно формуле (4) и получим

. (6.12)

из уравнений (6.6)-(6.11) следует, что

(6.13)

для всех . Очевидно, что правая часть (6.13) имеет минимальное значение, если

. (6.14)

Это уравнение допускает единственное решение , так как рангравен. Общее решение выражается формулой

, (6.15)

где произвольно. Для вектораиз (6.11) имеем

, (6.16)

что устанавливает равенство (6.9). Среди векторов вида (6.15) наименьшую длину (норму) будет иметь тот, для которого, поэтому из (6.8) получим

, (6.17)

что доказывает (6.11).

В случае иливеличины с размерностямииотсутствуют. В частности, прирешение задачи наименьших квадратов единственно. Отметим, что решение минимальной длины (нормы), множество всех решений и минимальное значение для нормы вектора невязки определяются единственным образом и не зависят от вида конкретного ортогонального разложения.

Для дальнейшего ограничимся несколькими утверждениями, приведенными без доказательств.

1. Если –-матрица, то существует ортогональная-матрицатакая, что в матрицепод главной диагональю стоят только нулевые компоненты. Такое представление матрицыназывается-разложением.

2. Если –-матрица ранга, то существует ортогональная-матрицаи-матрица перестановоктакие, что

, (6.18)

где – верхняя треугольная-матрица ранга. При этом для-подматрицысуществует ортогональная матрицатакая, что

, (6.19)

где – нижняя треугольная матрица ранга.

Первое утверждение дает возможность построить разложение матрицы в случаяхи, где. Действительно,(– единичная-матрица). Для случая() запишемили(– единичная-матрица). Второе утверждение дает возможность построить разложениядля случаев-При этом матрицапредставима в виде

, (6.20)

где – невырожденная треугольная-матрица.