3. Метод наименьших квадратов (мнк)

Система m линейных уравнений с n неизвестными имеет вид:

Возможны три случая: m<n, m=n, m>n. Случай, когда m=n, рассматривался в предыдущих параграфах. При m<n, если система mлинейных уравнений с nнеизвестными является совместной, то она не определена и имеет бесконечно много решений.

В случае, если m>nи система является совместной, то матрица А имеет по крайней мере m – nлинейно зависимых строк. Здесь решение может быть получено отбором n любых линейно независимых уравнений (если они существуют)и применением формулы Х=А^-1×В, то есть, сведением задачи к ранее решенной. При этом полученное решение всегда будет удовлетворять и остальным m – nуравнениям.

Однако при применении компьютера удобнее использовать более общий подход – метод наименьших квадратов.

1. Алгебраический метод наименьших квадратов.

Под алгебраическим методом наименьших квадратов понимается метод решения систем линейных уравнений

Ax∼= B (1.1)

путем минимизации евклидовой нормы

‖Ax − b‖ → inf . (1.2)

1. Анализ данных эксперимента

Рассмотрим некоторый эксперимент, в ходе которого в моменты времени

<<... <

производится, например, измерение температуры Q(t). Пусть результаты измерений задаются массивом

, , ...,.

Допустим, что условия проведения эксперимента таковы, что измерения проводятся с заведомой погрешностью. В этих случаях закон изменения температуры Q(t) ищут с помощью некоторого полинома

P(t) = +++ ... +,

определяя неизвестные коэффициенты ,, ...,из тех соображений, чтобы величина E(, ...,), определяемая равенством

E(,...,) =

принимала минимальное значение. Поскольку минимизируется сумма квадратов, то этот метод называется аппроксимацией данных методом наименьших квадратов.

Если заменить P(t) его выражением, то получим

=

Поставим задачу определения массива так, чтобы величинабыла минимальна, т.е. определим массивметодом наименьших квадратов. Для этого приравняем частные производныепок нулю:

Если ввести m × n матрицу A = (), i = 1, 2..., m; j = 1, 2, ..., n, где

=,i = 1, 2..., m; j = 1, 2, ..., n,

то выписанное равенство примет вид

(k=1,2,…,n)

или

(k=1,2,…,n)

Перепишем написанное равенство в терминах операций с матрицами. Имеем по определению умножения матрицы на столбец

Для транспонированной матрицы аналогичное соотношение выглядит так

Введем обозначение: i –ую компоненту вектора Ax будем обозначать В соответствии с выписанными матричными равенствами будем иметь

=

(k=1,2,…,n)

В матричной форме это равенство перепишется в виде

A^Tx=A^TB (1.3)

Здесь A – прямоугольная m× n матрица. Причем в задачах аппроксимации данных, как правило, m > n. Уравнение (1.3) называется нормальным уравнением.

Можно было с самого начала, используя евклидову норму векторов, записать задачу в эквивалентной матричной форме:

==

=

Наша цель минимизировать эту функцию по x. Для того чтобы в точке решения достигался минимум, первые производные по x в этой точке должны равняться нулю. Производные данной функции составляют

−2A^TB + 2A^TAx

и поэтому решение должно удовлетворять системе линейных уравнений

(A^TA)x = (A^TB).

Эти уравнения называются нормальными уравнениями. Если A – m× n матрица, то A>A – n × n - матрица, т.е. матрица нормального уравнения всегда квадратная симметричная матрица. Более того, она обладает свойством положительной определенности в том смысле, что (A>Ax, x) = (Ax, Ax) ≥ 0.

Замечание. Иногда решение уравнения вида (1.3) называют решением систе- мы Ax = В, где A прямоугольная m × n (m > n) матрица методом наименьших квадратов.

Задачу наименьших квадратов можно графически интерпретировать как минимизацию вертикальных расстояний от точек данных до модельной кривой (см. рис.1.1). Эта идея основана на предположении, что все ошибки в аппроксимации соответствуют ошибкам в наблюдениях. Если имеются также ошибки в независимых переменных, то может оказаться более уместным минимизировать евклидово расстояние от данных до модели.

рис.1.1.