Лекция 8

3.7. Метод наименьших квадратов

При обработке результатов измерений часто возникает необходимость построить эмпирическую формулу,дающую аналитическое выражение функциональной зависимости, заданной таблицей. Использование для этого интерполяционных полиномов не всегда целесообразно , так как зачастую результаты измерений помимо основной зависимости отражают разного рода малые случайные ошибки, и точное совпадение в узлах интерполяции построенной функции с табличными значениями может даже исказить основную зависимость. В других случаях речь может идти о построении наиболее простой формулы, достаточно хорошо отражающей указанную зависимость.

Пусть результаты измерений представлены совокупностью измеренных значений функции в соответствующих точках f(x_i), i=0,1,…,n. Требуется найти функцию (x) в виде некоторой эмпирической формулы, которая аппроксимирует функцию f(x), так чтобы отклонения

v_i=(x_i) - f(x_i), i=0,1,…, n

оказались бы в каком-то смысле наименьшими. Наиболее распространенным критерием малости отклонений является следующий критерий, положенный в основу способа наименьших квадратов. Требуют, чтобы оказалась минимальной сумма квадратов отклонений

Будем искать аппроксимирующую функцию в виде полинома степени m:

(x) = b₀+b₁x+…+b_mx^m (b_m0).

Задача ставится следующим образом: подобрать коэффициенты полинома: b₀, b₁,…, b_m, так чтобы сумма квадратов отклонений S достигала минимума.

Заметим, что величина S является неотрицательной функцией переменных b₀, b₁,…, b_m и, следовательно, всегда имеет минимум. Если m>n, то существует бесконечное множество полиномов степени m, обеспечивающих S=0. Для m=n равенство S=0 обеспечивается единственным полиномом, являющимся интерполяционным полиномом для заданной функции. Обычное соотношение между степенью полинома и числом узлов: m<<n, в этом случае при любых значениях коэффициентов полинома S>0.

Таким образом, задача сводится к исследованию на минимум функции многих переменных S(b₀, b₁,…, b_m). Необходимым условием минимальности S является равенство нулю производных по всем параметрам: S/b₀=0, S/b₁=0, …, S/b_m=0.

S/b₀=2ⁿ_i=0(b₀+b₁x_i+…+b_mx_i^m –f(x_i)),

S/b₁=2ⁿ_i=0(b₀+b₁x_i+…+b_mx_i^m- f(x_i))x_i,

… … …

S/b_m=2ⁿ_i=0(b₀+b₁x _i …+b_mx_i^m-f(x_i))x_i^m.

Преобразование уравнений дает систему, назывемую системой нормальных уравнений:

(n+1)b₀+b₁ⁿ_i=0x_i+ b₂ⁿ_i=0x_i²+…+b_mⁿ_i=0x_i^m = ⁿ_i=0f(x_i)

b₀ⁿ_i=0x_i +b₁ⁿ_i=0(x_i)²+…+b_mⁿ_i=0(x_i)^m+1 = ⁿ_i=0x_if(x_i)

… … …

b₀ⁿ_i=0x_i^m+b₁ⁿ_i=0x_i^m+¹+…+b_mⁿ_i=0x_i²^m = ⁿ_i=0x_i^mf(x_i)

Решая эту систему уравнений с симметричной матрицей, найдем коэффициенты полинома: b₀,b₁,…,b_m. Если среди узлов нет совпадающих, то определитель системы отличен от нуля, и так как значения функции не могут быть все одновременно нулями, то система имеет единственное решение.

Если известна погрешность измерения единичного значения функции - , то величина максимального отклонения =maxv_i (i=0,1,…, n) может служить обоснованием правильности выбора степени аппроксимирующего полинома m. Если максимальное отклонение полинома от функции много больше погрешности измерения: >>, то это означает слишком грубую аппроксимацию, и степень m необходимо увеличить. В противном случае - <<, степень m завышена и ее следует уменьшить. Только когда , можно считать, что степень аппроксимирующего полинома выбрана правильно.