2. Метод наименьших квадратов

Через имеющееся “облако” точек всегда можно попытаться провести линию установленного вида, которая является наилучшей в определенном смысле среди всех линий данного вида, то есть “ближайшей” к точкам наблюдений по их совокупности. Для этого определим вначале понятие близости линии к некоторому множеству точек на плоскости. Меры такой близости могут быть различными. Однако, любая разумная мера должна быть, очевидно, связана с расстоянием от точек наблюдения до рассматриваемой линии (задаваемой уравнением y=F(x)).

Предположим, что приближающая функция F(x) в точках х₁, x₂, ..., x_n имеет значения y₁, y₂, ..., y_n. Часто в качестве критерия близости используется минимум суммы квадратов разностей наблюдений зависимой переменной y_i и теоретических, рассчитанных по уравнению регрессии значений y_i. Здесь считается, что y_i и x_i - известные данные наблюдений, а F - уравнение линии регрессии с неизвестными параметрами (формулы для их вычисления будут приведены ниже). Метод оценивания параметров приближающей функции, минимизирующий сумму квадратов отклонений наблюдений зависимой переменной от значений искомой функции, называется методом наименьших квадратов (МНК) или Least Squares Method (LS).

И так, задачу приближения функции f теперь можно сформулировать следующим образом: для функции f, заданной таблицей (1), найти функцию F определенного вида так, чтобы сумма квадратов Ф была наименьшей.

Рассмотрим метод нахождения приближающей функции в общем виде на примере аппроксимирующей функции с тремя параметрами:

(3)

Пусть F(x_i, a, b, c) = y_i, i=1, 2, ..., n. Сумма квадратов разностей соответствующих значений f и F будет иметь вид:

(4)

Эта сумма является функцией Ф(а, b, c) трех переменных (параметров a, b и c). Задача сводится к отысканию ее минимума. Используем необходимое условие экстремума:

Получаем систему для определения неизвестных параметров a, b, c.

(5)

Решив эту систему трех уравнений с тремя неизвестными относительно параметров a, b, c, мы и получим конкретный вид искомой функции F(x, a, b, c). Как видно из рассмотренного примера, изменение количества параметров не приведет к искажению сущности самого подхода, а выразится лишь в изменении количества уравнений в системе (5).

Естественно ожидать, что значения найденной функции F(x, a, b, c) в точках х₁, x₂, ..., x_n, будут отличаться от табличных значений y₁, y₂, ..., y_n. Значения разностей y_i-F(x_i,a, b, c)=_i (i=1, 2, ..., n) называются отклонениями измеренных значений y от вычисленных по формуле (3). Для найденной эмпирической формулы (2) в соответствии с исходной таблицей (1) можно, следовательно найти сумму квадратов отклонений , которая в соответствии с методом наименьших квадратов для заданного вида приближающей функции (и найденных значений параметров) должна быть наименьшей. Из двух разных приближений одной и той же табличной функции, следуя методу наименьших квадратов, лучшим нужно считать то, для которого сумма (4) имеет наименьшее значение.

В экспериментальной практике в качестве приближающих функций в зависимости от характера точечного графика f часто используются приближающие функции с двумя параметрами:

Очевидно, что когда вид приближающей функции установлен, задача сводится только к отысканию значений параметров.

Другими словами постановку задачи приближения функции по методу наименьших квадратов можно сформулировать следующим образом.

Пусть функция y=f(x) задана таблицей своих значений: , i=0,1,-n. Требуется найти многочлен фиксированной степени m, для которого среднеквадратичное отклонение (СКО) минимально.

Так как многочлен определяется своими коэффициентами, то фактически нужно подобрать набор кофициентов , минимизирующий функцию .

Используя необходимое условие экстремума, , k=0,1,-m получаем так называемую нормальную систему метода наименьших квадратов: , k=0,1,-m.

Полученная система есть система алгебраических уравнений относительно неизвестных . Можно показать, что определитель этой системы отличен от нуля, то есть решение существует и единственно. Однако при высоких степенях m система является плохо обусловленной. Поэтому метод наименьших квадратов применяют для нахождения многочленов, степень которых не выше 5. Решение нормальной системы можно найти, например, методом Гаусса.

Запишем нормальную систему наименьших квадратов для двух простых случаев: m=0 и m=2. При m=0 многочлен примет вид: . Для нахождения неизвестного коэффициента имеем уравнение:. Получаем, что коэффициент есть среднее арифметическое значений функции в заданных точках.

Если же используется многочлен второй степени , то нормальная система уравнений примет вид:

Пример 1. Приближение функции по методу наименьших квадратов.

Пусть функция задана таблицей своих значений:

x	-3	-1	0	1	3
y	-4	-0.8	1.6	2.3	1.5

Приблизим функцию многочленом 2-ой степени. Для этого вычислим коэффициенты нормальной системы уравнений:

, , ,

, ,

Составим нормальную систему наименьших квадратов, которая имеет вид:

Решение системы легко находится:, , .

Таким образом, многочлен 2-ой степени найден: .

Пример 2. Нахождение оптимальной степени многочлена.

Векторы исходных данных:
Функция mnk, строящая многочлен степени m по методу наименьших квадратов, возвращает вектор a коэффициентов многочлена:
		- формирование вектора правой части и матрицы нормальной системы Гa=b метода наименьших квадратов (базисные функции - 1, x, , ..., )
		- встроенная функция MATHCAD, решает систему линейных алгебраических уравнений Ga=b
Входные параметры: x, y - векторы исходных данных; n+1 - размерность x,y.
Вычисление коэффициентов многочленов степени 0,1,2,3 по методу наименьших квадратов:
Функция P возвращает значение многочлена степени m в точке t;многочлен задается с помощью вектора коэффициентов a:
Функция возвращает значение среднеквадратичного уклонения многочлена P(a,m,t):
Вычисление значений , m=0,1,2,3:
Вывод : оптимальная степень m*=1; многочлен наилучшего среднеквадратичного приближения: P1(x)=4.465-2.917x Графики многочленов степени 0,1,2,3 и точечный график исходной функции:

Контрольные вопросы   

Задания на самостоятельную работу.

Символьные вычисления в MathCAD.

Контрольные вопросы и упражнения.

Инструктивно-методические указания по проведению практического занятия обсуждены и одобрены на заседании кафедры «Компьютеризованных систем»

Протокол № 01 от «21» августа 2001г.