35.Методы обработки и анализа экспериментальных данных. Сущность метода наименьших квадратов.

Метод наименьших квадратов (МНК, англ. Ordinary Least Squares, OLS) — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов некоторых функций от искомых переменных. Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функцией. МНК является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным. Пусть дана система уравнений , где  — некоторые функции,  — некоторые известные значения, x — набор неизвестных (искомых) переменных. Для произвольных значений значения отличаются от . Суть метода наименьших квадратов заключается в том, чтобы найти такие значения , при которых минимизируется сумма квадратов отклонений (ошибок)  :

В случае, если система уравнений имеет решение, то минимум суммы квадратов будет равен нулю и могут быть найдены точные решения системы уравнений аналитически или, например, различными численными методами оптимизации. Если система переопределена, то есть количество независимых уравнений больше количества искомых переменных, то система не имеет точного решения и метод наименьших квадратов позволяет найти некоторый «оптимальный» вектор . Оптимальность здесь означает максимальную близость векторов и или максимальную близость вектора отклонений к нулю (близость понимается в смысле евклидова расстояния).

В частности, метод наименьших квадратов может использоваться для «решения» системы линейных уравнений

,

где матрица не квадратная, а прямоугольная размера (точнее ранг матрицы A больше количества искомых переменных).

Такая система уравнений, в общем случае не имеет решения. Поэтому эту систему можно «решить» только в смысле выбора такого вектора , чтобы минимизировать «расстояние» между векторами и . Для этого можно применить критерий минимизации суммы квадратов разностей левой и правой частей уравнений системы, то есть . Нетрудно показать, что решение этой задачи минимизации приводит к решению следующей системы уравнений

36.Метод наименьших квадратов. Виды приближающих функций. Метод наименьших квадратов

При интерполировании основным условием является совпадение значений функции и значений интерполяционного многочлена в узлах интерполяции.

Однако при большом количестве узлов интерполяции получается высокая степень многочлена, что затрудняет вычисление. Кроме того, экспериментальные данные, полученные в результате измерений или наблюдений, могут содержать ошибки, которые вызваны несовершенством измерительных приборов, различными случайными факторами. Построение аппроксимирующего многочлена с условием обязательного прохождения его графика через эти экспериментальные точки будет означать повторение ошибок. Поэтому иногда целесообразней строить многочлен, график которого проходит «близко» от заданных точек.

Итак, пусть при изучении неизвестной функциональной зависимости y от x получена таблица значений:

 

x0	x1	…	xn
y0	y1	…	yn

 

Нужно найти эмпирическую зависимость y=f(x), значение которых при x=x_i мало отличались бы от опытных данных y_i. График функции y=f(x), вообще говоря, не проходит через точки (x_i, y_i), как в случае интерполяции, что приводит к сглаживанию экспериментальных данных (рис. 3.3)

 

Рис. 3.3

 

Построение эмпирической формы состоит из двух этапов:

1)      выбор общего вида зависимости;

2)      выбор наилучших значений параметров, входящих в формулу.

Метод наименьших квадратов не дает возможности выбрать вид зависимости, он позволяет лишь оптимально подобрать параметры приближающей функции. Вид зависимости выбирается из каких-либо дополнительных соображений: физических, геометрических т.д.

Будем считать, что тип эмпирической зависимости выбран, и ее можно записать в виде:

где f – известная функция; - неизвестные постоянные параметры, значения которых надо найти.

В каждой точке x_i вычислим разность между табличным значением функции y_i и вычисленным значением:

Δ_i - назовем отклонениями. Поскольку y_i и f(x_i , a₀ , … , a_m), вообще говоря, не совпадают все или некоторые Δ_i ≠ 0. Запишем сумму квадратов отклонений для всех точек

.

1)      S является функцией от независимых переменных a₀ , a₁ , … , a_m

2)      Параметры a₀ , a₁ , … , a_m будем находить из условия минимума функции S.

1)      Минимум найдем, приравнивая к нулю частные производные по этим переменным

(3.5)

 

Из системы уравнений (3.5) найдем a₀ , a₁ , … , a_m.

Геометрически (рис. 3.4) метод наименьших квадратов можно интерпретировать так: среди бесконечного множества линий данного вида, проведенных относительно данных экспериментальных точек, выбрать одну, для которой сумма квадратов отклонений будет наименьшей. Это приводит к сглаживанию экспериментальных данных (рис. 3.3).