Линейная регрессия и метод наименьших квадратов
Опишем вначале математическую постановку задачи, считая, что изучается одна зависимая переменная у в присутствии одной независимой переменной х (так называемая задача парной регрессии).
Пусть зависимость между х и у имеет вид
,
где
-
постоянные коэффициенты, называемые
параметрами
модели,
e-случайная величина с математическим ожиданием 0 и дисперсией s2 .
В этом случае уравнение регрессии превращается в уравнение прямой
.
Предположим,
что независимой переменной придали
значения
,
в результате чего зависимая переменная
приняла значения
.
В предположении линейной зависимости
получаем n
равенств
,
где
-
независимы и распределены так же, как
e.
Требуется
по значениям пар (
)
оценить неизвестные
.
Как
мы уже знаем, каждая задача оценивания
связана с некоторым критерием качества.
В излагаемой нами теории таким критерием
является критерий наименьших квадратов:
Запишем эту сумму иначе, так, чтобы была видна зависимость от :
.
Теперь окончательно приходим к следующей задаче:
отыскать такие значения неизвестных параметров , чтобы функция
приняла наименьшее значение.
Метод решения этой задачи известен из курса высшей математики.
Находим частные производные функции Q и приравниваем их к нулю, в результате чего приходим к системе линейных уравнений
После очевидных преобразований получаем систему
Обозначим выборочные средние
,
,
В этих обозначениях после деления каждого уравнения системы на n она примет вид
а ее решение (искомые оценки коэффициентов уравнения регрессии) будет таким
Если
ввести еще обозначение
и преобразовать выражение для
:
,
то оценка функции регрессии примет вид
.
Метод наименьших квадратов (МНК) - метод оценки параметров модели на основании экспериментальных данных, содержащих случайные ошибки. В основе метода лежат следующие рассуждения: при замене точного (неизвестного) параметра модели приблизительным значением необходимо минимизировать разницу между экспериментальными данными и теоретическими (вычисленными при помощи предложенной модели). Это позволяет рассчитать параметры модели с помощью МНК с минимальной погрешностью.
Мерой разницы в методе наименьших квадратов служит сумма квадратов отклонений действительных (экспериментальных) значений от теоретических. Выбираются такие значения параметров модели, при которых сумма квадратов разностей будет наименьшей – отсюда название метода:
где Y – теоретическое значение измеряемой величины, y – экспериментальное.
При этом полученные с помощью МНК параметры модели являются наиболее вероятными.
Метод наименьших квадратов, а также его различные модификации (нелинейный МНК, взвешенный МНК и т.д.) широко используется в аналитической химии, в частности, при построении градуировочной модели. Как правило, предполагается линейная зависимость (параметры которой требуется установить) между аналитическим сигналом и содержанием определяемого вещества. В этом случае метод наименьших квадратов позволяет оптимизировать параметры градуировки (и получить наименьшую погрешность анализа), а сумма квадратов разностей теоретического и экспериментального значения аналитического сигнала является мерой погрешности градуировки и линейно связана с так называемой остаточной дисперсией (дисперсией адекватности модели).