4.2. Простая линейная регрессия

П ростая линейная регрессия заключается в нахождении функции g(c₁, c₂, x) = c₁+c₂x, описывающей связь между собой двух переменных x = (x₀, x₁,…, x_n) и y = (y₁, y₂,…, y_n). Таким образом, регрессионная функция уже выбрана, осталось определить параметры регрессии c₁ и c₂. Применим метод наименьших квадратов для их нахождения.

Требуется найти числа c₁ и c₂, доставляющие минимум функции

Геометрически эту задачу можно сформулировать следующим образом: в облаке точек на плоскости OXY требуется провести прямую, обеспечивая при этом наименьшую среднеквадратичную погрешность (рис. 4.1) /2/.

Функцию U(c₁, c₂) рассмотрим как функцию двух переменных - c₁ и c₂. Используя необходимые условия экстремума функции нескольких переменных, получаем нормальную систему:

, .

Так как функция g = c₁+c₂x линейна относительно c₁ и c₂, то получаем систему линейных уравнений для нахождения неизвестных c₁ и c₂. Запишем первое уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

Запишем это уравнение в следующем виде:

Второе уравнение:

Умножив обе части на –0.5 и преобразовав, получим:

Запишем уравнение в виде:

Получаем систему линейных уравнений с симметрической матрицей:

Таким образом, в случае простой линейной регрессии нормальная система является системой двух линейных уравнений с двумя неизвестными c₁ и c₂. Матрица этой системы линейных уравнений симметрична и невырожденна, следовательно, система линейных уравнений имеет единственное решение, которое ищется методом Гаусса с частичным выбором ведущего элемента. Таким образом, параметры простой линейной регрессии c₁ и c₂ определяются единственным образом.

Коэффициент корреляции

характеризует степень отклонения связи между x = (x₀, x₁,…, x_n) и y = (y₀, y₁,…, y_n) от линейной. Если |R| близок к единице, то эта связь близка к линейной (т.е. выбор линейной функции в качестве регрессионной модели оказался удачным). Причем знак коэффициента корреляции R определяет знак параметра c₂. Если R>0, то c₂>0, если R<0, то c₂<0 /2/. Если R близок к 0 (R  0), то говорят, что отсутствует линейная связь между x = (x₀, x₁,…, x_n) и y = (y₀, y₁,…, y_n). В этом случае возможна нелинейная зависимость между x и y. Если |R|<0.3, то линейная связь считается слабой, если |R|>0.7, то линейная связь считается сильной /5/.

4.3. Простая нелинейная регрессия

Следует выделить два класса нелинейных регрессионных функций.

1. Регрессионные функции g(c₁, c₂,…, c_k, x), являющиеся линейными функциями относительно параметров c₁, c₂,…, c_k, но нелинейными функциями относительно переменной x. Например,

g(c₁, c₂, x) = c₁+c₂x² ,

g(c₁, c₂, c₃, x) = c₁+c₂sin x+c₃x⁴ .

2. Регрессионные функции, являющиеся нелинейными функциями относительно параметров c₁, c₂,…, c_k. Например,

,

g(c₁, c₂, x) = 1/(c₁+c₂x) .

Принципиальное отличие этих двух классов заключается в том, что в первом случае методом наименьших квадратов мы получаем систему линейных уравнений с симметричной матрицей, которая является невырожденной при некоторых ограничениях на функцию g, а во втором случае методом наименьших квадратов мы получаем систему нелинейных уравнений. Для получения системы линейных уравнений во втором случае следует предварительно применить линеаризирующие преобразования, а затем уже использовать метод наименьших квадратов.

В данном подпункте мы будем рассматривать только первый класс нелинейных регрессионных функций, а второй класс рассмотрим в следующем подпункте.

Рассмотрим случай k = 3, т.е. регрессионная функция g(c₁, c₂,…, c_k, x) является функцией , где m(x), s(x) и r(x) – некоторые гладкие линейно независимые функции. В дальнейшем мы будем использовать следующие обозначения: a = c₁, b = c₂, c = c₃, таким образом, получаем:

.

Применим метод наименьших квадратов для нахождения параметров a, b и c, т.е. будем искать такие числа a, b и c, при которых функция достигает минимума, т.е.:

.

Рассматривая функцию U как функцию переменных a, b и c и используя необходимые условия экстремума функции нескольких переменных, получаем нормальную систему уравнений:

.

Так как функция g является линейной функцией относительно a, b и c, то получаем систему линейных уравнений. Запишем первое уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

.

Запишем это уравнение в виде:

.

Второе уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

.

Запишем это уравнение в виде:

.

Третье уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

.

Запишем это уравнение в виде:

.

Запишем систему линейных уравнений:

Мы получили систему линейных уравнений с симметричной матрицей. Если функции {m(x), s(x), r(x)} линейно независимы, то эта матрица будет невырожденной. Для нахождения a, b и c решаем систему линейных уравнений методом Гаусса с частичным выбором ведущего элемента.