4.4. Регрессия, нелинейная относительно параметров

Если регрессионная функция g(c₁, c₂,…, c_k, x) является нелинейной функцией относительно c₁, c₂,…, c_k, x, то сначала нужно применить линеаризующие преобразования, а затем уже использовать метод наименьших квадратов.

Пример. Рассмотрим задачу нахождения регрессионной функции g = g(c, d, x) = = c exp(dx), описывающей связь между собой двух переменных x = (x₀, x₁,…, x_n) и y = (y₀, y₁,…, y_n).

Сначала применим линеаризующее преобразование F(z) = ln(z). Получим: g₁ = = ln g = ln с + dx. Вводим новый параметр k = ln c и получаем функцию g₁, линейную относительно параметров k и d: g₁ = ln g = k + dx. Вместо функции получаем функцию .

Таким образом, от исходной задачи мы переходим к задаче нахождения параметров k и d таких, что функция достигает минимума. Рассматривая функцию U₁ как функцию переменных k и d и используя необходимые условия экстремума функции нескольких переменных, получаем нормальную систему:

.

Так как функция g₁(k, d, x) = k + dx является линейной функцией от k и d, то получаем систему линейных уравнений для нахождения неизвестных k и d. Запишем первое уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

.

Запишем это уравнение в виде: .

Второе уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

.

Запишем это уравнение в виде: .

Получаем:

Мы получили систему линейных уравнений с симметричной невырожденной матрицей. Но это справедливо, если y_i > 0, 0  i  n и c > 0 (функция ln x определена для x > 0). Либо рассматриваются только такие данные (x_i, y_i), 0  i  n, для которых y_i > 0, либо сначала от данных (x_i, y_i) нужно перейти к данным (x_i, z_i), 0  i  n, где z_i = y_i+H, H – положительная константа, выбранная таким образом, что z_i > 0, 0  i  n.

Решая нормальную систему уравнений методом Гаусса с частичным выбором ведущего элемента, находим k и d. Затем находим c = exp(k). Отметим, что c > 0.

Замечание. При построении регрессионной функции можно полагать, что исходные данные (x_i, y_i), 0  i  n, положительны. Если это не так, то всегда можно подобрать положительные числа T и H такие, что t_i = x_i + T > 0, z_i = y_i + H > 0, так как таблица данных (x_i, y_i) конечна. В результате получаем таблицу данных (t_i, z_i), 0  i  n, с положительными значениями.

Для сведения нелинейной регрессии к линейной применяются линеаризующие преобразования и замена параметров. Линеаризующее преобразование F выбирается таким образом, чтобы функция g₁ = F(g(c₁, c₂,…, c_k, x)) была линейной функцией относительно некоторых параметров d₁, d₂,…, d_k.

Рассмотрим регрессионную функцию g(c, d, x) = 1/(c+dx). Линеаризующим преобразованием в данном случае является F(z) = 1/z. Получаем: g₁ = F(g) = c+dx. Функция g₁ = g₁(c, d, x) является линейной функцией относительно параметров c и d, поэтому не требуется вводить новые параметры. От функции U переходим к функции . Отметим, что такой переход возможен, если y_i  0 и g(c, d, x_i)  0, 0  i  n.

Рассматривая функцию U₁ как функцию переменных c и d и используя необходимые условия экстремума функции нескольких переменных, получаем нормальную систему:

Мы получили систему линейных уравнений относительно неизвестных c и d с симметричной невырожденной матрицей. Решение этой системы линейных уравнений находится методом Гаусса с частичным выбором ведущего элемента.

Пример. Найти регрессионную функцию g(c, d, x) = cx/(d+x), описывающую связь между собой переменных x = (x₀, x₁,…, x_n) и y = (y₀, y₁,…, y_n).

Сначала применим линеаризующее преобразование F(z) = 1/z. Получаем g₁ = F(g (c, d, x)) = (d+x)/cx = d/cx + 1/c. Полагая, что x_i  0, 0 i  n и c  0, введем новые параметры: k = 1/c и m = d/c. Функция g₁(k, m, x) = k+m/x является линейной функцией относительно параметров k и m. От функции U переходим к функции , y_i  0, 0  i  n.

Запишем нормальную систему:

Мы получили систему линейных уравнений относительно неизвестных k и m с симметричной невырожденной матрицей. Решение этой системы уравнений находится методом Гаусса с частичным выбором ведущего элемента. Зная k и m, находим c = 1/k и d = m/k, k  0.