4.5. Примеры решения задач

Задача 1. Пусть заданы экспериментальные данные (x_i, y_i), 0  i  n. Используя метод наименьших квадратов, построить алгоритм для нахождения регрессионной функции g(a, b, x) = a sin x + bx², описывающей связь между x и y.

Решение. Требуется построить алгоритм для нахождения параметров a и b регрессионной функции g(a, b, x) методом наименьших квадратов. Следовательно, будем искать такие значения параметров a и b, при которых функция достигает минимума, т.е.:

.

Используя необходимые условия экстремума функции нескольких переменных (в данном случае двух переменных), получаем нормальную систему для определения параметров a и b:

Так как функция g = g(a, b, x) является линейной функцией относительно a и b, то получаем систему линейных уравнений. Запишем первое уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

.

Запишем это уравнение в виде: .

Второе уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

.

Запишем это уравнение в виде: .

Запишем систему линейных уравнений:

Мы получили систему линейных уравнений с симметричной матрицей. Эта матрица невырожденна, так как функции {sin x, x²} линейно независимы. Следовательно, система линейных уравнений относительно неизвестных a и b имеет единственное решение, которое находится методом Гаусса с частичным выбором ведущего элемента.

Зная параметры a и b, мы можем найти значение регрессионной функции g(a, b, x) для любого x из отрезка [x₀, x_n].

Задача 2. Пусть заданы экспериментальные данные (x_i, y_i), 0  i  n. Используя метод наименьших квадратов, построить алгоритм для нахождения регрессионной функции g(a, b, c, x) = a cos x + be^x + cx, описывающей связь между x и y.

Решение. Требуется построить алгоритм для нахождения параметров a , b и c регрессионной функции g(a, b, с, x) методом наименьших квадратов. Следовательно, будем искать такие значения параметров a, b и c, при которых функция достигает минимума, т.е.:

.

Используя необходимые условия экстремума функции нескольких переменных (в данном случае трех переменных), получаем нормальную систему для определения параметров a , b и c:

.

Так как функция g = g(a, b, с, x) является линейной функцией относительно a , b и c, то получаем систему линейных уравнений. Запишем первое уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

.

Запишем это уравнение в виде: .

Второе уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

.

Запишем это уравнение в виде: .

Третье уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

.

Запишем это уравнение в виде:

.

Запишем систему линейных уравнений:

Мы получили систему линейных уравнений с симметричной матрицей. Эта матрица невырожденна, так как функции {cos x, e^x, x} линейно независимы. Следовательно, система линейных уравнений относительно неизвестных a, b и c имеет единственное решение, которое находится методом Гаусса с частичным выбором ведущего элемента.

Зная параметры a, b и c, мы можем найти значение регрессионной функции g(a, b, с, x) для любого x из отрезка [x₀, x_n].

Задача 3. Пусть заданы экспериментальные данные (x_i, y_i), 0  i  n. Используя метод наименьших квадратов, построить алгоритм для нахождения регрессионной функции g(c, d, x) = с  x  2^dx, описывающей связь между x и y. Если необходимо, указать ограничения на x, y, c и d.

Решение. Требуется построить алгоритм для нахождения параметров c и d регрессионной функции g(c, d, x) методом наименьших квадратов. Сначала применим линеаризующее преобразование F(z) = log₂ z. Получаем: g₁ = log₂ g = log₂ с + log₂ x + dx. Линеаризующее преобразование можно применить, если c > 0 и x_i > 0, 0  i  n. Вводим новый параметр k = log₂ c и получаем функцию g₁, линейную относительно параметров k и d: g₁ = log₂ g = k + dx + log₂ x. Вместо функции получаем функцию . Для существования функции U₁ должны выполнятся условия: y_i > 0, 0  i  n.

Таким образом, от исходной задачи мы переходим к задаче нахождения параметров k и d таких, что функция достигает минимума. Рассматривая функцию U₁ как функцию переменных k и d и используя необходимые условия экстремума функции нескольких переменных, получаем нормальную систему:

.

Так как функция g₁(k, d, x) является линейной функцией относительно k и d, то получаем систему линейных уравнений для нахождения неизвестных k и d. Запишем первое уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

.

Запишем это уравнение в виде: .

Второе уравнение:

Умножив обе части уравнения на –0.5 и преобразовав, получим:

.

Запишем это уравнение в виде:

.

Запишем систему линейных уравнений:

Мы получили систему линейных уравнений с симметричной невырожденной матрицей. Следовательно, система линейных уравнений относительно неизвестных k и d имеет единственное решение, которое находится методом Гаусса с частичным выбором ведущего элемента.

Укажем ограничения: x_i > 0, y_i > 0, 0  i  n, c > 0. Зная параметры k и d, находим c = 2^k , теперь мы можем вычислить значение регрессионной функции g(c, d, x) для любого x из отрезка [x₀, x_n].