1.4. Метод наименьших квадратов

Одним из важных практических применений экстремума функции нескольких переменных является метод наименьших квадратов.

Пусть в результате некоторого опыта или наблюдения установлена зависимость между переменными величинами х и у, выражаемая в виде таблицы:

х	х1	х2	…	хn
у	у1	у2	…	уn

Пусть требуется перейти от табличного метода задания функции к аналитическому (т.е. выраженному в виде формулы), причем, если это нельзя сделать точно, постараемся получить аналитическую связь приближенно.

Теперь обратимся к графическому изображению данной системы. Рассматривая значения х и у как координаты точек в прямоугольной системе координат, наносим эти точки на график. Пусть, например построенные точки расположились достаточно близко к некоторой прямой. Поэтому можно приблизительно считать, что между х и у существует линейная зависимость, выражаемая формулой,

у = ах + b.

Поставим задачу аналитического определения неизвестных коэффициентов а и b.

В основе аналитического метода определения а и b лежит метод наименьших квадратов. Точки, полученные на основании опытных данных, вообще говоря, не лежат на искомой прямой. Если бы некоторая точка (х_i, у_i) лежала на прямой, то ее координаты удовлетворяли бы уравнению прямой, т.е. имело бы место равенство:

у_i = ax_i + b или ax_i + b - y_i = 0

Однако в общем случае подстановка координат точки в уравнение прямой дала бы:

ax_i + b - y_i = ε_i,

где ε_i ─ какая то малая величина.

Для первой точки получаем

ax₁ + b - y₁ = ε₁,

Для второй точки

ax₂ + b - y₂ = ε₂, и т.д.

Для последней точки

ax_n + b - y_n = ε_n.

Величины ε₁, ε₂, …, ε_n характеризуют отклонения рассматриваемых точек от точек искомой прямой: они выражают отклонения ординат точек наблюдения от ординат точек искомой прямой.

Метод наименьших квадратов требует подобрать значения параметров а и b таким образом, чтобы сумма квадратов отклонения ε_i, была при этом наименьшей, т.е.

Здесь x₁, x₂,..., x_n, y₁, y₂,..., y_n - заданные числа. Функция S есть функция двух независимых переменных a и b, т.е.:

S = f (a, b).

Необходимые условия существования экстремума функции дают:

S / a = 0; S / b = 0.

Вычислим эти частные производные:

S / a = 2 (ax₁ + b - y₁) x₁ + 2 (ax₂ + b - y₂) x₂ + ... +

+ 2 (ax_n + b - y_n) x_n,

S / b = 2 (ax₁ + b - y₁) · 1 + 2 (ax₂ + b - y₂) · 1 + ... +

+ 2 (ax_n + b - y_n) · 1.

Приравнивая частные производные к нулю и сокращая на 2, получаем систему двух линейных уравнений с двумя неизвестными a и b:

(ax₁ + b - y₁) x₁ + (ax₂ + b - y₂) x₂ + ... + (ax_n + b - y_n) x_n = 0,

(ax₁ + b - y₁) + (ax₂ + b - y₂) + ... + (ax_n + b - y_n) = 0.

Раскрывая скобки, и после соответствующих преобразований получаем:

(1)

Эти уравнения называются стандартными уравнениями, решение которых дает искомые значения a и b.

Система (1) может быть для удобства переписана следующим образом:

1.5. Правила составления систем стандартных уравнений

Существует определенное правило составления системы стандартных уравнений:

1. Записывается исходное уравнение:

y = a + bx.

2. Перемножаются все члены уравнения на коэффициент при первом неизвестном и суммируются:

.

3. Далее перемножаются все члены уравнения на коэффициент при втором неизвестном и также суммируются:

и т.д.

Итак, система стандартных уравнений для функции у = а + bx имеет вид:

Для параболы второй степени у = а + bх + сх² система стандартных уравнений имеет вид:

Для параболы третьей степени у = а + bх + сх² + dx³:

Для функции у = а + система стандартных уравнений имеет вид:

Для функции у = система стандартных уравнений записывается следующим образом:

= а + bx + cZ

Для функции у = а + а₁х₁ + а₂х₂ + а₃х₃ система стандартных уравнений имеет вид: