21. Функциональная зависимость. Метод наименьших квадратов (МНК).

Функциональная зависимость (ФЗ) между с.в.:Y=f(x). МНК позволяет находить ФЗ между признаками.

Пусть в результате эксперимента получено n значений признака X и n значений признака Y, т. е. значения (x_i, y_i), i=. Нанесем т-ки x_i, y_i на коорд-ю плос-ть. По расположению этих точек можно выдвинуть гипотезу, о виде ФЗ между признаками X и Y, пусть например получили следующий рисунок:

В этом случае зависимость между признаками X и Y линейная, т. е. y=ax+b. Учитывая, что при проведении эксперимента имеют место погрешности, то их можно найти если известны a и b как разности, y_i-(ax_i+b).

В общем виде зависимость между признаками имеет вид: y=f(x, a, b, c, …), а разность:

y_i–f(x_i, a, b, c, …) характеристические погрешности называются уклонениями эмпирической формы. После того как выбран вид функции f задача сводится к нахождению коэффициентов a, b, c, … Эта задача решается МНК.

Как известно погрешность вычислений минимальна, если сумма модулей погрешностей в каждой точке минимальна. Эта сумма не удобна для исследования, т. к. она =0, только когда a, b, c, … будут =0, поэтому вместо нее в МНК используется сумма квадратов уклонений, т. к. она минимальна, при тех же a и b, что и сумма уклонений.

Обозначим через . Задача заключается в нахождении таких значений a,b,c… , чтобы S(a,b,c…) было минимальным. Коэффициенты a,b,c… находятся из системы:

Доказано, что найденные из этой системы

коэффициенты a,b,c… наилучшим образом

описывают эксперимент.

Пусть функция f(x)=ax+b.

Составим сумму отклонений: S(a,b)=(y_i –ax_i-b)².

Эта сумма будет минимальной при значениях a и b являющихся решениями системы:

(1)

Решим эту систему методом Крамера.

a= b=

Для проверки функции S(a,b) на экстремум найдем вторые частные производные по a и b:

=А, =В, =С

AC-B²=…=. Т.е. a и b дают минимальное значение S.

Пример. В результате эксперимента получены следующие данные

x_i 1 2 3 5 Построим эти точки на плоскости

y_i 3 4 2,5 0,5 yi .

3 .

2,5 .

0,5 .

1 2 3 5 xi

По расположению точек можно предположить о линейной зависимости между x и y, т.е. S(a, b) имеет вид:

S(a,b)=(y_i –ax-b)². Найдем коэффициенты a, b с помощью с-мы (1) :, , , . Т. о.

a=, b= f(x)=x+