2.1. Определения. Парная регрессия. Метод наименьших квадратов (мнк).

Если формула (3) линейна, то речь идет о линейной регрессии. Формула статистической связи двух переменных называется парной регрессией, зависимость от нескольких переменных – множественной регрессией. Например, Кейнсом была предложена линейная модель зависимости частного потребления С от располагаемого дохода Х: С=С₀+ С₁Х, где С₀ >0 – величина автономного потребления (при уровне дохода Х=0), 1>C₁>0 – предельная склонность к потреблению (C₁ показывает, на сколько увеличится потребление при увеличении дохода на единицу).

В случае парной линейной регрессии имеется только один объясняющий фактор х и линейная регрессионная модель записывается в следующем виде:

у=₀+₁х+, (4)

где  – случайная составляющая с независимыми значениями М=0, D= ².

Оценка параметров регрессии ₀ и ₁ производится по наблюденным значениям зависимой и объясняющей переменным (x_i,y_i), i=1,2,…,n, где n – число пар наблюдений (объем выборки). Рассматриваются n уравнений у_i=₀+₁х_i+_i, где уклонения _i является следствием реализации случайной составляющей, и выбирают такие значения ₀ и ₁, которые минимизируют сумму квадратов этих уклонений, т.е. ищется минимум

Q=_i_i²= _i(у_i – ₀ – ₁х_i)² (5)

по отношению к параметрам ₀ и ₁. Заметим, что указанный метод наименьших квадратов (МНК) может быть применен к любой кривой регрессии f(x). “Наилучшая” по МНК прямая линия всегда существует, но даже наилучшая не всегда является достаточно хорошей. Если в действительности зависимость у= f(x) является, например, квадратичной, то ее не сможет адекватно описать никакая линейная функция, хотя среди всех линейных функций обязательно найдется “наилучшая”.

Для отыскания минимума берутся частные производные Q по искомым параметрам (в данном случае по ₀ и ₁) и приравниваются к нулю. После выполнения элементарных преобразований получают так называемую систему нормальных уравнений, из которой и находятся искомые параметры. Для парной линейной регрессии получаем

₁=( – )/( – ()²), (6)

₀=–₁  =(()  –  )/( – ()²),

где =x_iy_i/n, =x_i/n, =y_i/n, =х_i²/n.

Коэффициент ₁ называется коэффициентом регрессии и обозначается _yx. Из (2) и (6) следует, что

_yx = r_yx _y /_х. (7)

Если выборка имеет достаточно большой объем и хорошо представляет генеральную совокупность (репрезентативна), то заключение о тесноте линейной зависимости между признаками, полученными по данным выборки, в известной степени может быть распространено и на генеральную совокупность, т.е. можно выдвинуть гипотезу об имеющейся линейной связи во всей генеральной совокупности вида у=₀+₁х.