47. Оценка методом наименьших квадратов коэффициентов регрессии.

Регрессионный анализ – один из основных методов современной мат статистики. Корреляционный анализ позволяет установить существует или не существует зависимость м/у парами наблюдений, то регрессионный анализ дает целый арсенал методов построения соответствующих зависимостей. Классическим методом оценивания коэффициентов уравнения регрессии является метод наименьших квадратов (МНК).

На основании известных n пар наблюдений (x_i, y_i) делается предположение о виде зависимости, например:

y=a+bx, где y – зависимая (результативная) переменная, х – независимая (факторная) переменная.

Пусть переменная x задается точно (без ошибок), тогда отклонение наблюдений y_i от зависимости y=a+bx является случайным и параметры a и b можно найти из условия минимизации суммы квадратов ошибок ε_i=y_i–a–bx_i

_n

S= ε_i²→ min,

ⁱ⁼¹

_n

S= ( y_i–a–bx_i)²→ min,

ⁱ⁼¹

Рассмотрим функцию двух переменных

_n

S(а, b)= ( y_i–a–bx_i)²,

ⁱ⁼¹

найдем ее минимум:

	∂S(a,b)	=0
	∂a
	∂S(a,b)	=0
	∂b

Имеем

2(yi-a-bx)(-1)	=0
2(yi-a-bx)(-xi)	=0

После преобразований получим:

n na+bxi i=1	n =yi i=1
n n a+bxi2 i=1 i=1	n =xiyi i=1

Эта система носит название системы нормальных уравнений Гаусса, т.к. получена из условия минимизации суммы квадратов отклонении, в предположении, что x_i – фиксированы, т.е. отклонения перпендикулярны оси ОХ.

Решив систему относительно a и b получим искомое уравнение зависимости, которое носит название регрессии Y на Х.

Аналогично, предположив, что искомая зависимость имеет вид x=c+dy, где значения yi – фиксированы, мы получим уравнение регрессии X на Y.

Если X и Y – система двух нормально распределенных случайных величин, то преобразуя систему Гаусса (см. выше), уравнение регрессии Y на Х можно записать

y -y= r	y	(x-x)
	x

Соответственно уравнение регрессии X на Y имеет вид

х -х= r	х	(y-y)
	y