1. Классический метод наименьших квадратов для модели парной регрессии

Рассмотрим применение метода наименьших квадратов для нахождения неизвестных параметров уравнения регрессии на примере модели линейной парной регрессии.

Пусть подобрана эмпирическая линия, по виду которой можно судить о том, что связь между независимой переменной и зависиn мой переменной линейна и описывается равенством:





y_i ₀ ₁x_i . (1)

1

0

_{Необходимо найти такие значения параметров} _и _{, котоn} рые бы доставляли минимум функции (1), т. е. минимизировали бы сумму квадратов отклонений наблюдаемых значений резульn тативного признака y от теоретических значений ^y (значений, рассчитанных на основании уравнения регрессии):

 

n n

1 1





F  (y_i −y_i )²  (y_i −₀ −₁x_i )min. (2) ii

 

При минимизации функции (1) неизвестными являются значеn ния коэффициентов регрессии и . Значения зависимой и неn зависимой переменных известны из наблюдений.

Для того чтобы найти минимум функции двух переменных, нужно вычислить частные производные этой функции по каждоn му из оцениваемых параметров и приравнять их к нулю. В резульГ тате получаем стационарную систему уравнений для функции (2):







0





y







n

^{F −2}⁽ _i ^{−−}₁^)0, 0 i 1



F





n

1

0







_1 −2 i(y_i −−₁)x_i 0.

17

Если разделить обе части каждого уравнения системы на (–2), раскрыть скобки и привести подобные члены, то получим систему:

2







  

 ^{n n n}



1 1 1



₁ x_i ₀ x_i  x_i y_i , iii









n n

^₁^x_i ^₀ ^n^y_i ^. i 1 i 1

 





Это система нормальных уравнений относительно коэффиn циентов и для зависимости y_i ₀ ₁x_i .

 

Решением системы нормальных уравнений являются оценки неизвестных параметров уравнения регрессии и :

  

n n n

n n

x −x

( )

G x

2 2

 

1

i

n ^i1 xi yi −^i1 xi ^i1 y ^xy−xy ^Cov(x,y),

 

2

−

 

ⁿ^x_{i }^x_{i } 2 2 i1 i1





₀ y−₁ x,

где ^y — среднее значение зависимого признака;

^x — среднее значение независимого признака;

^xy — cреднее арифметическое значение произведения заn

висимого и независимого признаков;

_G²_(x) — дисперсия независимого признака;

Cov(x,y) — ковариация между зависимым и независимым признаками.

Рассмотрим применение МНК на конкретном примере. Имеются данные о цене на нефть x (долларов за баррель) и инn





дексе акций нефтяной компании y (в процентных пунктах). Треn буется найти эмпирическую формулу, отражающую связь между ценой на нефть и индексом акций нефтяной компании исходя из предположения, что связь между указанными переменными лиn _{нейна и описывается функцией вида} y_i ₀ ₁x_i . _{Зависимой} переменной (y) в данной регрессионной модели будет являться индекс акций нефтяной компании, а независимой (x) — цена на нефть.

18

 

Для нахождения коэффициентов и построим вспомогаn тельную таблицу 1.

 

Таблица 1 Таблица для нахождения коэффициентов и 

№ Наблюдения	Цена на нефть — x, ден. Ед.	Индекс нефтяной компании — процентные пункты	xi yi	xi2
1	17,28	537	9279,36	298,5984
2	17,05	534	9104,70	290,7025
3	18,30	550	10 065,00	334,8900
4	18,80	555	10 434,00	353,4400
5	19,20	560	10 752,00	368,6400
6	18,50	552	10 212,00	342,2500
Cумма по столбцу	110,13	3288	59 847,06	1988,52



















Запишем систему нормальных уравнений исходя из данных табn ^лицы: 1988,52 ₁ 110,13 ₀ 59 847,06,



110,13 ₁ 6 ₀ 3288.

0

1

Решением данной системы нормальных уравнений будут слеn дующие числа: 15,317; _{266,86.}

Таким образом, уравнение регрессии, описывающее зависиn мость между ценой на нефть и индексом акций нефтяной компаn нии, можно записать как: y15,317x266,86.

На основании полученного уравнения регрессии можно сдеn лать вывод о том, что с изменением цены на нефть на 1 денежную единицу за баррель индекс акций нефтяной компании изменяетn ся примерно на 15,317 процентных пункта.

19

r

S S

.

