6.2. Расчет коэффициентов множественной линейной регрессии

Представим данные наблюдений и соответствующие коэффици­енты в матричной форме.

Y =

У1"		'1	xll	X12	... xlm		"b0"		V
У2	, x =	1	X21	X22	••• X2m	, B =	bi		e2
Уп		1	Xnl	x	... Xjjjjj		bm		en

Здесь Y - вектор-столбец размерности п наблюдений зависимой переменной Y; X - матрица размерности n x (m + 1), в которой i-я строка (i = 1, 2, ... , п) представляет наблюдение вектора значений не­зависимых переменных Х_ь Х₂, ... , Х_т; единица соответствует пере­менной при свободном члене bo; В - вектор-столбец размерности (т

145

+ + 1) параметров уравнения регрессии (6.6); е - вектор-столбец раз­мерности п отклонений выборочных (реальных) значений yi зависи­мой переменной Y от значений у^, получаемых по уравнению регрес­сии

у_£ = bo + ЬА + Ъ₂Х₂ + ... + b_mX_m. (6.12)

n

Нетрудно заметить, что функция Q = Z^i в матричной форме

ii

представима как произведение вектор-строки е^т = ( е_ь е₂,..., е_п ) на вектор-столбец е. Вектор-столбец е, в свою очередь, может быть запи­сан в следующем виде:

e = Y-XB. (6.13)

Отсюда Q = е^т-е = (Y - XB)^T-( Y -ХВ) = Y^T Y -В^т X^х Y -Y^T ХВ +В^Т X^х ХВ =

= Y^T Y - 2В^Т X^х Y + В^ТХ^Т ХВ. (6.14)

Здесь е^т, В^т, X^х, Y^T - векторы и матрицы, транспонированные к

е, В, X, Y соответственно. При выводе формулы (6.14) мы воспользо­вались известными соотношениями линейной алгебры:

(Y - ХВ)^Т = Y^T - (ХВ)^Т; (ХВ)^Т = В^ТХ^Т; B^TX^TY = Y^TXB. (6.15)

Эти соотношения легко проверить, записав поэлементно все мат­рицы и выполнив с ними нужные действия.

Необходимым условием экстремума функции Q является равен­ство нулю ее частных производных —— по всем параметрам Ь,,

Sbj

дО

j = 0, 1, ... , т. Покажем, что вектор-столбец — частных производ­ив

ных в матричном виде имеет следующий вид:

^ = -2Х^Т Y + 2(Х^ТХ)В. (6.16)

Для упрощения изложения обозначим матрицу X^х X размерно­сти (m+l)x(m+l) через Z. Тогда

146

= B^XZB =

				Zll	1 0	7 lm+1
(b0	,bl5.	..,b	m).	Z21	Z22
				Zm+ll	Zm+12	•" Zm+lm+l

bm

i=0

i=0

i=0

bm

mm

^{r z = x}

j=0 i=0 j=0 i=0

Следовательно, частная производная = 2 EbjZ_{i+1 +1}.

dbj i=o

В результате имеем — = 2(X X)B.

Обозначим вектор-столбец X^TYразмерности (m+1) через R.

Тогда B^x X^х Y = B^XR =

j=o

^гДе r,+i - соответствующий элемент

вектора R. Поэтому

дВ

/9 fY^TYl Y^TY от В не зависит, и значит — = 0.

д В

Следовательно, формула (6.16) справедлива. Приравняв — ну-

дВ

лю, получим общую формулу (6.18) вычисления коэффициентов мно­жественной линейной регрессии:

-2X^TY + 2(X^TX)B = 0 ^>

X^TY = (X^TX)B ^> (6.17)

В = (Х^ТХ)-^!Х^. (6.18)

Здесь (X^х X)"¹ - матрица, обратная к X^х X.

147

Полученные общие соотношения справедливы для уравнений ре­грессии с произвольным количеством m объясняющих переменных. Проанализируем полученные результаты для случаев m = 1, m = 2.

Для парной регрессии Y = bo + biX + e имеем:

Y =

У2	х =	1 х2	, в =	"ь0"	, е =	е2
Уз				Л.		...
У4		1 хп				еп

(6.13) => e = Y-XB

е1		У1		1 Х1
е2		у2		1 х2		"ь0"
...		...				Л.
_еп_		.У п.		-1 Хп.

1 1 ... 1

1 X

п

Xj Х₂

1 X,

= (X^TX)~¹ =

1 1

... х„

У₂

Уп

( 6.18) => В = (X^TXrX^TY =

148

(4.13)

Сравнивая диагональные элементы z» матрицы Z ^{1 =} (Х^ТХ) ^!с формулами (5.12), (5.13), замечаем, что S_b. = S • z», j = 0, 1.

Рассуждая аналогично, можно вывести формулы (осуществление выкладок рекомендуем в качестве упражнения) определения коэффи­циентов регрессии для уравнения с двумя объясняющими перемен­ными (т = 2). Соотношение (6.17) в этом случае в расширенной фор­ме имеет вид системы трех линейных уравнений с тремя неизвестны­ми bo, Ь_ь b₂:

' = nb₀ + bjlxij + b₂lx_i2,

5

(6.19)

^=boS^xi2 +b₁lx_ilx_i2 +Ъ₂2>?₂ . Решение данной системы имеет вид: b_o=y-b₁x₁+b₂x₂,

_{b =} ¹

~Щ)(У{ -У)• Z(Xj2 ~х₂)² -Нха -х₂)(у_{ -у)• Дхц -xQCxa -x₂) ^а -х₂)² -(I(x_il -х^хц -х₂))²

x)²

j -у) • Дхц -x_t)² - Дх_[1 -ХхХх -у) • Дхц -ХхХхд -х₂) ц -х₂)² -(Дх;! -XjXx^ -x₂))²