6.4. Многообразие оценок регрессии

Множество оценок регрессии не исчерпывается 2ⁿ − 1 отмеченными выше элементами. Перед тем как получать любую из этих оценок, можно провести пре- образование в пространстве наблюдений или переменных.

Преобразование в пространстве наблюдений проводится с помощью матрицы D размерности N ^t × N, N ^t ™ N . Обе части исходного уравнения (6.3) умножа- ются слева на эту матрицу:

DXα = D1_N β + Dε, (6.31)

6.4. Многообразие оценок регрессии 211

после чего проводится оценка параметров любым из указанных 2ⁿ − 1 способов. Понятно, что полученные оценки будут новыми, если только D^tD ƒ= cI_N , где c — любая константа.

В результате такого преобразования β может перестать являться свободным членом, если только D1_N ƒ= c1_N ^t ( c — любая константа). Но, главное, меняется распределение ошибок по наблюдениям. Именно с целью изменить это распре- деление в нужную сторону (с помощью подбора матрицы D) и проводятся такие преобразования (см. гл. 8).

Преобразование в пространстве переменных осуществляется с помощью квадратной невырожденной матрицы C размерности n × n: Y = XC — пре- образованные значения переменных регрессии. И затем оцениваются параметры регрессии в новом пространстве: Yf = 1_N g + u.

Это преобразование можно проводить в пространстве центрированных пере- менных, т.к. Y^ˆ = X^ˆ C .

Действительно: X^ˆ C = ^.I_N − ¹ 1_N 1^r

^. XC = ^.I_N − ¹ 1_N 1^r

^. Y = Y^ˆ .

N ^N N ^N

То есть исходное уравнение регрессии (6.7) после преобразования приобретает вид:

Y^ˆ f = u. (6.32)

Оценки f являются новыми, если после «возвращения» их в исходное про- странство, которое производится умножением f слева на C , они не совпадут с оценками a, полученными в исходном пространстве, т.е. если a ƒ= Cf . Справед- ливость этого утверждения становится очевидной после следующего алгебраически эквивалентного преобразования исходного уравнения (6.7):

X^ˆ C

_C−1_a

= e. (6.33)

Y

←−_ˆ→ ←−_f−→

Понятно, что МНК-оценка f совсем не обязательно совпадет с C⁻¹a — и тогда это будет новая оценка.

После преобразования меняется распределение ошибок в переменных регрес- сии. И именно для того, чтобы изменить это распределение в нужную сторону, осуществляются такие преобразования (см. гл. 8).

Результаты преобразований в пространстве переменных различны для простых и ортогональной регрессий.

В случае простой регрессии x_j по x_−j это преобразование не приводит к по- лучению новых оценок, если j-я строка матрицы C является ортом, т.е. в объ- ясняющие переменные правой части не «попадает» — после преобразования — объясняемая переменная.

212 Глава 6. Алгебра линейной регрессии



Действительно, пусть для определенности j = 1 и C = ^



1 0

^c−1 ^C−1



^ (первая



 

1 0

строка является ортом), C⁻¹ = ^{ }.

 

_−C−1

1

₋₁ c₋₁ C⁻

−1

Уравнение (6.33) записывается следующим образом:

.

^Xˆ1 ^{+ Xˆ}−1^c−1



.

_Xˆ



−1^C−1 ^

_C−1_c

1

− C⁻¹a



1

^ = e



Y

←−−−−−−−−−−_ˆ−−−−−−−−−−→

⁻ ₋₁ −1

₋₁ −1

←−−−−−−−−−_f−−−−−−−−→

или, после переноса переменных в правую часть:

. _{ˆ ˆ} .

1 −1

^X1 ^{+ X}−1^c−1

_ˆ . ₋

= X C C c

C

−1 −1 ₋₁ −1

⁺ −1

^a−1^.

+e₁.

←−−−−−_ˆ−−−−−→

←−−_ˆ −−→ ^{←−−−−−−}_f^{−−−−−−−→}

_Y1 ^Y−1 ⁻¹

Система нормальных уравнений для оценки f₋₁ имеет следующий вид:

^{1 .} ˆ ˆ

^{. 1} ˆ ˆ

1 −1

_Cr _Xˆ r

^X1 ^{+ X}−1^c−1

= C^r X ^r

X₋₁C₋₁ ^.C⁻ c₋₁ + C

^a−1^.

_N −1 −1

_N −1 −1

−1 −1

Y

_Y r

^←−−_ˆ ^−−→ ←−−−−−−−−−−→

←−−−−→ ←−−−−→ ←−−−−−−−−−−−−−→

−1

^{Y r Yˆ}1

ˆ ˆ

₋₁ −1

^f−1

или, раскрыв скобки:

_Cr

−1^{m−1 + Cr}

1^{M−1c−1 = Cr}

1^{M−1c−1 + Cr}

1^M−1a−1.

− − −

1

После взаимного сокращения одинаковых слагаемых в полученном матричном урав- нении (2-го в левой части и 1-го в правой) и умножения обеих частей слева на C^r−1

−

получается система нормальных уравнений для оценки a₋₁ : m₋₁ = M₋₁a₋₁ .

Это означает, что f₋₁ после «возвращения» в исходное пространство совпадает с a₋₁ , т.е. проведенное преобразование в пространстве переменных новых оценок регрессии не дает.

Верно и обратное утверждение: если j-я строка матрицы C не является ортом, то a и f совпадают с точностью до обратного преобразования только тогда, когда связь функциональна и e = 0.

6.4. Многообразие оценок регрессии 213



Пусть теперь C = ^



1

1 c^r

−

^{0 I}n−1



^ (т.е. первая строка не является ортом),





_C−1 ₌ ^



1 −c^r

−1

^{0 I}n−1



^. Тогда уравнение (6.33) приобретает следующую форму:



^. ˆ ˆ

 

^{ˆ .} 1+ c^r a

−1

X₁ X₋₁ + X₁c^{r }

ˆ

←−−−−−−−−→ ^

^Y−1

−1 ⁻¹

−a₋₁

^ = e₁, (6.34)



−1

или

←−−−−−_f−−−−−→

−1

X^ˆ₁ ^.1+ c^r

и

a₋₁^. = Y^ˆ

^a−1

+ e₁,

^a− 1

1

−1

−1

X^ˆ₁ = Y^ˆ

^.1 + c^r a₋₁

^{. + .}1+ c^r a

₁ −1

−

^. e₁.

Таким образом, условием совпадения a и f с точностью до обратного преобразо- вания является следующее:

^a− 1

1

^{f−1 = .}1+ c^r

−

^a−1^.

. (6.35)

Система нормальных уравнений для оценки f₋₁ имеет вид:

1

_Yˆ ^r _Xˆ

= Y^{ˆ r} Y^ˆ f ,

1

_N −1 ¹

_N −1

−1 −1

или, учтя зависимость Y от X из (6.34) и раскрыв скобки:

₋₁ + c

m

−1

^m−1 ^{+ c}−1^m11 ^{= .M}−1 ^{+ m}−1^cr −1 ^r

+ m₁₁c₋₁c^{r .}

^f−1^.

−1

Это равенство с учетом (6.35) и (6.11) принимает вид:

r

(m₋₁ + c₋₁m₁₁) ^.1+ c₋₁

M₋₁ m

−1^{. =}

−1

= ^.M

+ m c^r + c

m^r + m c

_cr .

M ⁻¹m .

−1 −1 ₋₁

−1 ₋₁

11 −1 ₋₁

₋₁ −1

Раскрыв скобки и приведя подобные, можно получить следующее выражение:

^c−1^m11 ^{= c}−1^mr

⁻ −1

1

−1^M−1 ^{m ,}

214 Глава 6. Алгебра линейной регрессии

которое выполняется как равенство, только если

−1

m₁₁ = m^r

−1

1

M m

,

₋ −1

т.е. если (в соответствии с (6.18))

q1

m₁₁ = s² .

Таким образом, a и f совпадают с точностью до обратного преобразования только тогда, когда полная дисперсия равна объясненной, т. е. связь функциональна и e = 0.

Что и требовалось доказать.

Итак, преобразования в пространстве переменных в простых регрессиях лишь в особых случаях приводят к получению новых оценок, обычно меняются толь- ко шкалы измерения. Некоторые из этих шкал находят применение в прикладном анализе. Такой пример дает стандартизированная шкала, которая возникает, ес- ли C = S⁻¹, где S — диагональная матрица среднеквадратических отклонений переменных.

Оценки параметров регрессии после преобразования оказываются измерен- ными в единицах среднеквадратических отклонений переменных от своих средних, и они становятся сопоставимыми между собой и с параметрами других регрес- сий.

−j _j −j −j

В этом случае система нормальных уравнений формируется коэффициентами корреляции, а не ковариации, и f = R⁻¹r , где R — матрица коэффици-

−

ентов корреляции объясняющих переменных между собой, r_−j — вектор столбец коэффициентов корреляции объясняющих переменных с объясняемой перемен-

ной.

Действительно (предполагается, что j = 1), соотношения (6.33) при указанной матрице C имеют следующую форму:

X₁

. _{ˆ 1}

^s1

^Xˆ−1



S

−1 ^. _s

−1 ^{ 1}



^ = e₁. (6.36)

ˆ

←−−→

^Y1

←−−−−−→

ˆ

^Y−1

 

^−S−1^a−1

Для того чтобы вектор параметров приобрел необходимую для простой регрессии форму, его надо разделить на s₁ . Тогда и e делится на s₁ (т.е. на s₁ делятся обе части уравнения (6.36)). После переноса объясняющих переменных в правую часть

получается следующее уравнение регрессии:

Y^ˆ = Y^ˆ f

1

+ e , где f

1

= S a .

1 −1 −1

_s1 1

−1 −1

−1 _s1

Система нормальных уравнений для f₋₁ имеет следующий вид:

1

_Yˆ ^r _Yˆ

= Y^{ˆ r} Y^ˆ f ,

1

_N −1 ¹

_N −1

−1 −1

6.4. Многообразие оценок регрессии 215

или, учитывая зависимость Y от X из (6.36),

_S−1

¹ _{= S}−1

−1 _{f .}

s

₋₁ ^m−1

1

←−−−_r −−−→

₋₁ ^M−1^S₋₁ −1

R

←−−−−−−−→

−

1

−1

Что и требовалось доказать.

Преобразование в пространстве переменных в ортогональной регрессии при использовании любой квадратной и невырожденной матрицы C ƒ= I_n приводит к получению новых оценок параметров.

В пункте 4.2 при n = 2 этот факт графически иллюстрировался в случае, когда

 

1 0

.

_{C =}  

 

0 k

В общем случае верно утверждение, состоящее в том, что в результате пре- образования и «возвращения» в исходное пространство для получения оценок a надо решить следующую задачу:

(M − λΩ) a = 0, a^tΩa = 1, (6.37)

где Ω = C^t−1C⁻¹.

Действительно:

После преобразования в пространстве переменных задача ортогональной регрессии записывается следующим образом (6.24, 6.25):

(M_Y − λI_n) f = 0, f ^rf = 1, (6.38)

где, учитывая (6.33), M_Y = C^rM C, f = C⁻¹a.

Выражение (6.37) получается в результате элементарных преобразований (6.38).

Понятно, что решение задачи (6.37) будет давать новую оценку параметрам a при любой квадратной и невырожденной матрице C ƒ= I_n . Такую регрессию иногда называют регрессией в метрике Ω⁻¹.

216 Глава 6. Алгебра линейной регрессии