6.3. Ортогональная регрессия

В случае, когда ограничения на вектор a (или α) состоят в требовании равен- ства единице длины этого вектора

a^ta = 1 (α^tα = 1), (6.24)

и все переменные остаются в левой части уравнения, получается ортогональная регрессия, в которой расстояния от точек облака наблюдений до гиперплоскости регрессии измеряются перпендикулярно этой гиперплоскости. Разъяснения этому факту давались в пункте 4.2.

Оценка параметров регрессии производится из условия минимизации остаточ- ной дисперсии:

_s2 (6.7) 1

→

_e = a^tX^{ˆ t}X^ˆ a = a^tMa min!, N

N

где M = ¹ X^{ˆ t}X^ˆ

• ковариационная матрица переменных регрессии, при условии

(6.24).

Из требования равенства нулю производной по a соответствующей функции Лагранжа следует, что

(M − λI_n) a = 0, (6.25)

где λ — множитель Лагранжа ограничения (6.24), причем

e

λ = s². (6.26)

Действительно, функция Лагранжа имеет вид:

L (a, λ) = a^rMa − λa^ra,

а вектор ее производных по a:

−

^∂L = 2 (Ma λa) .

∂a

Откуда получается соотношение (6.25). А если обе части этого соотношения умно- жить слева на a^r и учесть (6.24), то получается (6.26).

Таким образом, применение МНК сводится к поиску минимального собствен- ного числа λ ковариационной матрицы M и соответствующего ему собствен- ного (правого) вектора a (см. также Приложение A.1.2). Благодаря свойствам данной матрицы (вещественность, симметричность и положительная полуопреде- ленность), искомые величины существуют, они вещественны, а собственное чис- ло неотрицательно (предполагается, что оно единственно). Пусть эти оценки по- лучены.

В ортогональной регрессии все переменные x выступают объясняемыми, или моделируемыми, их расчетные значения определяются по формуле:

X^{ˆ c} = X^ˆ − ea^t. (6.27)

Действительно: X^{ˆ c}a =

X^ˆ a − e a^ra = 0, т.е. вектор-строки xˆ^c , соответствующие

i

←−_e→

←→₁

наблюдениям, лежат на гиперплоскости регрессии и являются проекциями на нее

вектор-строк фактических наблюдений

xˆ_i (вектор a по построению ортогонален

i

гиперплоскости регрессии, а e_ia^r — вектор нормали xˆ^c

на xˆ_i ), а аналогом коэф-

^λ 2 ⁿ 2

фициента детерминации выступает величина 1 − _s2 , где s_Σ = ^ s_j — суммарная

Σ

дисперсия переменных x, равная следу матрицы M .

j=1

Таким образом, к n оценкам вектора a простой регрессии добавляется оценка этого вектора ортогональной регрессии, и общее количество этих оценок стано- вится равным n + 1.

Задачу простой и ортогональной регрессии можно записать в единой, обобщен- ной форме:

(M − λW ) a = 0, a^tWa = 1, λ → min!, (6.28)

где W — диагональная n×n-матрица, на диагонали которой могут стоять 0 или 1. В случае, если в матрице W имеется единственный ненулевой элемент

w_jj = 1, то это — задача простой регрессии x_j по x_−j (действительно, это следу- ет из соотношения (6.23)); если W является единичной матрицей, то это — задача

ортогональной регрессии. Очевидно, что возможны и все промежуточные случаи, когда некоторое количество n₁, 1 < n₁ < n, переменных остается в левой части уравнения, а остальные n₂ переменных переносятся в правую часть уравнения регрессии:

X^{ˆ 1}a¹ = X^{ˆ 2}a² + e¹, ^a^1t a¹ = 1.

Если J — множество переменных, оставленных в левой части уравнения, то в записи (6.28) такой регрессии w_jj = 1 для j ∈ J и w_jj = 0 для остальных j. Оценка параметров регрессии производится следующим образом:

a² = M ⁻¹M₂₁a¹, ^

− M M ⁻¹M

− λI

^ a¹ = 0

₂₂ ^M11

12 ₂₂ 21 n₁

22

( a¹ находится как правый собственный вектор, соответствующий минимальному собственному числу матрицы M₁₁ − M₁₂M ⁻¹M₂₁), где

₁  _{ˆ 1}_{t ˆ 1}

 _ˆ

M₁₁ = _N X X ,

21

M₁₂ = M ^t =

1 _X1

N

^t X^{ˆ 2},

₁  _{ˆ 2}_{t ˆ 2}

M₂₂ = _N X X

— соответствующие ковариационные матрицы.

Таким образом, общее количество оценок регрессии — (2ⁿ − 1). В рамках любой из этих оценок λ в (6.28) является остаточной дисперсией.

Задача ортогональной регрессии легко обобщается на случай нескольких урав- нений и альтернативного представления расчетных значений изучаемых перемен- ных.

Σ

Матрица M , как уже отмечалось, имеет n вещественных неотрицательных собственных чисел, сумма которых равна s² , и n соответствующих им веществен- ных взаимноортогональных собственных векторов, дающих ортонормированный базис в пространстве наблюдений (см. также Приложение A.1.2). Пусть собствен- ные числа, упорядоченные по возрастанию, образуют диагональную матрицу Λ, а соответствующие им собственные вектора (столбцы) — матрицу A. Тогда

A^tA = I_n, M A = AΛ. (6.29)

Собственные вектора, если их рассматривать по убыванию соответствующих им собственных чисел, есть главные компоненты облака наблюдений, которые по- казывают направления наибольшей «вытянутости» (наибольшей дисперсии) этого облака. Количественную оценку степени этой «вытянутости» (дисперсии) дают соответствующие им собственные числа.

Пусть первые k собственных чисел «малы».

_s2

_E — сумма этих собственных чисел;

A^E — часть матрицы A, соответствующая им (ее первые k стоблцов); это — коэффициенты по k уравнениям регрессии или k младших главных компонент;

A^Q — остальная часть матрицы A, это — n − k старших главных компонент или собственно главных компонент;

A = [A^E , A^Q];

xA^E = 0 — гиперплоскость ортогональной регрессии размерности n − k;

компонент;

A^{E Q.} — координаты облака наблюдений в базисе главных

E — матрица размерности N × k остатков по уравнениям регрессии;

Q — матрица размерности N × (n − k), столбцы которой есть значения так называемых главных факторов.

Поскольку A^t = A⁻¹, можно записать X^ˆ

= E ^A^{E t} + Q ^A^Qt . Откуда

получается два возможных представления расчетных значений переменных:= X − E ^t = Q ^A^Qt . (6.30ервое из них — по уравнениям ортогональной регрессии, второе (альтерна- тивное) — по главным факторам (факторная модель).

2 

s

1 − ^sE

₂ — аналог коэффициента детерминации, дающий оценку качества

Σ

обеих этих моделей.

Факторная модель представляет n переменных через n − k факто- ров и, тем самым, «сжимает» ин- формацию, содержащуюся в исход- ных переменных. В конкретном ис- следовании, если k мало, то предпо-

чтительнее использовать ортогональ- ные регрессии, если k велико (со- ответственно n − k мало), целе- сообразно применить факторную мо- дель. При этом надо иметь в ви- ду следующее: главные факторы —

расчетные величины, и содержатель- ная интерпретация их является, как правило, достаточно сложной зада- чей.

x₁

A _r

B

E

D

G

F

x

0 _C

2

1

Рис. 6.1

Сделанные утверждения можно проиллюстрировать на примере n = 2, предполагая, что λ₁ / λ₂ , и упрощая обозначения (введенные выше матрицы являются в данном случае векторами):

a₁ = A^E — вектор параметров ортогональной регрессии,

a₂ = A^Q — вектор первой (в данном случае — единственной) главной компоненты,

e = E — остатки в уравнении ортогональной регрессии,

q = Q — значения первого (в данном случае — единственного) главного фактора.

На рисунке: OA — вектор-строка i-го наблюдения

xˆ_i = (xˆ_i1, xˆ_i2), OD —

вектор-строка расчетных значений

xˆ^c , длина OC — xˆ_i1 , длина OB — xˆ_i2 ,

i

OE — вектор-строка a^r , Ott — вектор-строка a^r , длина OF — e_i , длина

1 2

OD — q_i .

Как видно из рисунка 6.1, квадрат длины вектора xˆ_i равен (из прямоугольных тре-

угольников OAC и OAD) xˆ² + xˆ²

= e² + q² , и если сложить все эти уравнения по

i1 i2 i i

i и разделить на N , то получится s² + s² = s² + s² . Понятно, что s² = λ₁ , s² = λ₂ ,

1 2 e q e q

1

и это равенство означает, что след матрицы ковариации равен сумме ее собственных чисел. Кроме того, как видно из рисунка, s² показывает дисперсию облака наблюде-

ний (суммарную дисперсию переменных регрессии) в направлении a₁ наименьшей

2

«вытянутости» облака, s² — дисперсию облака наблюдений в направлении a₂ его наибольшей «вытянутости».

210 Глава 6. Алгебра линейной регрессии

Вектор OF есть e_ia^r , а вектор OD — q_ia^r , и рисунок наглядно иллюстрирует

1 2

выполнение соотношения (6.30):

xˆ^c = xˆ_i − e_ia^r = q_ia^r .

i 1 2

Пусть теперь n = 3, и λ₁ , λ₂ , λ₃ , a₁ , a₂ , a₃ — собственные числа и вектора ковариационной матрицы переменных.

1. Если λ₁ ≈ λ₂ ≈ λ₃ , то облако наблюдений не «растянуто» ни в одном из направ- лений. Зависимости между переменными отсутствуют.

2. Если λ₁ / λ₂ ≈ λ₃ и k = 1, то облако наблюдений имеет форму «блина». Плоскость, в которой лежит этот «блин», является плоскостью ортогональной ре- грессии, которую описывает уравнение xˆa₁ = 0, а собственно уравнением регрессии

является X^ˆ a₁ = e.

Эту же плоскость представляют вектора a₂ и a₃ , являясь ее осями координат. В этих осях координат можно выразить любую точку данной плоскости, в том числе все точки расчетных значений переменных (6.30):

.

X^{ˆ c} = _q

 

a

.

r



_q ^{2 } = q a^r + q a^r ,

_{1 2}  

a

r

3

¹ 2 ² 3

где q₁ =

X^ˆ a₂, q₂ = X^ˆ a₃ — вектора значений главных факторов или вектора

координат расчетных значений переменных в осях a₂ , a₃ .

3. Если λ₁ ≈ λ₂ / λ₃ и k = 2, то облако наблюдений имеет форму «веретена». Ось этого «веретена» является линией регрессии, образованной пересечением двух

плоскостей

xˆa₁ = 0 и

xˆa₂ = 0. И уравнений ортогональной регрессии в данном

случае два: X^ˆ a₁ = e₁ и X^ˆ a₂ = e₂ .

Данную линию регрессии представляет вектор a₃ , и через него можно выразить все расчетные значения переменных:

3

X^{ˆ c} = qa^r ,

где q = X^ˆ a₃ — вектор значений главного фактора.