ЭКОНОМЕТРИКА и математическая экономика / Эконометрика. Учебник продвинутый (2005)

(соотношения МНК-оценивания (4.37), данные в пункте 4.2 без доказательства, являются частным случаем этого оператора).

решение которых дает первую часть оператора МНК-оценивания (6.11), называется системой нормальных уравнений.

МНК-оценки остатков имеют нулевую среднюю (6.6) и не коррелированы (ортогональны) с объясняющими переменными уравнения (6.12).

Систему нормальных уравнений можно вывести, используя иную логику. Если

обе части уравнения регрессии (6.9) умножить слева на ˆ и разделить на ,

X−j N

система при требованиях e¯j = 0 и cov(X−j , ej ) = 0, следующих из полученных свойств МНК-оценок остатков.

Такая же логика используется в методе инструментальных переменных. Пусть имеется матрица Z размерности N × (n − 1) наблюдений за некоторыми величинами z, называемыми инструментальными переменными, относительно которых известно, что они линейно не зависят от εj и коррелированы с переменными X−j .

Умножение обеих частей уравнения регрессии слева на ˆ и деление их на да-

Z N

второго члена правой части в силу сделанных предположений — следует система нормальных уравнений метода инструментальных переменных:

Значения j-й (объясняемой) переменной, лежащие на гиперплоскости регрес-

Их дисперсия называется объясненной (дисперсия, объясненная регрессией) и может быть представлена в различных вариантах:

(6.18)

Это утверждение доказывалось в пункте 4.2 при n = 2. В данном случае справедливо утверждение, что соотношение (6.21) может (при некоторых j, j ) выполняться как равенство в том и только том случае, если среди переменных xj , j = 1, . . . , n существуют линейно зависимые.

Достаточность этого утверждения очевидна. Действительно, пусть переменные некоторого подмножества J линейно зависимы, т.е. существует такой вектор ξ, в кото-

Для доказательства необходимости утверждения предполагается, что существует такой ξ = 0, что

(т.е., в частности, некоторые соотношения из (6.21) выполняются как равенства).

Сначала следует обратить внимание на то, что вслед за (6.14) все компоненты век-

Теперь, после умножения обеих частей полученного матричного соотношения справа на вектор ξ, определенный в (6.22), получается соотношение: 0 = Se2ξ, которое означает, что для всех j , таких, что ξj = 0, s2ej = 0, т.е. переменные xj линейно зависят друг от друга.

Что и требовалось доказать.

Все возможные геометрические иллюстрации простых регрессий в пространстве наблюдений и переменных даны в пункте 4.2.

6.3. Ортогональная регрессия

В случае, когда ограничения на вектор a (или α) состоят в требовании равенства единице длины этого вектора

и все переменные остаются в левой части уравнения, получается ортогональная регрессия, в которой расстояния от точек облака наблюдений до гиперплоскости регрессии измеряются перпендикулярно этой гиперплоскости. Разъяснения этому факту давались в пункте 4.2.

206 Глава 6. Алгебра линейной регрессии

Оценка параметров регрессии производится из условия минимизации остаточной дисперсии:

где M = (6.24).

Из требования равенства нулю производной по a соответствующей функции Лагранжа следует, что

где λ — множитель Лагранжа ограничения (6.24), причем

Действительно, функция Лагранжа имеет вид:

L(a, λ) = a M a − λa a,

авектор ее производных по a:

∂L

∂a

= 2 (M a − λa) .

Откуда получается соотношение (6.25). А если обе части этого соотношения умножить слева на a и учесть (6.24), то получается (6.26).

Таким образом, применение МНК сводится к поиску минимального собственного числа λ ковариационной матрицы M и соответствующего ему собственного (правого) вектора a (см. также Приложение A.1.2). Благодаря свойствам данной матрицы (вещественность, симметричность и положительная полуопределенность), искомые величины существуют, они вещественны, а собственное число неотрицательно (предполагается, что оно единственно). Пусть эти оценки получены.

В ортогональной регрессии все переменные x выступают объясняемыми, или моделируемыми, их расчетные значения определяются по формуле:

e1

наблюдениям, лежат на гиперплоскости регрессии и являются проекциями на нее вектор-строк фактических наблюдений xˆi (вектор a по построению ортогонален гиперплоскости регрессии, а eia — вектор нормали xˆci на xˆi ), а аналогом коэф-

дисперсия переменных x, равная следу матрицы M .

Таким образом, к n оценкам вектора a простой регрессии добавляется оценка этого вектора ортогональной регрессии, и общее количество этих оценок становится равным n + 1.

Задачу простой и ортогональной регрессии можно записать в единой, обобщен-

где W — диагональная n×n-матрица, на диагонали которой могут стоять 0 или 1.

В случае, если в матрице W имеется единственный ненулевой элемент wjj = 1, то это — задача простой регрессии xj по x−j (действительно, это следует из соотношения (6.23)); если W является единичной матрицей, то это — задача ортогональной регрессии. Очевидно, что возможны и все промежуточные случаи, когда некоторое количество n1 , 1 < n1 < n, переменных остается в левой части

Если J — множество переменных, оставленных в левой части уравнения, то в записи (6.28) такой регрессии wjj = 1 для j J и wjj = 0 для остальных j. Оценка параметров регрессии производится следующим образом:

a2 = M22−1M21a1, M11 − M12M22−1M21 − λIn1 a1 = 0

( a1 находится как правый собственный вектор, соответствующий минимальному собственному числу матрицы M11 − M12M22−1M21 ), где

— соответствующие ковариационные матрицы.

Таким образом, общее количество оценок регрессии — (2n − 1). В рамках любой из этих оценок λ в (6.28) является остаточной дисперсией.

Задача ортогональной регрессии легко обобщается на случай нескольких уравнений и альтернативного представления расчетных значений изучаемых переменных.

Матрица M , как уже отмечалось, имеет n вещественных неотрицательных собственных чисел, сумма которых равна s2Σ, и n соответствующих им вещественных взаимноортогональных собственных векторов, дающих ортонормированный базис в пространстве наблюдений (см. также Приложение A.1.2). Пусть собственные числа, упорядоченные по возрастанию, образуют диагональную матрицу Λ, а соответствующие им собственные вектора (столбцы) — матрицу A. Тогда

Собственные вектора, если их рассматривать по убыванию соответствующих им собственных чисел, есть главные компоненты облака наблюдений, которые показывают направления наибольшей «вытянутости» (наибольшей дисперсии) этого облака. Количественную оценку степени этой «вытянутости» (дисперсии) дают соответствующие им собственные числа.

Пусть первые k собственных чисел «малы». s2E — сумма этих собственных чисел;

AE — часть матрицы A, соответствующая им (ее первые k стоблцов); это — коэффициенты по k уравнениям регрессии или k младших главных компонент;

AQ — остальная часть матрицы A, это — n − k старших главных компонент или собственно главных компонент;

A = [AE , AQ];

xAE = 0 — гиперплоскость ортогональной регрессии размерности n − k;

компонент;

E — матрица размерности N × k остатков по уравнениям регрессии;

Q — матрица размерности N × (n − k), столбцы которой есть значения так

Первое из них — по уравнениям ортогональной регрессии, второе (альтерна-

Сделанные утверждения можно проиллюстрировать на примере n = 2, предполагая, что λ1 λ2 , и упрощая обозначения (введенные выше матрицы являются в данном случае векторами):

a1 = AE — вектор параметров ортогональной регрессии,

a2 = AQ — вектор первой (в данном случае — единственной) главной компоненты,

e = E — остатки в уравнении ортогональной регрессии,

q = Q — значения первого (в данном случае — единственного) главного фактора.

Как видно из рисунка 6.1, квадрат длины вектора xˆi равен (из прямоугольных тре-

i и разделить на N , то получится s21 + s22 = s2e + s2q . Понятно, что s2e = λ1 , s2q = λ2 , и это равенство означает, что след матрицы ковариации равен сумме ее собственных

чисел. Кроме того, как видно из рисунка, s21 показывает дисперсию облака наблюдений (суммарную дисперсию переменных регрессии) в направлении a1 наименьшей «вытянутости» облака, s22 — дисперсию облака наблюдений в направлении a2 его наибольшей «вытянутости».

Вектор OF есть eia1 , а вектор OD — qia2 , и рисунок наглядно иллюстрирует выполнение соотношения (6.30):

xˆci = xˆi − eia1 = qia2.

Пусть теперь n = 3, и λ1 , λ2 , λ3 , a1 , a2 , a3 — собственные числа и вектора ковариационной матрицы переменных.

1)Если λ1 ≈ λ2 ≈ λ3 , то облако наблюдений не «растянуто» ни в одном из направлений. Зависимости между переменными отсутствуют.

2)Если λ1 λ2 ≈ λ3 и k = 1, то облако наблюдений имеет форму «блина». Плоскость, в которой лежит этот «блин», является плоскостью ортогональной регрессии, которую описывает уравнение xaˆ 1 = 0, а собственно уравнением регрессии

Эту же плоскость представляют вектора a2 и a3 , являясь ее осями координат. В этих осях координат можно выразить любую точку данной плоскости, в том числе все точки расчетных значений переменных (6.30):

координат расчетных значений переменных в осях a2 , a3 .

3) Если λ1 ≈ λ2 λ3 и k = 2, то облако наблюдений имеет форму «веретена». Ось этого «веретена» является линией регрессии, образованной пересечением двух

Данную линию регрессии представляет вектор a3 , и через него можно выразить все расчетные значения переменных:

ˆ c = qa3, X

где ˆ — вектор значений главного фактора. q = Xa3

6.4. Многообразие оценок регрессии

Множество оценок регрессии не исчерпывается 2n − 1 отмеченными выше элементами. Перед тем как получать любую из этих оценок, можно провести преобразование в пространстве наблюдений или переменных.

Преобразование в пространстве наблюдений проводится с помощью матрицы

D размерности N × N, N N . Обе части исходного уравнения (6.3) умножаются слева на эту матрицу:

после чего проводится оценка параметров любым из указанных 2n − 1 способов. Понятно, что полученные оценки будут новыми, если только D D = cIN , где c — любая константа.

В результате такого преобразования β может перестать являться свободным членом, если только D1N = c1N ( c — любая константа). Но, главное, меняется распределение ошибок по наблюдениям. Именно с целью изменить это распределение в нужную сторону (с помощью подбора матрицы D) и проводятся такие преобразования (см. гл. 8).

Преобразование в пространстве переменных осуществляется с помощью квадратной невырожденной матрицы C размерности n × n: Y = XC — преобразованные значения переменных регрессии. И затем оцениваются параметры регрессии в новом пространстве: Y f = 1N g + u.

Это преобразование можно проводить в пространстве центрированных пере-

менных, т.к. ˆ ˆ .

Y = XC

Действительно: ˆ − 1 − 1 ˆ .

XC = IN N 1N 1N XC = IN N 1N 1N Y = Y

То есть исходное уравнение регрессии (6.7) после преобразования приобретает

Оценки f являются новыми, если после «возвращения» их в исходное пространство, которое производится умножением f слева на C, они не совпадут с оценками a, полученными в исходном пространстве, т.е. если a = Cf . Справедливость этого утверждения становится очевидной после следующего алгебраически эквивалентного преобразования исходного уравнения (6.7):

Понятно, что МНК-оценка f совсем не обязательно совпадет с C−1a — и тогда это будет новая оценка.

После преобразования меняется распределение ошибок в переменных регрессии. И именно для того, чтобы изменить это распределение в нужную сторону, осуществляются такие преобразования (см. гл. 8).

Результаты преобразований в пространстве переменных различны для простых

иортогональной регрессий.

Вслучае простой регрессии xj по x−j это преобразование не приводит к получению новых оценок, если j-я строка матрицы C является ортом, т.е. в объясняющие переменные правой части не «попадает» — после преобразования — объясняемая переменная.

или, раскрыв скобки:

C−1m−1 + C−1M−1c−1 = C−1M−1c−1 + C−1M−1a−1.

После взаимного сокращения одинаковых слагаемых в полученном матричном уравнении (2-го в левой части и 1-го в правой) и умножения обеих частей слева на C получается система нормальных уравнений для оценки a−1 : m−1 = M−1a−1 .

Это означает, что f−1 после «возвращения» в исходное пространство совпадает с a−1 , т.е. проведенное преобразование в пространстве переменных новых оценок регрессии не дает.

Верно и обратное утверждение: если j-я строка матрицы C не является ортом, то a и f совпадают с точностью до обратного преобразования только тогда, когда связь функциональна и e = 0.