Диплом / suslov_ibragimov_ekonometrika

Кроме того,очевидно,что матрица вторых производных равна 2M−j ,и она,как всякая ковариационная матрица,положительно полуопределена.Следовательно,в найденной точке достигается минимум остаточной дисперсии.

Справедливость утверждения о том,что любая матрица ковариации(теоретическая или ее оценка)положительно полуопределена,а если переменные линейно независимы,тоÑположительно определена,можно доказать в общем случае.

Пусть x Ñслучайный вектор-столбец с нулев ым математическим ожиданием.Его теоретическая матрица ковариации по определению равна E (xx").Пусть ξ =! 0 Ñ детерминированный вектор-столбец.Квадратичная форма

( )

ξ"E(xx")ξ = E(ξ"xx"ξ) = E (ξ"x)2 " 0,

т.е.матрица положительно полуопределена.Если не существует такого ξ =! 0,что ξ"x = 0,т.е.переменные вектора x линейноне зависятдруготдруга,тонеравенство выполняется строго,и соответствующа я матрица положительно определена.

от друга,то неравенство выполняется стр ого,и соответствующая матрица положительно определена.

ОператорМНК-оцениванияобразуетсясоотношениями(6.11)и(6.5),которые в данном случае записываются следующим образом:

(соотношения МНК-оценивания(4.37),данные в пункте4.2без доказательства, являются частным случаем этого оператора).

Уравнения

решение которых дает первую часть оператора МНК-оценивания(6.11),называ-

ется системой нормальных уравнений.

МНК-оценки остатков имеют нулевую среднюю(6.6)и не коррелированы(ортогональны)с объясняющими переменными уравнения(6.12).

Систему нормальных уравнений можно вывести,используя иную логику.Если

система при требованиях eøj = 0 и cov(X−j , ej ) = 0,следующих из полученных свойств МНК-оценок остатков.

Такаяжелогикаиспользуется вметоде инструментальных переменных.Пусть имеется матрица Z размерности N ×(n −1) наблюдений за некоторыми величинами z,называемыми инструментальными переменными,относительно которых

где mz−j = cov (z, xj ), M−z j = cov (z, x−j ).

Значения j -й(объясняемой)переменной,лежащие на гиперплоскости регрессии,называются расчетными (по модели регрессии):

Их дисперсия называется объясненной (дисперсия,объясненная регрессией) и может быть представлена в различных вариантах:

(6.18)

полняться как равенство в том и только том случае,если среди переменных xj , j = 1, . . . , n существуют линейно зависимые.

Достаточностьэтогоутвержденияочевидна.Действительно,пустьпеременныенеко-

соотношения(6.21)выполняются как равенства.

Для доказательства необходимости утверждения предполагается,что существует такой ξ =! 0,что

(т.е.,в частности,некоторые соотношения из(6.21)выполняются как равенства).

зависят друг от друга.

Что и требовалось доказать.

Все возможные геометрические иллюстрации простых регрессий в пространстве наблюдений и переменных даны в пункте4.2.

6.3.Ортогональная регрессия

В случае,когда ограничения на вектор a (или α)состоят в требовании равенства единице длины этого вектора

и все переменные остаются в левой части уравнения,получается ортогональная регрессия,в которой расстояния от точек облака наблюдений до гиперплоскости регрессии измеряются перпендикулярно этой гиперплоскости.Разъяснения этому факту давались в пункте4.2.

Оценка параметров регрессии производится из условия минимизации остаточной дисперсии:

где = 1 ö ! ö Ñковариационная матрица переменных регрессии,при условии

M N X X

(6.24).

Из требования равенства нулю производной по a соответствующей функции Лагранжа следует,что

где λ Ñмножитель Лагранжа ограничения(6.24),причем

Действительно,функция Лагранжа имеет вид:

L(a,λ ) = a"M a − λa"a,

авектор ее производных по a:

∂L = 2 (M a − λa) .

∂a

Откуда получается соотношение(6.25).А если обе части этого соотношения умножить слева на a" и учесть(6.24),то получается(6.26).

Таким образом,применение МНК сводит ся к поиску минимального собственного числа λ ковариационной матрицы M и соответствующего ему собственного(правого)вектора a (см.также ПриложениеA.1.2).Благодаря свойствам данной матрицы(вещественность,симме тричность и положительная полуопределенность),искомые величины существую т,они вещественны,а собственное число неотрицательно(предполагается,что оно единственно).Пусть эти оценки получены.

В ортогональной регрессии все переменные x выступают объясняемыми,или моделируемыми,их расчетные значения определяются по формуле:

ö c = ö − ! (6.27)

X X ea .

наблюдениям,лежат на гиперплоскости регрессии и являются проекциями на нее вектор-строк фактических наблюдений xöi (вектор a по построению ортогонален

Таким образом,к n оценкам вектора a простой регрессии добавляется оценка этого вектора ортогональной регрессии,и о бщее количество этих оценок становится равным n + 1.

Задачу простой иортогональной регрессииможно записать в единой,обобщенной форме:

где W Ñдиагональная n×n-матрица,надиагоналикотороймогутстоять 0 или 1.

ортогональной регрессии.Очевидно,что в озможны и все промежуточные случаи, когда некоторое количество n1, 1 < n1 < n,переменных остается в левой части уравнения,а остальные n2 переменных переносятся в правую часть уравнения регрессии:

( a1 находится как правый собственный вектор,соответствующий минимальному собственному числу матрицы M11 − M12M22−1M21),где

208 Глава6.Алгебра линейной регрессии

Ñсоответствующие ковариационные матрицы.

Таким образом,общее коли чество оценок регрессииÑ (2n − 1).В рамках любой из этих оценок λ в(6.28)является остаточной дисперсией.

Задача ортогональной регрессии легко обобщается на случай нескольких уравнений и альтернативного представления расчетных значений изучаемых переменных.

Матрица M ,как уже отмечалось,имеет n вещественных неотрицательных собственных чисел,сумма которых равна s2Σ, и n соответствующих имвещественных взаимноортогональных собственных векторов,дающих ортонормированный базис в пространстве наблюдений(см.также ПриложениеA.1.2).Пусть собственные числа,упорядоченные по возраст анию,образуют диагональную матрицу Λ, а соответствующие им собственные вектора(столбцы) Ñматрицу A.Тогда

Собственные вектора,если их рассмат ривать по убыванию соответствующих имсобственных чисел,есть главные компоненты облаканаблюдений,которыепоказываютнаправления наибольшейÇвытянутостиÈ (наибольшейдисперсии)этого облака.Количественную о ценку степени этойÇвытянутостиÈ (дисперсии)дают соответствующие им собственные числа.

Пусть первые k собственных чиселÇмалыÈ. s2E Ñсумма этих собственных чисел;

AE Ñчасть матрицы A,соответствующая им(ее первые k стоблцов);этоÑ коэффициенты по k уравнениям регрессии или k младших главных компонент;

Первое из нихÑпо уравнениям ортогона льной регрессии,второе(альтернативное) Ñпо главным факторам(факторная модель).

1 − s2E "s2Σ Ñаналог коэффициента детерминации,дающий оценку качества обеих этих моделей.

правило,достаточно сложной задачей.

Сделанныеутвержденияможнопроиллюстрироватьнапримере n = 2,предполагая, что λ1 / λ2 ,и упрощая обозначения(введенные выше матрицы являются в данном случае векторами):

a1 = AE Ñвектор параметров ортогональной регрессии,

a2 = AQ Ñвекторпервой(вданномслучаеÑединственной)главнойкомпоненты, e = E Ñостатки в уравнении ортогональной регрессии,

q = Q Ñзначения первого(в данном случаеÑединственного)главного фактора.

и это равенство означает,что след матрицы ковариации равен сумме ее собственных чисел.Крометого,каквидноизрисунка, s21 показывает дисперсиюоблака наблюдений(суммарную дисперсию переменных регрессии)в направлении a1 наименьшей ÇвытянутостиÈоблака, s22 Ñдисперсию облака наблюдений в направлении a2 его наибольшейÇвытянутостиÈ.

Вектор OF есть eia"1,а вектор OD Ñ qi a"2,и рисунок наглядно иллюстрирует выполнение соотношения(6.30):

xöci = xöi − eia"1 = qi a"2.

Пусть теперь n = 3, и λ1, λ2, λ3 , a1, a2, a3 Ñсобственные числа и вектора ковариационной матрицы переменных.

1)Если λ1 ≈ λ2 ≈ λ3,то облако наблюдений неÇрастянутоÈни в одном из направлений.Зависимости между переменными отсутствуют.

2)Если λ1 / λ2 ≈ λ3 и k = 1,то облако наблюдений имеет формуÇблинаÈ. Плоскость,в которой лежит этотÇблинÈ,является плоскостью ортогональной ре-

Эту же плоскость представляют вектора a2 и a3,являясь ее осями координат. В этих осях координат можно выразить любую точку данной плоскости,в том числе все точки расчетных значений переменных(6.30):

Ось этогоÇверетенаÈявляется линией регрессии,образованной пересечением двух плоскостей xaö 1 = 0 и xaö 2 = 0.И уравнений ортогональной регрессии в данном

случае два: ö = и ö = .

X a1 e1 X a2 e2

Данную линию регрессии представляет вектор a3,и через него можно выразить все расчетные значения переменных:

ö c = qa"3, X

где = ö Ñвектор значений главного фактора. q X a3

6.4.Многообразие оценок регрессии

Множество оценок регрессии не исчерпывается 2n − 1 отмеченными выше элементами.Перед тем как получать любую из этих оценок,можно провести преобразование в пространстве наблюдений или переменных.

Преобразование в пространстве наблюдений проводится спомощью матрицы

D размерности N ! × N, N ! ! N .Обе части исходного уравнения(6.3)умножаются слева на эту матрицу:

после чего проводится оценка параметров любым из указанных 2n − 1 способов. Понятно,что полученные оценки будут новыми,если только D!D =! cIN ,где c Ñ любая константа.

В результате такого преобразования β может перестать являться свободным членом,если только D1N =! c1N ! ( c Ñлюбая константа).Но,главное,меняется распределение ошибок по наблюдениям.Именно с целью изменить это распределение в нужную сторону(с помощью подбора матрицы D)и проводятся такие преобразования(см.гл. 8).

Преобразование в пространстве переменных осуществляется с помощью квадратной невырожденной матрицы C размерности n × n: Y = X C Ñпреобразованные значения переменных регрессии.И затем оцениваются параметры регрессии в новом пространстве: Y f = 1N g + u.

Это преобразование можно проводить в пространстве центрированных пере-

Действительно: ö = 0 − 1 1 1" 1 = 0 − 1 1 1" 1 = ö .

X C IN N N N X C IN N N N Y Y

То есть исходное уравнение регрессии(6.7)после преобразования приобретает

ливостьэтогоутверждениястановитсяочевиднойпослеследующегоалгебраически эквивалентного преобразования исходного уравнения(6.7):

Понятно,что МНК-оценка f совсем не обязательно совпадет с C −1a Ñи тогда это будет новая оценка.

После преобразования меняется распределение ошибок в переменных регрессии.И именно для того,чтобы изменить э то распределение в нужную сторону, осуществляются такие преобразования(см.гл. 8).

Результаты преобразований в пространстве переменных различны для простых

иортогональной регрессий.

Вслучае простой регрессии xj по x−j это преобразование не приводит к получению новых оценок,если j -я строка матрицы C является ортом,т.е.в объясняющие переменные правой части неÇпо падаетÈ Ñпосле преобразованияÑ объясняемая переменная.