Диплом / suslov_ibragimov_ekonometrika

данный коэффициент выражает скорееÇалгебраическоеÈкачество построенного уравнения регрессии.

Показатель статистической значимости оцененного уравнения дает статистика ФишераÑкак и для регрессии,построенной по данным совместного распределения признаков.В данном случае остаточная дисперсия имеет N − 2 степени свободы,а объясненнаяÑодну степень свободы(доказательство этого факта дается воIIчасти книги):

Если переменные не зависят друг от друга,т.е. α12 = 0 (нулевая гипотеза), то эта статистика имеет распределение Фишера с одной степенью свободы в числителеи N −2 степенями свободы взнаменателе.Логикаиспользования этойстатистики описана выше.Статистическая зна чимость(качество)полученного уравнениятемвыше,чемнижезначениепоказателя pv длярасчетногозначенияданной статистики F c .

Оценкипараметров α12, β1 иостатков εi1 можнополучитьиначе,изрегрессии x2 по x1:

xöi2 = a21xöi1 + ei2, i = 1, . . . , N .

В соответствии с(4.26)оценка углового коэффициента получается делением ковариациипеременных,стоящихвлевойиправойчастяхуравнения,надисперсию факторной переменной,стоящей в правой части уравнения:

a21 = m21 . m11

При оценке параметров α12, β1 и остатков ei1 регрессия x1 по x2 иногда называется прямой,регрессия x1 по x2 Ñ обратной.

Dминимизацию суммы квадратов рас-

AB Ñрасстояние до линии регрессии,измеренное параллельно оси xö1,равное величине ei1,

AC Ñрасстояние,измеренное параллельно оси xö2,равное величине ei2, AD Ñрасстояние,измеренное перпендикулярно линии регрессии,равное ei , OE Ñвектор-строка a! параметров ортогональной регрессии.

Очевидно,чтооценить параметрырегрессииможно,измеряярасстояния до линии регрессии перпендикулярно самой этой линии(на рисункеÑотрезок AD). Такая регрессия называется ортогональной.В уравнении такой регрессии обе переменные остаются в левой части с коэффициентами,сумма квадратов которых должна равняться единице(длина вектор а параметров регрессии должна равняться единице):

Чтобы убедиться в том,что такая регрессия является ортогональной,достаточно вспомнить из линейной алгебры,что скалярное произведение вектора на вектор

единичной длины равно длине проекции этого вектора на единичный вектор.В левой части(4.35)как раз и фигурирует такое скалярное произведение.На рисунке вектором параметров a является OE ,проекцией вектора наблюдений OA(öxi) на этот векторÑотрезок OF ,длина которого( xöi a)в точности равна расстоянию от точки облака наблюдений до линии регрессии,измеренному перпендикулярно этой линии( ei ).

Следует иметь в виду,что и вÇобычнойÈрегрессии,в левой части которой остается одна переменная,коэффициент при этой переменной принимается равным единице,т.е.фактически используе тся аналогичное ортогональной регрессии требование:вектор параметров при переменных в левой части уравнения должен иметь единичную длину.

Впротивоположность ортогональнойÇобычныеÈрегрессииназывают простыми.В отечественной литературе простой часто называютÇобычнуюÈрегрессию с одной факторной переменной.А регрессию с несколькими факторными перемен-

ными называют множественной.

Теперь остаточную дисперсию в матричной форме можно записать следующим образом:

Для минимизации остаточной дисперсии при ограничении на длину вектора параметров регрессии строится функция Лагранжа:

L (a,λ ) = a!M a − λa!a,

где λ Ñмножитель Лагранжа(оценка ограничения).

Далее находятся производные этой функции по параметрам регрессии,и эти производные приравниваются к нулю.Результат таких операций в матричной форме представляется следующим образом(поскольку M Ñсимметричная матрица:

M ! = M ):

Таким образом,множитель Лагранжа есть собственное число матрицы ковариации M ,а вектор оценок параметров ре грессииÑсоответствующий правый собственный вектор этой матрицы(см.ПриложениеA.1.2).

Матрица M является вещественной,симме тричной и положительно полуопределенной(см.ПриложениеA.1.2).

Последнеесправедливо,т.к.квадратичнаяформа µ"M µ прилюбомвекторе µ неотрицательна.Действительно,эту квадратичную форму всегда можно представить как

Из линейной алгебры известно,что все собственные числа такой матрицы вещественны и неотрицательны,следовательно λ неотрицательно.

После умножения обеих частей уравнения(4.36)слева на a! из него следует,

что

s2e = a!M a = λa!a a!=a=1 λ,

т.е.минимизации остаточной дисперсии соответствует поиск минимального собственного числа матрицы ковариации переменных M .Соответствующий этому собственному числу правый собственный вектор этой матрицы есть вектор оценок параметров ортогональной регрессии a (см.ПриложениеA.1.2).Кроме того, в соответствии со свойствами матрицы M ,сумма ее собственных чисел равна сумме ее диагональных элементов(следу матрицы),и,т.к. λ Ñменьшее из двух собственных чисел,то λ < 12 (m11 + m12) (случай двух одинаковых собственных чисел не рассматривается,т.к.он имеет ме сто,когда связь между переменными отсутствует,и m12 = 0).

Оценка свободного члена b,как и прежде,получается из условия прохождения линии регрессии через точку средних: b = xaø ,где xø Ñвектор-строка средних значений переменных.

Расчетное значение xöi дает вектор OD (см.рис. 4.2),который равен разности векторов OA и OF ,т.е. (в матричной форме):

ö c = ö − !

X X ea .

Теперь можно дать еще одну оценку параметров уравнения(4.18):

a12 ( ) = −a2 , a1

b1 ( ) = xø1 − a12 ( ) xø2,

1 ei1 ( ) = a1 ei .

Полученнаяоценкаугловогокоэффициента a12 ( ) лежитмеждуегооценками по прямой и обратной регрессиям.Дейст вительно,из(4.36)следует,что

90¡

x1 x1

>90¡

x2

kx2

Рис. 4.3

являться МНК-оценкой параметра α12,т.е.оценкой этого параметра является

γ1a12 + γ2a12 (2) при любых γ1 и γ2,таких что γ1 " 0, γ2 " 0, γ1 + γ2 = 1. Каждая из этих оценок может быть получена,если расстояния от точек облака

наблюдениядолиниирегрессииизмерятьподопределеннымуглом,чтодостигается с помощью предварительного преобразования в пространстве переменных.

Убедиться в этом можно,рассуждая следующим образом.

Пусть получена оценка углового коэффициента по ортогональной регрессии (рис.4.3,слева).Теперьпроводитсяпреобразованиевпространствепеременных: xö2 умножается на некоторое число k > 1,и снова дается оценка этого коэффициента по ортогональной регрессии(рис. 4.3,справа).После возвращения в исходное пространствополучается новаяоценка угловогокоэффициента,сопоставимая состарой (возвращение в исходное пространство осуществляется умножением оценки коэффициента,полученной в преобразованном пространстве,на число k).

Этот рисунок не вполне корректен,т.к.переход в новое пространство переменных и возвращение в исходное пространствоведет к смещению линии регрессии.Однако

смысл происходящего он поясняет достаточно наглядно:новая оценка получена так, как будто расстояния от точек облака наблюдений до линии регрессии измеряются под углом,не равным 90◦.Должно быть понятно,что в пределе,при k → ∞, расстояния до линии регрессии будут измеряться параллельно оси xö1 и полученная оценка углового коэффициента совпадет с a12.Наоборот,в пределе при k → 0 эта оценка совпадет с a12 (2).

Выбор оценок параметров регрессии на имеющемся множестве зависит от характера распределения ошибок измерения переменных.ЭтоÑпредмет изучения воIIчасти книги.Пока можно предложить некоторые эмпирические критерии.

Например,следующий.

Общая совокупность(множество наблюдений)делится на две части:обучающую и контрольную.Оценка параметров производится по обучающей совокупности.На контрольной совокупности определяется сумма квадратов отклонений фактических значений переменных от расчетных.Выбирается та оценка,которая дает минимум этой суммы.В заключение выбранную оценку можно дать по всей совокупности.

Рассмотренныйслучайдвух переменныхлегкообобщитьна n переменных(без доказательств:они даются воIIчасти кни ги).Основное уравнение регрессии запи-

сываетсяследующимобразом: x1 = x−1α−1 + β1 + ε1, где x−1 = [x2, . . . , xn] Ñ вектор-строка всех переменных кроме первой,вектор факторных переменных,

Ñвектор-столбец параметров регрессии при факторных переменных,а в матрич-

158 Глава4.Введение в анализ связей

ø−1 = 1 1! ö−1 Ñвектор-строка средних значений факторных переменных. x N N X

Расчетные значения моделируемой переменной,т.е.ее математические ожидания,есть

öc = ö

X1 X−1a−1.

Как и в случае двух переменных объясненной дисперсией является дисперсия расчетных значений моделируемой переменной:

(4.38)

Коэффициентмножественнойкорреляции r1,−1 естькоэффициенткорреляции между моделируемой переменной и ее расчетным значением( cov Ñобозначение ковариации):

Коэффициент детерминации,равный квадрату коэффициента множественной корреляции:

s2 R2 = q1 ,

s21

показывает долю объясненной дисперсии в общей.

Если связь отсутствует и α−1 = 0 (нулевая гипотеза),то расчетная статистика Фишера

имеет F -распределение с n − 1 степенями свободы в числителе и N − n степенями свободы в знаменателеÑ Fn−1,N −n .Логика использования этой статистики сохраняется прежней.

Прииспользованиивобщемслучаезаписиуравнениярегрессиивформесоскрытым свободным членом

= ÷ ÷ +

X1 X−1a−1 e,

Достаточнопростыеалгебраическиепреобразованияпоказывают,чтоэтотоператор эквивалентен(4.37).

Полезной является еще одна геометрическая

AиллюстрациярегрессииÑвпространственаблюдений(см.рис. 4.4и4.5).

няя МНК и алгебраически возвращаясь к оценкам исходной формы уравнения.

Дляпредставленияортогональнойрегрессиивобщемслучаеподходятформулы (4.34, 4.36)и другие матричные выраж ения,приведенные выше при описании ортогональной регрессии.Необходимотолько приопределениивекторов иматриц, входящих в эти выражения,заменитьÇ 2ÈнаÇ nÈ.

Спомощьюпреобразованийвпространствепеременныхпередиспользованием ортогональной регрессии и последующего возвращения в исходное пространство

ЭтоÑподмножествовсехвозможныхМНК-оценокистинныхпараметров α−1.

4.3.Дисперсионный анализ

Дисперсионный анализ заключается в представлении(разложении)дисперсии изучаемых признаков по факторам и использовании F -критерия для сопоставления факторныхÇчастейÈобщей дисперсии с целью определения степени влияния факторов на изучаемые признаки.Примеры использования дисперсионного анализаданы в предыдущемпункте прирассмотрении общейдисперсии моделируемой переменной как суммы объясненной и остаточной дисперсии.

Дисперсионный анализ может бытьодномерным или многомерным.В первом случае имеется только один изучаемый(моделируемый)призна к,во втором случае их несколько.В данном курсе рассматривается только первый случай.Применение методов этого анализа основывается на определенной группировке исходной совокупности(см.п. 1.9).В качестве факторных выступают группирующие признаки.Тоесть изучается влияние группирующих признаков на моделируемый.Если

лизе.Если в группировке для каждого сочетания уровней факторов имеется строго одно наблюдение(численность всех конечных групп в точности равна единице), говорят о дисперсионном анализе без повторений;если конечные группы могут иметь любые численностиÑ с повторениями.Многофакторный дисперсионный анализ может быть полным или частичным.В первом случае исследуется влияние всех возможных сочетаний факторов(смысл этой фразы станет понятным ниже).Во втором случае принимаются во внимание лишь некоторые сочетания факторов.

В этом пункте рассматриваются две модели:однофакторный дисперсионный анализ с повторениями и полный многофакторный анализ без повторений.

Пусть исходная совокупность xi, i = 1, . . . , N сгруппирована по одному фактору,т.е.она разделена на k групп:

xi l Ñзначение изучаемого признака в il -м наблюдении( il = 1, . . . , Nl )

l %

в l-й группе( l = 1, . . . , k); Nl = N .

Рассчитываются общая средняя и средние по группам:

общая дисперсия,дисперсии по гру ппам и межгрупповая дисперсия( s2q ):

Данноепредставлениеобщейдисперсииизучаемогопризнакааналогичнополученному в начале предыдущего пункта при рассмотрении регрессии,построенной по данным совместного эмпирического распределения признаков.В том случае ÇгруппамиÈвыступали значения первого признака при тех или иных значениях второго признака.В данном случае(в терминах дисперсионного анализа)

s2e Ñвнутригрупповая дисперсия; s2q Ñмежгрупповая дисперсия.