магистры Эконометр мод-е / из эконометрики / Лекция4-гетероскедастичность

1

ЛЕКЦИЯ 7 Анализ остатков. Гетероскедастичность.

1. Исследование качества модели через остатки ei.

2. Гетероскедастичность.

1 Исследование качества модели через остатки ei.

При использовании МНК для оценки параметров уравнения регрессии следует помнить, что оценки получаются несмещенными, эффективными и состоятельными только при условии выполнения предпосылок метода (см. лекцию о МНК). В противном случае оценки уже не обладают подобными свойствами. Также следует помнить, что t- è F -статистики "работают" при

условии "нормальности"и линейности модели, однако ими можно пользовать и при невыполнении первого условия, если выборка достаточно однородна и представительна по количеству.

Возможны следующие нарушения предпосылок метода:

1) матрица наблюдений регрессоров X имеет неполный ранг (случай полной коллинеарности

и мультиколлинеарности был рассмотрен ранее см. лекцию 6); 2) неправильно выбрана спецификация модели:

предложена не та форма зависимости (например, линейная, когда лучше подходит нелинейная);

в модель не включена существенная объясняющая переменная;в модель включены несущественные переменные;

3) не выполняются следующие предпосылки, касающиеся ошибок модели ":

среднее значение ошибок равно нулю M["i]=0,

ошибки не коррелированы M["i"j]=0,

имеют постоянную дисперсию D["i]=¾2.

Последние две предпосылки относительно ошибок, как правило, записывают одним условием матрица ковариаций ошибок имеет вид D["]=¾2En.

Причем о нарушениях спецификации и не выполнения предпосылок заранее может быть неизвестно. Единственное, что может исследовать эконометрист это остатки модели ei=yi¡y^i,

поэтому их и используют для оценки качества модели и выполнения предпосылок. Исследования остатков предполагают проверки:

² случайного характера остатков;

²

²

²

² подчинения их нормальному распределению.

Если не все условия выполняются (за исключением последнего), то модель необходимо корректировать (или использовать обобщенный МНК ОМНК).

Гомоскедастичной моделью называют модель, для которой выполняется условие, что дисперсия каждой ошибки "i одинакова для всех наблюдений Xi=(xi1; : : : ; xim). Иначе модель назы-

вают гетероскедастичной. Для гетероскедастичности характерна диагональная матрица корреляции D["], но по диагонали стоят различные значения ¾i2.

Для модели с автокорреляцией остатков характерна не диагональная матрица корреляций D["], т.к. корреляции остатков друг с другом r("i; "j)6=0.

Для первичной проверки характера остатков ei строят графики зависимостей остатков ei îò теоретических значений результативного признака y^, а также от факторов xj, включенных в

регрессию.

При правильности предпосылок МНК график зависимости остатков ei от теоретических значений результативного признака y^ имеет вид горизонтальной полосы с равномерно распределенными внутри нее точками (см. рис. 1a)).

2

Возможны следующие проявления нарушения передпосылок: остатки не случайны (рис 2а)), остатки носят систематический характер (рис. 2б)), остатки не имеют постоянной дисперсии (рис. 2в)). Причина: может быть не учтен какой-то существенный фактор или некоторые факторы надо учитывать нелинейным образом. Действия: коррекция модели и ее пересчет, пока остатки не станут СВ.

Также необходимо для несмещенности оценок параметров модели независимость ошибок от факторов. Изучаются графики зависимостей остатков ei от каждого фактора. Идеальный вид

также полоса с равномерно распределенными внутри нее точками (см. рис. 1б)). Если график показывает наличие зависимости, то также требуется корректировка модели, например, вклю- чение дополнительных факторов, или нелинейности, или какие-либо специальные процедуры.

2 Гетероскедастичность.

Предпосылки МНК требуют гомоскедастичности остатков. О наличие гомоили гетероскедастичности можно судить еще по полю корреляций, например, на рис. 3а) поле корреляций соответствует гомоскедастичности ошибок, а на рис. 3 б)-г) гетероскедастичности. Аналогичные результаты показывает и график зависимостей остатков ei от теоретических значений

признака y^i (для множественной регрессии это единственный способ визуализации).

Причина гетероскедастичности: она довольно часто возникает, если анализируемые объекты, говоря нестрого, неоднородны. Например, если исследуется зависимость прибыли предприятия от каких-либо факторов, скажем, от размера основного фонда, то естественно ожидать, что для больших предприятий колебание прибыли будет выше, чем для малых.

Последствия гетероскедастичности: гетероскедастичность может привести к смещенности оценок параметров модели, но в основном она проявляется в уменьшении их эффективности (оценки дисперсии ошибок и параметров модели смещенные, несостоятельные), и в частности, становится затруднительным использование формулы дисперсии оценки параметра ¾b2j , ò.ê. ïðè ее получении предполагалась единая дисперсия остатков.

2.1 Тесты на гетероскедастичность

Опишем несколько общеупотребительных статистических тестов на гетероскедастичность. Во всех этих тестах проверяется основная гипотеза H0 : ¾12=¾22= : : : =¾n2 (модель гомоскедастич-

на) против альтернативной гипотезы H1 : íå H0 (модель гетероскедастична). Большинство

тестов ориентированы на те или иные ситуации, когда относительно характера гетероскедастичности есть априорные структурные ограничения.

Òåñò Голдфелда-Куандта (Goldfeld-Quandt). Этот тест применяется, когда есть предположение о прямой (или, наоборот, обратно пропорциональной) зависимости дисперсии ошибок от величины некоторой независимой переменной, например, xk. Кратко тест можно описать

следующим образом:

3

1)упорядочить данные по убыванию той независимой переменной xk, относительно которой есть подозрение на гетероскедастичность;

2)исключить d средних (в этом упорядочении) наблюдений, так чтобы осталось четное число

наблюдений (авторами метода рекомендуется принимать d=8 ïðè n=30, т.е. примерно

четверть общего количества наблюдений, но можно и не исключать ни одного наблюдения, т.е. d=0, хотя это несколько снижает чувствительность теста);

3)провести две независимые регрессии первых n=2¡d=2 наблюдений и последних n=2¡d=2

наблюдений и построить соответствующие векторы остатков e1

4) составить статистику F =eT1 e1=eT2 e2 (если предполагается обратная зависимость дисперсии ошибок от фактора, то статистика F =eT2 e2=eT1 e1, т.е. в числителе всегда записывают

большую сумму квадратов остатков); если верна гипотеза H0, òî F имеет распределение Фишера с (n=2¡d=2¡m; n=2¡d=2¡m) степенями свободы, большая величина этой стати-

стики означает, что гипотезу H0 следует отвергнуть.

Тест Глейзера. Метод используется,2 если в случае гетероскедастичности есть предположе- ние о зависимости дисперсии ошибок ¾i от соответствующих значений некоторой переменной

xik. Форма зависимости имеет вид:

¾i2 = ® + ¯x°ik + ºi; i = 1; : : : ; n;

ãäå ºi ошибки, отвечающие предпосылкам классической регрессионной модели, ®, ¯, °

Так как модель является внутренне нелинейной, то найти ее параметры МНК не представляется возможным. На практике перебирают различные значения параметра °, например,

°=1; 2; : : : , и подбирают наиболее оптимальные значения параметров ®, ¯, °. Критерием оптимальности выступает минимум суммы квадратов остатков S2 модели (1) или максимум величины R2 этой же модели. îñò

Предполагается, что значения параметра ° могут быть и рациональными и отрицательными. Например, была получена минимальная величина Sîñò2 ïðè °=1 (ïðè °=2 величина Sîñò2 áûëà больше, при °=2 еще больше и т.д., то же самое наблюдалось и при °=¡1, è ïðè °=¡2). Далее была проведена регрессия при °=0:5, °=0:3 и т.д. и была отобрана еще более оптимальная

регрессия.

Для тестирования гипотезы на гомоскедастичность используют обычную проверку значи- мости коэффициента при переменной xik: H0 : ¯=0. Для проверки, как обычно, используют

t-критерий. Если подтверждается незначимость параметра ¯, то принимается и гипотеза о ги-

москедастичности исходной модели, в противном случае принимается, что модель гетероскедастична.

2.2 Коррекция модели с гетероскедастичностью.

Взвешенный МНК (ВМНК). Для его применения должны быть известны или оценены значения ¾i, что возможно при применении некоторых тестов. Взвешенный метод наименьших

квадратов в данном случае выглядит очень просто чтобы обеспечить одинаковую дисперсию остатков необходимо каждую ошибку ei=yi¡y^i поделить на соответствующее ¾i при построении

Используя обычный метод наименьших квадратов к исходной модели, мы минимизируем сумму квадратов отклонений, в которую, говоря нестрого, разные слагаемые дают разный статистический вклад из-за различных дисперсий, что в конечном итоге и приводит к неэффективности МНК-оценки. "Взвешивая"каждое наблюдение с помощью коэффициента 1=¾i, ìû

4

устраняем такую неоднородность. Поэтому такой метод наименьших квадратов и называют методом взвешенных наименьших квадратов.

Нетрудно понять содержательный смысл этого преобразования. Если каждое i-е уравнение поделить на соответствующее значение ¾i:

то в преобразованном уравнении ошибка "i=¾i имеет постоянную дисперсию, поэтому к урав-

нению (3) применим обычный МНК. В результате функционал, составленный согласно МНК для уравнения (3) имеет вид (2).

Однако, как правило, числа ¾i неизвестны и требуется предварительно оценить n неизвест-

ных параметров, поэтому без дополнительных ограничений на структуру матрицы ковариаций ошибок -=D["] нет надежды получить приемлемые оценки дисперсий. Рассмотрим несколько

классов моделей с гетероскедастичностью, где такие ограничения накладываются и благодаря этому удается построить удовлетворительные оценки матрицы - или провести корректные

преобразования.

Ошибка принимает только два значения. Пусть известно, что ¾i2=!12 äëÿ i = 1; : : : ; n1

è ¾i2=!22 äëÿ t=n1+1; : : : ; n1+n2 (n1+n2=n), но числа !12 è !22 неизвестны. Иными словами, в первых n1 наблюдениях дисперсия ошибки имеет одно значение, в последующих n2 другое.

Âэтом случае естественным является следующий вариант метода наименьших квадратов:

1)провести обычную регрессию (??), получить вектор остатков e и разбить его на два под-

вектора e1, e2 размерности n1 è n2 соответственно;

2)построить оценки !^12 = e01e1=n1 è !^22 = e02e2=n2 дисперсий !12 è !22;

3)преобразовать переменные, разделив первые n1 уравнений на !^1, а последующие n2 íà

!^2;

4) провести обычную регрессию для преобразованной модели.

Хотя оценки !^12 è !^22 являются смещенными, но состоятельными.

Ясно, что эта модель допускает обобщение на случай, когда дисперсия принимает не два, а несколько значений.

Ошибка пропорциональна независимой переменной. В некоторых ситуациях априорно можно считать, что ошибка прямо пропорциональна одной из независимых переменных, напри- ìåð, xk: ¾i2=¾2x2ik (для применения этого способа необходимо исследовать графики зависимо-

стей остатков от предполагаемого фактора). Тогда, разделив i-е уравнение на xik, i=1; : : : ; n, è,

вводя новые переменные x¤ij=xij=xik è yi¤=yi=xik, i=1; : : : ; n, j=1; : : : ; m, получим классическую регрессионную модель, к которой можно применять обычный МНК. Следует только помнить, что если первый регрессор в X есть набор единиц, то оценки свободного члена и коэффициента

ïðè Xtk¤ = 1=Xtk в новой модели являются оценками соответственно коэффициента при Xtk è свободного члена в исходной модели.

является состоятельной оценкой матрицы ковариаций оценок коэффициентов регрессии. Здесь es=ys¡y^s остатки, xs=(xs1; : : : ; xsm) вектор-строка матрицы регрессоров X.