Обобщенный метод наименьших квадратов Гетероскедастичность случайной составляющей.

При оценке параметров уравнения регрессии чаще всего применяется традиционный метод наименьших квадратов. При этом должны выполняться определенные предпосылки относительно случайной составляющей u_i и объясняющих переменных х_i (предпосылки нормальной линейной модели). Напомним, что u_i имеет смысл отклонения в модели регрессии: u_i = y_i – (b₀ + b₁·x1_i+…+ b_m·xm_i).

Третья предпосылка гласит: ²_ui=²=const, i=1;n, что означает постоянство дисперсий случайных составляющих для каждого наблюдения i.

Поясним данную предпосылку на примере. Случайная составляющая u_i в каждом наблюдении может иметь только одно значение. Что же означает дисперсия u_i? Имеется в виду возможное поведение u_i, до того, как проведено наблюдение. То есть, нет основания a priori ожидать появления особенно больших отклонений в любом наблюдении i=1;n. Иными словами вероятность того, что величина u_i примет какое-то данное значение, будет одинакова для всех i. Это условие известно, как условие гомоскедастичности, что означает одинаковый разброс.

Вместе с тем, для некоторых выборок можно предположить, что теоретическое распределение случайной составляющей u_i является различным для разных наблюдений в выборке, а, следовательно, различными будут и дисперсии случайных составляющих. Если дисперсии случайных составляющих неодинаковы в разных наблюдениях: ²_ui²_ujconst , i,j=1;n (ij), говорят, что имеет место гетероскедастичность (т.е. неодинаковый разброс случайных составляющих).

На практике дисперсии отклонений достаточно часто неодинаковы, то есть наблюдается гетероскедастичность (рис). Это может быть следствием разных причин. Например, возможны ошибки в исходных данных. Случайные неточности в исходной информации, такие как ошибки в порядке чисел, могут оказать ощутимое влияние на результаты. Часто боль­ший разброс отклонений е_i наблюдается при больших значениях зависимой переменной (переменных).

Рис. Пример гетероскедастичности остатков

Например, если исследуется зависимость расходов на питание в семье от ее общего дохода, то можно ожидать, что разброс данных будет выше для семей с более высоким доходом. Это означает, что дисперсии зависимых величин - расходов на питание, (а следовательно, и случайных ошибок) не постоянны для отдельных значений объясняющей переменной - дохода.

Гетероскедастичность может иметь место и при использовании в качестве данных наблюдений временных рядов (x_t, y_t). Если значения x_t и y_t увеличиваются со временем, то возможно и дисперсия случайной составляющей также будет расти со временем.

Последствия гетероскедастичности:

- оценки параметров уравнения регрессии становятся неэффективными.

- оценки стандартных ошибок параметров регрессии- μ_bj будут неверными. (Например, оценки стандартных ошибок могут оказаться заниженными. Тогда значения t–критерия окажутся завышенными. Мы решим, что параметр регрессии значим, а на самом деле это будет не так. То есть могут быть получены неверные выводы о надежности уравнения регрессии.)

Обнаружение гетероскедастичности.

1) Наличие гетероскедастичности можно наглядно видеть из поля корреляции (рис.6). На рис. 6.а. дисперсия случайных составляющих растет по мере увеличения х. На рис. 6.б. дисперсия случайных составляющих достигает максимальной величины при средних значениях х и уменьшается при минимальных и максимальных значениях х.

Рис. 6. Корреляционное поле. Случаи гетероскедастичности.

Кроме того, наличие гетероскедастичности, можно проследить из графика зависимости остатков (отклонений)- e_i фактических значений результата от расчетных значений- y’_i. Гетероскедастичность, соответствующая полю корреляции а) на рис.6, приведена на рис.7.а, гетероскедастичность, соответствующая полю корреляции б) на рис.6, приведена на рис.7.б.

e    е

     

      

  y’         y’

      

     

   

а) б)

Рис.7. Графики зависимости остатков от теоретических значений результата. Случаи гетероскедастичности.

2) Наиболее популярным является тест Голдфелда-Квандта.

Данный тест используется для проверки следующего типа гетероскедастичности: когда среднее квадратическое отклонение случайной составляющей _ui пропорционально значению признака-фактора х_i в i-ом наблюдении. При этом делается предположение, что случайная составляющая u_i распределена нормально.

Алгоритм тест Голдфелда-Квандта:

1. Все наблюдения i=1;n упорядочиваются по значению х_i.

2. Оценивается регрессия: _1i= ₀₁ + ₁₁·x_i (i=1;n’) для первых n’ наблюдений.

3. Оценивается регрессия: _2i= ₀₂ + ₁₂·x_i (i=n-(n’+1);n) для последних n’ наблюдений. (n’< n/2).

4. Рассчитывают суммы квадратов отклонений фактических значений признака-результата от его расчетных значений для обеих регрессий:

S1=иS2=.

для 1-х n’ наблюдений для последних n’ наблюдений

5. Проверяют гипотезу H0: S1=S2 (гетероскедастичности нет, случай гомоскедастичности) при альтернативной H1: S1≠S2 (случай гетероскедастичности). Для этого рассчитывают наблюдаемое значение F-критерия:

F=S1/S2 (или S2/S1). В числителе должна быть наибольшая из сумм квадратов отклонений.

Затем определяют критическое (табличное) значение F_кр по таблицам F-распределение, задаваясь уровнем значимости α и степенями свободы: k1=n’-h и k2=n’-h, где h-число оцениваемых параметров в уравнении регрессии.

Если F_набл > F_{кр(;k1;k2)}, то Н0 отвергаем, принимаем Н1. Следовательно, гетероскедастичность имеет место.

Если в модели более одного фактора, то наблюдения должны упорядочиваться по тому фактору, который, как предполагается, связан с ²_ui и n’ должно быть больше чем h.

3) Критерий Глейсера (также как и в методе Голдфелда-Квандта предполагается, что _ui пропорциональна х1_i, т.е. с изменением х1 величина случайной составляющей (остатка) меняется).

Данный подход рассматривает регрессию абсолютных величин остатков по х1:

Решение о гомоскедастичности случайных составляющих принимается на основе проверки гипотез о значимости МНК-оценок параметров _j.

Если Н0: отвергается, т.е. еслизначим, то имеет место зависимость, следовательно, имеет место гетероскедастичность.

Преимущество данного подхода состоит в том, что возможно строить регрессию остатка не по одному фактору, а по нескольким (х1, х2, …). В этом случае требуется проверить гипотезы о значимости нескольких параметров, связанных с факторами.

Подход Глейсера, помогает определить вид зависимости (линейная или нелинейная), который окажется полезным при устранении гетероскедастичности.

Устранение гетероскедастичности. Взвешенный МНК.

Для этого нужно найти способ придать наименьший вес наблюдению (i), у которого среднее квадратическое отклонение случайной составляющей _ui максимально (такие наблюдения обладают самым низким качеством); и наибольший вес наблюдению, у которых среднее квадратическое отклонение случайной составляющей _ui минимально (такие наблюдения обладают самым высоким качеством). Тогда мы получим более точные (эффективные) оценки параметров уравнения регрессии. Рассмотрим случай однофакторной линейной регрессии: y_i=b₀+b₁·x_i+u_i .

Разделим правую и левую части уравнения на _ui .

Получим: .

Введем новые переменные:

.

Тогда уравнение регрессии примет вид: y*_i=b₀·v_i+b₁·x*_i+u*_i. Преобразованное уравнение относится к двухфакторному уравнению регрессии (1-ый фактор – x*, 2-ой фактор- v). Данное уравнение представляет собой так называемую взвешенную регрессию (с весами 1/_ui). При этом наблюдениям высокого качества с меньшими _ui придаются большие веса (1/_ui) и наоборот. Случайная составляющая в i–ом наблюдении - имеет постоянную дисперсию:, т.е. модель будет гомоскедастичной.

Данный способ устранения гетеорскедастичности применим, если известны фактические значения _ui, что не встречается на практике.

Однако, если мы сможем подобрать некоторую величину, пропорциональную _ui в каждом наблюдении i=1;n, и разделим на нее обе части уравнения, то гетероскедастичность будет устранена. Например, может оказаться целесообразным предположить, что _ui приблизительно пропорциональна х_i, как в критерии Голдфелда-Квандта (x_i=·_ui). Тогда:

.

или

Если «повезет» новая случайная составляющая будет иметь постоянную дисперсию. Оценим регрессию новой зависимой переменнойна новую независимую переменную. Тогда коэффициент при этой переменной – эффективная оценка параметраb₀, а постоянный член – эффективная оценка параметра b₁ исходного уравнения регрессии: y_i=b₀+b₁·x_i+u_i. Дисперсия случайной составляющей в этом уравнении может быть записана как: =const. То есть она будет постоянна для всех наблюдений. Следовательно, гетероскедастичность в преобразованном уравнении регрессии отсутствует.

Подход Глейсера.

Согласно подходу Глейсера обнаружения гетероскедастичности :

или, что то же самое

(чтобы избавиться от модуля),

где δ_i – новая случайная составляющая, для которой выполняются требования классической нормальной модели.

Тогда дисперсия остатка в i-ом наблюдении будет равна:

.

Взвешивая наблюдения по величине получим новую преобразованную регрессию:с двумя новыми факторами, в которой новая случайная составляющаягомоскедастична (т.е.=const).