2. Свойства оценок обычного метода наименьших квадратов

Модель, для которой выполняются все рассмотренные выше предпосылки, называется классической нормальной линейной моделью множественной регрессии(Classic Normal Linear Multiple Regression Model).

При выполнении предпосылок 1—4и6вектор оценок параметров моделиbобладает следующими свойствами:

1. Вектор bестьнесмещеннаяоценка вектора:

.

(0)

2. Вектор bявляется наиболееэффективнойоценкой вектора, т.е. обладает наименьшей дисперсией:

.

(0)

3. Вектор bявляетсясостоятельнойоценкой вектора. Это означает, что при увеличении числа наблюденийnувеличивается точность оценки, и для каждого отдельного параметра_jмодели (0) выполняется соотношение:

.

(0)

Требование выполнения предпосылки 5необходимо для корректной оценки точности уравнения регрессии и его параметров.

2. Обобщенный метод наименьших квадратов

   1. Обобщенная модель регрессии

При несоблюдении основных предпосылок обычного метода наименьших квадратов приходится корректировать модель: изменять ее форму, добавлять или, наоборот, исключать факторы, преобразовывать исходные данные и т.п. Особенно часто на практике приходится сталкиваться с ситуациями, в которых не выполняются предпосылки 3и4о том, что возмущения модели имеют постоянную дисперсию и не коррелированны между собой.

Невыполнение предпосылки 3, т.е. нарушение условия гомоскедастичности возмущений (0), означает, что дисперсия возмущения зависит от значений факторов. Такие регрессионные модели называютсямоделями с гетероскедастичностью возмущений. Например, при исследовании зависимости стоимости туристической путевки (переменнаяY) от среднемесячного дохода клиента турагенства (факторX) можно ожидать, что для более обеспеченных клиентов разброс расходов на отдых выше, чем для менее обеспеченных, т.е. дисперсия возмущений не будет одинаковой для разных значений фактора X(рис. 1).

рис. 1. Линейная модель регрессии с гетероскедастичностью возмущений

Если имеет место гетероскедастичность возмущений, то оценки параметров модели (0) обычным методом наименьших квадратов не будут эффективными, т. е. их дисперсии не будут наименьшими. Рассчитанные значения стандартных ошибок коэффициентов уравнения регрессии (0) могут быть заниженными, а при проверке статистической значимости коэффициентов может быть ошибочно принято решение об их значимом отличии от нуля, тогда как на самом деле это не так.

При малом числе наблюдений, что характерно для эконометрических исследований, для выявления гетероскедастичности может использоваться метод Голдфельда–Квандта. Данный тест используется, если предполагается, что возмущения регрессионной модели распределены по нормальному закону, а среднее квадратическое отклонение возмущений(i=1, 2, …, n) возрастает пропорционально значению фактора. Проверка проводится для всех факторов, включенных в модель, либо только для факторов, предположительно влияющих на однородность исследуемой совокупности. Проверка по некоторому фактору X_jвыполняется в следующей последовательности:

1. Все nостатков упорядочиваются по возрастанию значений фактора X_j.

2. В упорядоченном ряду выбирают kпервых иkпоследних остатков, при этомkдолжно быть больше числа факторов, включенных в модель. Обычно принимают. Центральные остатки, таким образом, исключаются из рассмотрения.

3. По каждой из групп выбранных остатков определяется сумма их квадратов:и.

4. Рассчитывается F-статистика Фишера по формуле, еслиSS₁>SS₂, или по формуле, еслиSS₂>SS₁.

5. Статистическая гипотеза об одинаковой дисперсии возмущений не отклоняется, если F-статистика не превышает табличное значение F-критерия Фишера для принятого уровня значимостии чисел степеней свободы числителя и знаменателя, гдер— число факторов в модели (см. приложение).

Предпосылка 4[условие (0)] может не выполняться при построении регрессионной модели по временным рядам исследуемых переменных, где ввиду наличия тенденции последующие уровни ряда могут зависить от предыдущих уровней. В таком случае говорят, что в модели имеетсяавтокорреляция возмущений. Другими причинами автокорреляции являются:

• неучет в модели какого-либо важного фактора;

• неправильный выбор формы регрессионной зависимости;

• наличие ошибок измерения результативного признака;

• цикличность значений экономических показателей;

• запаздывание изменения значений показателей по отношению к изменению экономических условий.

При наличии автокорреляции возмущений обычный метод наименьших квадратов дает несмещенные и состоятельные оценки параметров модели, которые однако неэффективны, т. е. их дисперсии не будут наименьшими. По сравнению с гетероскедастичностью возмущений автокорреляция приводит, наоборот, к завышению стандартных ошибок коэффициентов уравнения регрессии. На основе таких результатов может быть сделан ошибочный вывод о несущественном влиянии исследуемого фактора на зависимую переменную, в то время как на самом деле влияние фактора на нее значимо.

Автокорреляция возмущений бывает положительной или отрицательной. Положительная автокорреляцияпроявляется в том, что завышенные значения возмущений предыдущих наблюдений результатаYприводят к завышению возмущений последующих наблюдений. На графике временного ряда остатков регрессии это выражается, например, в чередовании зон положительных и отрицательных остатков (рис. 2). Приотрицательной автокорреляции, наоборот, завышенные значения возмущений предыдущих наблюдений занижают возмущения последующих наблюдений, а остатки регрессии «слишком часто» меняют знак (рис. 3).

Автокорреляцию возмущений выявляют путем исследования ряда остатков с помощью разных критериев. Наиболее часто для этой цели используется тест Дарбина–Уотсона, основанный на предположении, что если имеется автокорреляция возмущений, то она присутствует и во временном ряду остатков регрессии. Тест основан на расчетеd‑статистики

,

(0)

значение которой сравнивают с критическими значениями d₁иd₂(см. приложение). При этом могут возникнуть следующие ситуации:

• если  , то возмущения признаются некоррелированными;

• если  , то имеется положительная автокорреляция возмущений;

• если  , то существует отрицательная автокорреляция;

• если  или, то это указывает на неопределенность ситуации.

В последнем случае для выявления автокорреляции используется коэффициент автокорреляции остатков первого порядка

.

(0)

Статистическая гипотеза об отсутствии автокорреляции возмущений не отклоняется на принятом уровне значимости , если коэффициент автокорреляции не превышает по абсолютной величине критическое значение (см. приложение). В противном случае делают вывод об автокорреляции возмущений: положительное значение коэффициента автокорреляции указывает на положительную автокорреляцию, а отрицательное — соответственно на отрицательную.

рис. 2. Модель регрессии с положительной автокорреляцией возмущений

рис. 3. Модель регрессии с отрицательной автокорреляцией возмущений

Невыполнение предпосылок 3и4означает, что ковариации и дисперсии возмущений могут быть произвольными, т. е. задаваться некоторой положительно определенной матрицей:

,

(0)

где — ковариационная матрица вектора возмущений.

Модель множественной регрессии, для которой выполняется условие (0), называется обобщенной линейной моделью множественной регрессии(Generalized Linear Multiple Regression Model). Для получения несмещенных и наиболее эффективных оценок параметров такой модели применяютобобщенный метод наименьших квадратов(Generalized Least Squares), условие которого имеет вид:

.

(0)

Вектор оценок b*параметров обобщенной модели определяется как

.

(0)

Следует заметить, что коэффициент детерминации R²для обобщенной модели не является удовлетворительной мерой ее качества и может использоваться лишь как приближенная характеристика модели.

На практике ковариационная матрица вектора возмущений , как правило, неизвестна, и для реализации обобщенного метода наименьших квадратов приходится вводить дополнительные условия на структуру матрицы. Поэтому устранение гетероскедастичности и автокорреляции возмущений производят раздельно, для чего используют частные случаи обобщенного метода наименьших квадратов.