3.9. Обобщенный метод наименьших квадратов. Гетероскедастичность

3.9.1. Обобщенный метод наименьших квадратов

Оценки (3.13) коэффициентов линейной множественной регрессии (3.6) являются эффективными (имеющими минимальную дисперсию в классе линейных несмещенных оценок) только при выполнении предпосылок п. 3.5. Нарушение второй и третьей предпосылок ведет к утере эффективности оценок (3.13), т. е. существуют оценки с меньшей дисперсией (с меньшим разбросом значений оценок).

Следствием предпосылок 2 и 3 является диагональная структура матрицы ковариаций _ε случайного члена ε_i с одинаковыми диагональными элементами σ² (дисперсия случайного члена ε_i)

_ε = = σ²E_n, (3.43)

где E_n  единичная матрица размерности n (n – количество наблюдений),

. (3.44)

При нарушении предпосылок матрицу _ε перестает иметь структуру (3.43). Обозначим ее для удобства через Ω.

В общем случае, согласно теореме Айткена, наилучшей в классе линейных несмещенных оценок является оценка

. (3.44)

Вычисление оценок параметров уравнения множественной линейной регрессии по формуле (3.45) (с учетом матрицы ковариаций Ω) называется обобщенным методом наименьших квадратов (ОМНК).

Согласно ОМНК, уравнения регрессии предварительно преобразовываются с целью получить модель, содержащую случайный член, удовлетворяющий предпосылкам регрессионного анализа (п. 3.5).

Следует сказать, что ввиду сложности определения матрицы ковариаций _ε = Ω этот результат имеет в основном теоретический характер. Тем не менее, при определенных предположениях о структуре _ε теорема имеет практическое значение.

3.9.2. Обобщенный метод наименьших квадратов в случае гетероскедастичности остатков

Предположим, что нарушается только предпосылка 2 о постоянстве дисперсии случайного члена . В этом случае говорят, что имеет место гетероскедастичность остатков, а сами остатки называются гетероскедастичными. При выполнении предпосылки 2 говорят о гомоскедастичности остатков. Матрицы Ω и Ω^–1 в этом случае являются диагональными

, . (3.45)

Система нормальных уравнений ОМНК, заменяющих системы уравнений (3.12) и (3.10), для модели (3.6)

принимает вид

(3.46)

или в координатной форме

(3.47)

Система уравнений (3.47) соответствует модели, определяемой соотношениями

, (i = 1, 2, …, n) (3.48)

которые получаются, если исходное уравнение множественной регрессии (3.6), записанное для каждого наблюдения разделить на среднее квадратическое отклонение случайного члена ε_i в i-наблюдении. Случайный член в модели (3.48) имеет постоянную для всех наблюдений дисперсию =1. Запись модели в виде (3.48) соответствует уравнению линейной множественной регрессии (без свободного члена)

, (3.49)

записанному в новых переменных , значения которых определяются по формулам

, (i = 1, 2, …, n) (3.50)

Следует сказать, что величины практически никогда не известны и вместо них следует использовать состоятельные оценки .

При практическом использовании ОМНК используется какое-либо предположение относительно зависимости дисперсии случайного члена ε от наблюдения или величины факторов x_i.

Представим дисперсии случайного члена в виде произведения некоторой функции от факторов на постоянную величину

. (3.51)

Тогда соотношения (3.50) принимают вид

.

(i = 1, 2,…, n) (3.52)

Часто на практике можно с достаточным основанием предположить, что величины σ_i пропорциональны значениям какого-либо фактора, например x₂, т. е. ( ). В этом случае модель (3.49) принимает вид

(3.53)

и .

Оценки параметров модели (3.53) являются оценками параметров исходного уравнения (3.6).

Если, вычислив значения новых переменных, мы запишем модель в стандартном виде

, (3.54)

то это будет новая модель с переменными, имеющими уже иной смысл. Оценки ее параметров будут отличаться от оценок параметров исходной модели (3.6).

Рассмотрим случай парной регрессии

(3.55)

и предположим, что величины σ_i пропорциональны значениям фактора x, т. е. ( ). Преобразуя согласно ОМНК уравнение регрессии (3.55) получим следующую модель

, (3.56)

оценки параметров которой будут эффективными оценками параметров исходной модели (5.55). Заметим, что в новой модели параметры a и b поменялись местами, т. е. свободный член стал коэффициентом и наоборот.