22. Обобщенная линейная модель множественной регрессии и обобщенный метод наименьших квадратов.
Одно
из предположений классической линейной
регрессионной модели состоит в том. Что
случайные ошибки некоррелированы между
собой и имеют постоянную дисперсию. В
тех случаях, когда наблюдаемые объекты
достаточно однородны, не сильно отличаются
друг от друга, такое допущение оправдано.
Однако во многих случаях такое
предположение нереалистично. Например,
если исследуется зависимость расходов
на питание в семье от ее общего дохода,
то естественно ожидать, что разброс в
данных будет выше для семей с более
высоким доходом. Это означает, что
дисперсии зависимых величин (а
следовательно, и случайных ошибок) не
постоянны. Это явление в эконометрике
называется гетероскедастичностью
(в
отличие от гомоскедастичности
–
равенства дисперсий).
Кроме
того, при анализе временных рядов в
довольно редких случаях можно считать,
что наблюдения некоррелированы во
времени. Как правило, значение исследуемой
величины в текущий момент времени
статистически зависит от значений в
прошлом, что означает наличие корреляции
между ошибками. Поэтому естественно
изучать модели регрессии без предположения,
что
.
Рассмотрим
обобщенную регрессионную модель
,
(1)
где у – n ×1 вектор зависимой переменной, X – n × k матрица независимых переменных,
β – k ×1 вектор неизвестных параметров, ε – n ×1 вектор случайных ошибок, причем:
1) матрица X неслучайна и имеет полный ранг;
2) М(ε)=0;
3)
,
и матрица Ω (омега) положительно
определена. Иными словами, обобщенная
модель отличается от классической
только условием 3.
Обобщенный метод наименьших квадратов. Ответ на вопрос об эффективной линейной несмещенной оценке вектора β для модели (1) дает следующая теорема.
Теорема
Айткена. В
классе линейных несмещенных оценок
вектора β
для обобщенной регрессионной модели
оценка
(4) имеет наименьшую матрицу ковариаций.
Использование
термина «обобщенный метод наименьших
квадратов» объясняется следующим
соображением. Как получено при
доказательстве теоремы Айткена, оценка
получается минимизацией по b
(оценка вектора параметров β)
сумм квадратов отклонений
для системы (3), где е
– фактические ошибки модели или остатки.
Но
,
т.е. для
построения оптимальной оценки в модели
(1) надо минимизировать «обобщенную»
сумму квадратов отклонений
.
Проблема применения обобщённого МНК заключается в неизвестности ковариационной матрицы случайных ошибок. Поэтому на практике используют доступный вариант ОМНК, когда вместо V (ковариационной матрицы) используется её некоторая оценка. Однако, и в этом случае возникает проблема: количество независимых элементов коварационной матрицы равно n(n+1)/2, где -количество наблюдений (для примера — при 100 наблюдениях нужно оценить 5050 параметров!). Следовательно, такой вариант не позволит получить качественные оценки параметров. На практике делаются дополнительные предположения о структуре ковариационной матрицы, то есть предполагается, что элементы ковариационной матрицы зависят от небольшого числа неизвестных параметров . Их количество должно быть намного меньше числа наблюдений. Сначала применяется обычный МНК, получают остатки, затем на их основе оцениваются указанные параметры . С помощью полученных оценок оценивают ковариационную матрицу ошибок и применяют обобщённый МНК с этой матрицей. В этом суть доступного ОМНК. Доказано, что при некоторых достаточно общих условиях, если оценки состоятельны, то и оценки доступного ОМНК будут состоятельны.