8. Проблема мультиколлинеарности. Примеры. Геометрическая интерпретация. Практические пути ее решения.
Мультиколлинеарность (multicollinearity) — в эконометрике (регрессионный анализ) — наличие линейной зависимости между объясняющими переменными (факторами) регрессионной модели. При этом различают полную коллинеарность, которая означает наличие функциональной (тождественной) линейной зависимости и частичную или просто мультиколлинеарность — наличие сильной корреляции между факторами.
Полная коллинеарность приводит к неопределенности параметров в линейной регрессиионной модели независимо от методов оценки. Рассмотрим это на примере следующей линейной модели
y = b 1 x 1 + b 2 x 2 + b 3 x 3 + ε {\displaystyle y=b_{1}x_{1}+b_{2}x_{2}+b_{3}x_{3}+\varepsilon } Пусть факторы этой модели тождественно связаны следующим образом. x 1 = x 2 + x 3 {\displaystyle x_{1}=x_{2}+x_{3}} Тогда рассмотрим исходную линейную модель, в которой к первому коэффициенту добавим произвольное число a, а из двух других коэффициентов это же число вычтем. Тогда имеем (без случайной ошибки):
y = ( b 1 + a ) x 1 + ( b 2 − a ) x 2 + ( b 3 − a ) x 3 = b 1 x 1 + b 2 x 2 + b 3 x 3 + a ( x 1 − x 2 − x 3 ) = b 1 x 1 + b 2 x 2 + b 3 x 3 {\displaystyle y=(b_{1}+a)x_{1}+(b_{2}-a)x_{2}+(b_{3}-a)x_{3}=b_{1}x_{1}+b_{2}x_{2}+b_{3}x_{3}+a(x_{1}-x_{2}-x_{3})=b_{1}x_{1}+b_{2}x_{2}+b_{3}x_{3}} Таким образом, несмотря на относительно произвольное изменение коэффициентов модели мы получили ту же модель. Такая модель принципиально неидентифицируема. Неопределенность существует уже в самой модели. Если рассмотреть 3-мерное пространство коэффициентов, то в этом пространстве вектор истинных коэффициентов в данном случае не единственный, а представляет собой целую прямую линию! Любая точка этой прямой — истинный вектор коэффициентов.
В связи с этим проблема полной коллинеарности факторов решается уже на стадии отбора переменных при моделировании и поэтому к проблеме качества эконометрических оценок параметров отношения не имеет. На практике чаще возникает другая ситуация — сильная корреляция между факторами.
Способы решения проблемы мулькол.
Метод главных компонент
Применение метода главных компонент к факторам модели позволяет преобразовать исходные факторы и получить совокупность ортогональных (некоррелированных) факторов. При этом наличие мультиколлинеарности позволит ограничиться небольшим количеством главных компонент. Тем не менее, может возникнуть проблема содержательной интерпретации главных компонент.
Рекурсивный МНК
применяемая
в эконометрике
итеративная процедура оценки параметров
регрессионной модели. Данный метод
применяется при мультиколлинеарности
факторов (в
этом случае матрица X
T X {\displaystyle X^{T}X}
близка
к вырожденной и при её обращении могут
возникнуть большие вычислительные
неточности). Также получающиеся в
результате применения рекурсивного
МНК (рекурсивные остатки) используются
при тестировании стабильности параметров
модели.
Ридж-регрессия
Ридж-регрессия или гребневая регрессия предполагает оценку параметров по следующей формуле:
b ^ = ( X T X + λ I ) − 1 X T y {\displaystyle {\hat {b}}=(X^{T}X+\lambda I)^{-1}X^{T}y} Добавление параметра λ {\displaystyle \lambda } решает проблему плохой обусловленности матрицы X T X {\displaystyle X^{T}X}. Эти оценки смещены, в отличие от МНК-оценок. Однако доказано, что существует такое λ {\displaystyle \lambda } , при котором эти оценки более эффективны, чем оценки МНК (МНК наиболее эффективны среди несмещенных оценок). Тем не менее, четких правил выбора этого параметра нет.