38. Проблема мультиколлинеарности в моделях множественной регрессии. Виды мультиколлинеарности, признаки, последствия

М ультиколлинеарностью в моделях множественной регрессии называется наличие линейной зависимости между факторными переменными, включенными в модель.

Мультиколлинеарность – нарушение одного из основных условий, лежащих в основе построения модели множественной регрессии. Мультиколлинеарность в матричном виде – ϶ᴛᴏ зависимость между столбцами матрицы факторных переменных.

Проблема мультиколлинеарности возникает, когда в уравнениях наблюдений столбца матрицы Xстановятся практически линейно зависимыми, что входит в противоречие с исходной предпосылкой Гаусса-Маркова.

Предпосылка теоремы Гаусса–Маркова – независимость столбцов 𝑋_𝑗 , матрицы регрессоров 𝑋:

В ситуации мультиколлинеарности оценки параметров линейной регрессионной модели становятся ненадежными

Виды:

1. Строгая (perfect) мультиколлинеарность - наличие линейной функциональной связи между независимыми переменными (иногда также и зависимой)

2. Нестрогая (imperfect) мультиколлинеарность - наличие сильной линейной корреляционной связи между независимыми переменными (иногда также и зависимой)

Признаки мультиколлинеарности:

Частичная мультиколлинеарность характеризуется коэффициентом корреляции между регрессорами Для определения степени коррелированности регрессоров определяют матрицу их взаимных корреляций:

1. Если

Если между регрессорами имеется высокая степень корреляции, матрица 𝑋^𝑇𝑋 существует, но близка к вырожденной:

2. Близость к нулю определителя матрицы 𝑋^𝑇𝑋

Последствия мультиколлинеарности:

1. Увеличение дисперсий оценок параметров. Это расширяет интервальные оценки и ухудшает их точность

2. Уменьшение t-статистик коэффициентов, что приводит к неоправданным выводам о значимости регрессоров

3. Неустойчивость МНК-оценок параметров и их дисперсий

4. Возможность получения неверного с точки зрения теории знака у параметра регрессии или неоправданно большого значения

39. Проблема мультиколлинеарности в моделях множественной регрессии: полная мультиколлинеарность (определение, последствия, пример способа устранения)

Мультиколлинеарностью в моделях множественной регрессии называется наличие линейной зависимости между факторными переменными, включенными в модель.

М ультиколлинеарность – нарушение одного из основных условий, лежащих в основе построения модели множественной регрессии. Мультиколлинеарность в матричном виде – ϶ᴛᴏ зависимость между столбцами матрицы факторных переменных.

Проблема мультиколлинеарности возникает, когда в уравнениях наблюдений столбца матрицы Xстановятся практически линейно зависимыми, что входит в противоречие с исходной предпосылкой Гаусса-Маркова.

Предпосылка теоремы Гаусса–Маркова – независимость столбцов 𝑋_𝑗 , матрицы регрессоров 𝑋:

В ситуации мультиколлинеарности оценки параметров линейной регрессионной модели становятся ненадежными

Последствия мультиколлинеарности:

5. Увеличение дисперсий оценок параметров. Это расширяет интервальные оценки и ухудшает их точность

6. Уменьшение t-статистик коэффициентов, что приводит к неоправданным выводам о значимости регрессоров

7. Неустойчивость МНК-оценок параметров и их дисперсий

8. Возможность получения неверного с точки зрения теории знака у параметра регрессии или неоправданно большого значения

Методы устранения мультиколлинеарности:

1. Метод дополнительных регрессий

• Строятся уравнения регрессии, которые связывают каждый из регрессоров со всеми остальными

• Вычисляются коэффициенты детерминации 𝑅²для каждого уравнения регрессии

• Проверяется статистическая гипотеза H₀:𝑅²=0 с помощью F-теста

• Вывод: если гипотеза H₀ не отвергается, то данный регрессор не приводит к мультиколлинеарности.

2. Метод последовательного присоединения

• На первом шаге из исходного набора регрессоров выбирается переменная, имеющая наибольший по модулю коэффициент корреляции зависимой переменной 𝑦

• На втором шаге учитывается результат предыдущего шага и отбирается наиболее «информативная» пара регрессоров, один из которых отобран на первом шаге. В качестве критерия отбора рассматривается максимум скорректированного 𝑅²

Скорректированный 𝑅²находится по формуле:

• На третьем шаге список регрессоров включает два отобранных на предыдущих шагах и проводится поиск третьего регрессора и т.д.

Процесс присоединения регрессоров прекращается, когда значение скорректированного 𝑅² становится меньше достигнутого на предыдущем шаге.

Каким бы образом не осуществлялся отбор факторов, уменьшение их числа приводит к улучшению обусловленности матрицы , а, следовательно, и к повышению качества оценок параметров модели.