9 Понятие мультиколлинеарности. Основные признаки и способ устранения.

Мультиколлинеарность – наличие функциональной или тесной корреляционной зависимости между включенными в модель факторами.

Причины возникновения мультиколлинеарности:

3. Наличие функциональной или корреляционной зависимости между факторами

4. Наличие факторов общего временного тренда

Признаки мультиколлинеарности:

4. При незначительном изменении исходных данных (при добавлении новых наблюдений) оценки параметров существенно меняются

5. Хотя в целом уравнение регрессии является адекватным (речь идет о коэффициенте детерминации и по f-критерию Фишера) отдельные параметры модели могут иметь большие стандартные ошибки и быть незначимыми по t-критерию Стьюдента.

6. Отдельные параметры модели могут иметь неоправданно большие значения или неправильные знаки с точки зрения теории.

Способы устранения мультиколлинеарности:

1. Из двух тесно связанных между собой факторов (r≥0,7) один исключают из рассмотрения

2. Метод построения гребневой регрессии (ridg) – заключается в переходе от несмещенных оценок к смещенным, но обладающим меньшим рассеиванием относительно оцениваемого параметра.

3. Переходит от исходных переменных x₁, x₂…, x_m к их линейным комбинациям z₁, z₂…, z_k называемых главными компонентами.

10. Стандартизованная и естественная формы уравнения множественной регрессии. Интерпретация параметров.

На практике часто бывает необходимо сравнить влияние на зависимую переменную различных объясняющих переменных, когда последние выражаются разными единицами измерения. В этом случае используют стандартизованные коэффициенты регрессии.

Уравнение регрессии в стандартизованной форме:

,

где , – стандартизованные переменные.

В результате такого нормирования средние значения всех стандартизованных переменных равны нулю, а дисперсии равны единице, т.е. = =…= =0, = =…= =1.

Коэффициенты «чистой» регрессии связаны со стандартизованными коэффициентами следующим соотношением: .

Стандартизованные коэффициенты показывают, на сколько сигм изменится в среднем результат, если соответствующий фактор x_i изменится на одну сигму при неизменном среднем уровне других факторов. Сравнивая стандартизованные коэффициенты друг с другом, можно ранжировать факторы по силе их воздействия на результат.

Теорема Айткена.

В классе линейных несмещенных оценок вектора β для обобщенной регрессионной модели оценка

b* =(X^ТΩ^-1X)^-1X^ТΩ^-1Y.

имеет наименьшую ковариационную матрицу.

11. Обобщенная линейная модель множественной регрессии в случае гетероскедастичности остатков. Взвешенный метод наименьших квадратов. Выше в рамках метода наименьших квадратов нас интересовали вопросы подгонки кривой. Далее определим ряд статистических свойств данных. Именно на этом этапе можно говорить о построении регрессионных кривых. Запишем уравнение зависимости Yt от Xt в виде: (9) где Xt — неслучайная (детерминированная) величина, а Yt, ?t — случайные величины. Переменная Yt называется объясняемой, зависимой или результативным признаком, а Xt — объясняющей, независимой, регрессором или факторным признаком. Переменная ?t выступает в качестве ошибки в объяснении зависимости Yt от Xt. Поскольку обе случайные величины Yt, ?t отличаются друг от друга константой, их функции распределения соответствуют друг другу. Уравнение (9) называют также регрессионным уравнением. Базовые гипотезы нормальной линейной регрессионной модели следующие: 1) Xt — детерминированная величина; 2) — не зависит от t; (10) 3) при t ? s, некоррелированность ошибок для разных наблюдений; где E — символ математического ожидания, а V — символ дисперсии. Условие независимости дисперсии от номера реализации t = 1,…,n называется гомоскедастичностью (homoscedasticity). Случай, когда условие гомоскедастичности не выполняется, называется гетероскедастичностью. Условие , t ? s означает отсутствие корреляции ошибок для различных наблюдений. Эти условия часто нарушаются, когда нашими данными являются временные ряды. Если это условие не выполняется, то говорят об автокорреляции ошибок. В нашем распоряжении находятся данные наблюдений (Xt,Yt), t = 1,…,n и модель (9), и условия (10). Оценим параметры a, b и ? 2 наилучшим способом. Вся проблема состоит в том, какой смысл вкладывать в слово “наилучшая”.