Модель множественной регрессии
Предположим, что
переменная
связана с
независимыми переменными
линейной зависимостью:
Оценим это уравнение для заданного множества наблюдений методом наименьших квадратов:
Решение этой задачи имеет в общем случае слишком сложный вид и мы не будем его приводить.
Смысл коэффициентов
очевиден. Если переменная
изменяется на 1 при фиксированных
значениях остальных переменных, то
изменится на
единиц.
Можно определить
так же, как и в парном регрессионном
анализе, средний коэффициент эластичности,
показывающий, на сколько процентов
изменится
при изменении
на 1%. Он равен
.
Мультиколлинеарность
Мулътиколлинеарностъ — это понятие, которое используется для описания проблемы, когда нестрогая линейная зависимость между объясняющими переменными приводит к получению ненадежных оценок регрессии. В самом деле, если две переменные строго линейно зависимы, то в системе регрессионных уравнений два столбца будут пропорциональны, а определитель матрицы системы уравнений будет равен нулю. Если зависимость между переменными является не строгой, а регрессионной, то система уравнений будет плохо обусловленной.
Такая проблема является обычной для регрессий временных рядов, т. е. когда данные состоят из ряда наблюдений в течение какого-то периода времени. Если две или более независимые переменные имеют ярко выраженный временной тренд, то они будут тесно коррелированы, и это может привести к мультиколлинеарности.
Разумеется, мультиколлинеарность совсем необязательно приводит к неудовлетворительным оценкам. Если все другие условия благоприятствуют, т.е. если число наблюдений и выборочные дисперсии объясняющих переменных велики, а дисперсия случайного члена – мала, то в итоге можно получить вполне хорошие оценки.
Итак, мультиколлинеарность присутствует всегда, т.к. всегда объясняющие переменные в той или иной степени зависимы. Речь может идти лишь о степени выраженности этого явления. Рассмотрение проблемы мультиколлинеарности начинается только тогда, когда это серьезно влияет на результаты оценки регрессии.
Выделим некоторые наиболее характерные признаки мультиколлинеарности.
1. Небольшое изменение исходных данных (например, добавление новых наблюдений) приводит к существенному изменению оценок коэффициентов модели.
2. Оценки коэффициентов имеют большие стандартные ошибки, малую значимость, в то время как модель в целом является значимой (высокое значение коэффициента детерминации и соответствующей -статистики).
3. Оценки коэффициентов имеют неправильные с точки зрения теории знаки или неоправданно большие значения.
Обнаружить мультиколлинеарность можно, анализируя корреляционную матрицу для независимых переменных.
Считается, что две
переменные явно коллинеарны, т.е.
находятся между собой в линейной
зависимости, если
.
Мультиколлинеарность же определить
несколько сложнее. Для ее обнаружения
можно определить множественные
коэффициенты детерминации между одной
из объясняющих переменных и некоторой
группой из них. Наличие высокого
множественного коэффициента детерминации
(обычно больше 0,6) свидетельствует о
мультиколлинеарности.
Бороться с
мультиколлинеарностью можно по-разному.
Можно, отбросить «лишние» независимые
переменные, которые, возможно, служат
причиной мультиколлинеарности. *Однако
следует помнить, что при этом могут
возникнуть новые трудности. Во-первых,
далеко не всегда ясно, какие переменные
являются лишними в указанном смысле.
Мультиколлинеарность означает лишь
приблизительную линейную зависимость
между столбцами матрицы
,
но это не всегда выделяет "лишние"
переменные. Во-вторых, во многих ситуациях
удаление каких-либо независимых
переменных может значительно отразиться
на содержательном смысле модели. Наконец,
отбрасывание так называемых существенных
переменных, т.е. независимых переменных,
которые реально влияют на изучаемую
зависимую переменную, приводит к
смещенности МНК-оценок.*
Другой метод борьбы с мультиколлинеарностью заключается в переходе к новым переменным, представляющим собой линейные комбинации исходных.