3.2.2. Мультиколлинеарность

Под коллинеарностью факторов понимается высокая взаимная коррелированность между двумя объясняющими переменными.

Под мультиколлинеарностью факторов понимается высокая взаимная коррелированность между более, чем двумя объясняющими переменными. Следствием коллинеарности или мультиколлинеарности является линейная зависимость между столбцами наблюдений x_ij в таблице 3.1 или между столбцами матрицы наблюдений X (3.11). В результате, матрица X′X становится плохо обусловленной, что приводит к неустойчивости оценок коэффициентов регрессии, когда незначительные изменения данных наблюдений приводят к значительным изменениям оценок.

Проверка наличия коллинеарности или мультиколлинеарности факторов основывается на анализе матрицы парных корреляций между факторами

(3.3)

Коэффициенты парной корреляции между объясняющими переменными используются для выявления дублирующих факторов. Линейная зависимость (коллинеарность) между двумя объясняющими переменными x_i и x_j считается установленной, если выполняется условие , сами факторы при этом называются явно коллинеарными (это правило является эмпирическим). Один из факторов должен быть исключен из модели. Предпочте­ние при этом отдается тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами.

Наряду с парной коллинеарностью может иметь место линейная зависимость между боле, чем двумя переменными. Для оценки мультиколлинеарности факторов в этом случае может исполь­зоваться величину определителя матрицы парных коэффициентов корреля­ции между факторами либо ее минимального собственного значения.

Чем ближе к нулю определитель (минимальное собственное значение) матрицы межфакторной корреляции, тем сильнее мультиколлинеарность между факторами и тем ненадежнее результаты множественной регрессии.

Для оценки статистической значимости мультиколлинеарности факторов может быть использован тот факт, что величина имеет приближенное распределение с степенями свободы.

Выдвигается гипотеза H₀ о независимости переменных, т. е. . Если фактическое значение χ² превосходит табличное (критическое) , то гипотеза Н₀ отклоняется и мультиколлинеарность считается дока­занной.

Для выявления мультиколлинеарности факторов можно использовать коэффициенты множественной детерминации … , полученные по уравнениям регрессии, в которых качестве зависимой переменной рассмат­ривается один из факторов. Чем ближе значение коэффициен­та детерминации к единице, тем сильнее прояв­ляется мультиколлинеарность факторов. Согласно эмпирическому правилу, при значении коэффициента множественной детерминации > 0,6 мультиколлинеарность факторов считается установленной. Оставляя в уравнении регрессии факторы с минимальной величиной коэффициента множественной детерминации, можно исключить мультиколлинеарность факторов.

Для преодоления явления линейной зависимости между факторами используются такие способы, как:

• исключение одного из коррелирующих факторов;

• переход с помощью линейного преобразования к новым некоррелирующим независимым переменным. Например, переход к главным компонентам вектора исходных объясняющих переменных (что позволяет также уменьшить количество рассматриваемых факторов), переход к последовательным разностям во временных рядах и т. п.;

• переход к смещенным оценкам, имеющим меньшую дисперсию. В частности, при использовании «ридж-регрессии» применяются смещенные оценки вектора параметров (п. 3.4), где τ  некоторое положительной число, E_p+1  единичная матрица порядка p+1. Такое преобразование увеличивает определитель матрицы системы нормальных уравнений и повышает устойчивость результатов (снижает дисперсию оценок, которые становятся смещенными).

Другие аспекты вопроса отбора факторов рассмотрены в п. 1.4.

Следует также учитывать ограничение, накладываемое на количество факторов, имеющимся числом наблюдений. Количество наблюдений должно превышать количество факторов более чем в 6-7 раз.