5.4.9. Некоррелированность независимых переменных.

Это предположение проверяется построением корреляционной матрицы для модели множественной регрессии. Поэтому одним из первых шагов при решении уравнения с несколькими независимыми переменными должно быть вычисление корреляционной матрицы для всех переменных.

Существование высокой корреляции между независимыми переменными характеризует ситуацию коллинеарности. Другими словами, не выполняется одна из главных предпосылок статистических методов оценки уравнения регрессии. Проблема состоит в том, что все независимые переменные оказывают схожее воздействие на зависимую, поэтому очень трудно отличить их воздействие друг от друга. Различные статистические тесты направлены на то, чтобы определить присутствие коллинеарности и степень, в которой это явление портит оцениваемые параметры.

5.4.9.1. Вычисление фактора "вздутия" вариации

Один из часто используемых показателей коллинеарности (чувствительность, допуск) — это толерантность или допуск переменной. Эта мера определяется как 1 -R²_i, где Ri - множественный коэффициент корреляции, когда i -тая переменная предсказана на основе других независимых переменных. Если толерантность переменной мала, то данная переменная является почти линейной комбинацией других независимых переменных.

С толерантностью тесно связан другой показатель коллинеарности: фактор влияния на дисперсию (фактор "вздутия" вариации (variance inflation factor, сокращенно VIF). Фактически, он определяется как величина, обратная к толерантности. Иначе говоря, для i-ой переменной

VIF = 1/(1-R² _i ).

Данная величина называется так потому, что она участвует в вычислении дисперсии i-ого регрессионного коэффициента. С возрастанием величины фактора влияния на дисперсию, возрастает и дисперсия соответствующего регрессионного коэффициента.

5.4.9.2. Вычисление собственных чисел

Другой характеристикой коллинеарности являются собственные числа. Когда собственные значения превышают 13, проблема коллинеарности существует, когда эти числа больше 80, - она является острой. Чем больше индекс обусловленности, тем в большей степени введение данной переменной ухудшает проблему коллинеарности модели. Пропорции вариации показывают, как распределяется вариация каждого регрессионного коэффициента, включая константу, между компонентами, связанными с каждым из собственных чисел. В матрице пропорции вариации необходимо искать для каждого собственного значения большие коэффициенты пропорциональности в нескольких переменных. Тогда можно определить, какие именно переменные наиболее тесно связаны между собой, и исключить из рассмотрения те, включение которых наименее необходимо исходя из теоретических соображений.