Анализ формальных признаков мультиколлинеарности

1. среди значимых коэффициентов парной или частной корреляции объясняющих переменных есть такие, которые по абсолютной величине достаточно велики (превышают 0,75- 0,8);

Рисунок 8 – матрица корреляций

Наличие парных коэффициентов корреляции, превосходящих 0,75 между переменными Х1 и Х2, Х1 и Х4

2. достаточно высокие значение множественного коэффициента корреляции (детерминации) одной из объясняющих переменных на другие ;

Строим уравнения регрессии Х1 на остальные объясняющие переменные:

Рисунок 9 – уравнение регрессии, где Х1 - зависимая

Аналогично:

Присутствуют достаточно высокие значения множественного коэффициента детерминации.

3. определитель матрицы близок к нулю (необходимое условие плохой обусловленности).

Рисунок 10 – определитель матрицы (Excel)

Определитель не близок к 0.

4. достаточным условием плохой обусловленности является большое значение числа обусловленности.

Рисунок 11 – вычисление числа обусловленности (Mathcad)

Число обусловленности не слишком большое.

Из анализа внешних и формальных признаков мультиколлинеарности можно сделать вывод, что мультиколлинеарности скорее нет. Тем не менее, испытаем методы её устранения.

Метод пошаговой регрессии с включением переменных

Решается задача: для заданного значения путём перебора возможных комбинаций из l объясняющих переменных, отобранных из исходного набора объясняющих переменных, определить такие , для которых коэффициент детерминации с результирующим показателем y был бы максимальным

1 шаг: определяется переменная , которую можно назвать наиболее информативной, при условии что в регрессионную модель У по Х включена только одна из набора объясняющих переменных.

2 шаг: определяется наиболее информативная пара переменных

3 шаг: и так далее. На каждом шаге определяем несмещённую оценку коэффициента детерминации:

и оценку нижней доверительной границы

Правило отбора объясняющих переменных: предполагается выбирать в качестве оптимального числа объясняющих переменных регрессионной модели значение l , при котором величина достигает своего максимума.

Рисунок 12 – пошаговая регрессия с включением переменных

Метод пошаговой регрессии с исключением переменных

На первом шаге строится уравнение регрессии на все k переменных, если есть незначимые коэффициенты, то на втором шаге строятся уравнения на k-1 переменных, среди которых выбирается то, которому соответствует наибольший выборочный коэффициент детерминации. Если и в этой модели есть незначимые коэффициенты, то процедура повторяется для k-2 переменных и т.д.

Рисунок 13 – пошаговая регрессия с исключением переменных

Метод ридж-регрессии

Устранение мультиколлинеарности путем построения смещенных оценок (рндж-регрессия или «гребневая регрессия»).

=(X^TX+τX^TY

Добавление к диагональным элементам матрицы (х) «гребня» τ (τ- некоторое положительное число. 0,1 < τ <0,4, - единичная матрица (p+1) порядка) с одной стороны, делает получаемые при этом оценки смещенными, а с другой,- превращает матрицу Х^ТХ из «плохо обусловленной» в «хорошо обусловленную».

Рисунок 14 – ридж-регрессия (гребень 0,1)