5.2.Способы устранения мультиколлинеарности

1) Выявление мультиколлинеарных пар, и их исключения (фильтрация регрессоров).

Проводиться коэффициент автокорреляции, т.е вычисляется корреляционная матрица K. По критерию Стьюдента t_T проверяется значимость её элементов {T_ij}. В выявленных мултаколлинеарных – парах оставляется в модели тот регрессор, который теснее связан с Y, а другой отбрасывается.

2) Метод пошаговой регрессии

5.3. Метод пошаговой регрессии (конструктивный метод)

Идея состоит в пошаговом алгоритме построения мультиколленеарных уравнений регрессии. При этом на каждом очередном шаге вводится еще одна независимая переменная.

Для ЛУМР:

- одна объясненная переменная

– – – – – – – – – – – –

Процедура введения новых переменных продолжается до тех пор, пока будет (стабилизируется) скорректированный (адаптированный) коэффициент детерминации:

Заметим, что в данном алгоритме контроль отсутствия (или слабого проявления мультиколленеарности) реализуется косвенно. Если при введении нового регрессора скорректированный коэффициент детерминации растет, причем то это признак повышения качества модели. При наличии мультиколленеарности качество уравнения регрессии не улучшилось бы!

5.4. Деструктивный подход (“расщепления”) мультиколлинеарных пар

Алгоритм следующий:

1. Вводятся все регрессоры по итогам обработки экспертных оценок.

2. Проводится корреляционный анализ и вычисляется корреляционная матрица К.

3. Выявляются мультиколлинеарные пары, для которых критерий Стьюдента значим:

4. В модели оставляется та переменная из мультиколлинеарной пары , которая теснее связана с Y, а другая отбрасывается.

5.5.Случай нелинейных координатных функций

5.5.1.Формальная замена переменных

Пусть - нелинейные функции. Модель линейна по параметрам и нелинейна по .

(5.3)

Сделаем замену переменных

(5.4)

Получаем исходный случай метода наименьших квадратов.

После нахождения , делается возврат к старым переменным.

5.5.2. Специальное преобразование

Пример:

Эта модель нелинейна, как по искомым параметрам, так и по входным факторам. Требуется уже не просто замена переменных, а специальное преобразование переменных.

5.6. Линейные уравнения регрессии с переменной структурой Фиктивные переменные

При наличии качественных переменных имеем неоднородную структуру данных.

а) Построение разных (отдельных) моделей для каждого уровня качественной переменной.

б) Введение в уравнение регрессии качественных переменных. Они называются также фиктивными, номинальными, нечисловыми, структурными, “манекенами” (dummy variabls) и присвоение градациям этих переменных “цифровых меток”.

Возможные подходы при кодировке:

1. Введение булевых (бинарных, дихотомических переменных)

Например: “признак 1” – есть высшее образование;

“признак 2” – нет высшего образования.

Случай нескольких градаций качественного признака. Если качественный признак имеет несколько уровней.

Возможны два подхода:

1.Ввести дискретную переменную, имеющую столько же уровней, сколько признаков.

2.Ввести несколько бинарных переменных.

В примере с образованием (начальное, среднее, высшее): Х_j = (1; 2; 3;)

Однако такие данные трудно содержательно интерпретировать.

Действительно, приписываемые цифровые метки (1; 2; 3;) никак не связаны ни с экспертными оценками, ни с закономерностями исследуемого объекта. Такое кодирование вносит в уравнение регрессии искусственные связи. В частности, качественный признак “образование” может оказаться на порядок более значимым (или менее значимым) по сравнению с другими факторами в зависимости от цифр кода.

Поэтому предпочтительнее способ 2, т.е. введение нескольких бинарных переменных.

Правило: Число бинарных переменных должно быть на 1 меньше, чем число градаций качественного признака.

Поясним это на примере с качественным признаком “образование”. Число градаций 3, значит достаточно ввести две бинарные переменные.

Если образование среднее, то автоматически оно не начальное.

Если начальное, то это отражено парой {Z₁=0; Z₂=0}.

Если ввести третью бинарную переменную

– возникает “логическая ловушка”.

Если сумма значений фиктивный переменных, включенных в регрессию, равна постоянному числу (например: 1) в любой i–ой строке, то качественный признак будет неразличим в уравнение регрессии, т.е. его оценка будет смешана со свободным членом.

Поясним это утверждение.

Пусть качественный признак отражен тремя градациями и, соответственно закодирован тремя бинарными (двоичными) переменными Z₁, Z₂, Z₃.

Тогда их сумма равна:

Z_i = Z₁+ Z₂+ Z₃ Z₃=1

в любой i – ой строке матрицы планирования Х. Возникает функциональная мультиколлинеарность, т.е. мультиколлинеарность состоит в линейной зависимости первого столбца для с вектор – столбцами для , а именно: первый столбец равен сумме столбцов для качественных переменных.

и метод наименьших квадратов неприменим.

Сложные модели с влиянием качественных переменных на параметры :

Замечание 3: Возможны смешанные уравнения регрессии с фиктивными переменными.

( )

Пример:

- потребление продукта.

Х – доход

Z₁ – сезонность (влияние на свободный член)

Z₂ – уровень доходности домашнего хозяйства влияют на b₁ при Х (склонность к потреблению).