8. Оценка параметров нелинейной регрессии

Пусть предварительный анализ исходной информации дает основание предполагать, что регрессионная зависимость носит нелинейный характер. Пример корреляционного поля, соответствующего нелинейной зависимости, представлен на рисунке 6.5.

Рисунок 6.5 – Пример корреляционного поля (нелинейная зависимость)

Рассмотрим в качестве примера следующее уравнение регрессии:

= a0 + a1x1 + a2 + a3x2 + a4 .

(6.11)

Пусть необходимо определить коэффициенты уравнения.

В этом случае, как правило, выполняют линеаризующие преобразования переменных.

Введем обозначения:

z1 = x1;  z2 = ;  z3 = x2;   z4 = .

Тогда исходное уравнение (6.11) примет вид:

= a0 + a1z1 + a2z2 + a3z3 + a4z4 .

(6.12)

Уравнение (6.12) представляет собой уравнение линейной регрессии с четырьмя независимыми переменными. Коэффициенты последнего уравнения находятся по уже известной нам формуле (6.6):

A = (Zт∙Z)-1∙Zт∙Y.

После нахождения коэффициентов необходимо выполнить обратные преобразования для возврата к исходным переменным.

9. Индекс корреляции

Индекс корреляции используется для выявления тесноты связи между переменными в случае нелинейной зависимости.

Он показывает тесноту связи между фактором x и зависимой переменной y:

.

(6.13)

где e_i = y_i - _i - величина ошибки, т.е. отклонение фактических значений зависимой переменной от рассчитанных по уравнению регрессии.

Индекс корреляции есть неотрицательная величина, не превосходящая 1: 0 ≤ I_yx ≤ 1.

Связь тем сильнее, чем ближе I_yx к единице.

В случае линейной зависимости I_yx = | r_yx |. Расхождение между I_yx (формула (6.13)) и r_yx (формула (6.4)) может быть использовано для проверки линейности корреляционной зависимости.

10. Проблема мультиколлинеарности

При разработке структуры уравнения регрессии сталкиваются с явлением мультиколлинеарности. Под мультиколлинеарностью понимают взаимосвязь независимых переменных уравнения регрессии.

Пусть имеется уравнение регрессии:

= a0 + a1x1 + a2x2 .

Переменные x₁ и x₂ могут находиться в некоторой линейной зависимости между собой. Эта зависимость может быть функциональной, тогда имеет место строгая мультиколлинеарность переменных. Чаще, однако, взаимосвязь между переменными не столь жестка и проявляется лишь приблизительно, в этом случае мультиколлинеарность называется нестрогой.

Одно из основных предположений метода наименьших квадратов заключается в том, что между независимыми переменными нет линейной связи. Нарушение этого условия будет приводить к тому, что получаемое уравнение регрессии будет ненадежным, и незначительное изменение исходных выборочных данных будет приводить к резкому изменению оценок параметров.

Для обнаружения мультиколлинеарности вычисляется матрица парных коэффициентов корреляции, охватывающая все сочетания независимых переменных. Коэффициенты, близкие по значению к ±1, свидетельствуют о наличии мультиколлинеарности между соответствующими переменными.

Устранение проблемы достигается путем пересмотра структуры уравнения регрессии.

Самый простой способ – исключение из модели одной из двух переменных, находящихся во взаимосвязи.