Коэффициенты детерминации и множественной корреляции

При сравнении качества регрессии, оцененной по различным зависимым переменным, полезно исследовать доли объясненной и необъясненной дисперсии. Отношение SS_reg/SS_tпредставляет собой оценку доли необъясненной дисперсии. Доля дисперсии зависимой переменной, объясненной уравнением регрессии, называется коэффициентом детерминации. В двумерном случае коэффициент детерминации совпадает с квадратом коэффициента корреляции.

Корень из коэффициента детерминации называется КОЭФФИЦИЕНТОМ МНОЖЕСТВЕННОЙ КОРРЕЛЯЦИИ (он является коэффициентом корреляции между yи). Оценкой коэффициента детерминации () является. Соответственно, величинаRявляется оценкой коэффициента множественной корреляции. Следует иметь в виду, чтоявляется смещенной оценкой. Корректированная оценка коэффициента детерминации получается по формуле:

В этой формуле используются несмещенные оценки дисперсий регрессионного остатка и зависимой переменной.

Оценка влияния независимой переменной

Если переменные Xнезависимы между собой, то величина коэффициентаb_iинтерпретируется как приростy, еслиX_iувеличить на единицу.

Можно ли по абсолютной величине коэффициента судить о роли соответствующего ему фактора в формировании зависимой переменной? То есть, если b₁>b₂, будет лиX₁важнееX₂?

Абсолютные значения коэффициентов не позволяют сделать такой вывод. Однако при небольшой взаимосвязи между переменными X, если стандартизовать переменные и рассчитать уравнение регрессии для стандартизованных переменных, то оценки коэффициентов регрессии позволят по их абсолютной величине судить о том, какой аргумент в большей степени влияет на функцию.

Стандартизация переменных. Бета коэффициенты

Стандартизация переменных, т.е. замена переменных x_kнаиyна, приводит к уравнению

,

где k -порядковый номер независимой переменной.

Коэффициенты в последнем уравнении получены при одинаковых масштабах изменения всех переменных и сравнимы. Более того, если "независимые" переменные независимы между собой, betaкоэффициенты суть коэффициенты корреляции междуx^kиy. Таким образом, в последнем случае коэффициентыbetaнепосредственно характеризуют связьxиy.

В случае взаимосвязи между аргументами в правой части уравнения могут происходить странные вещи. Несмотря на связь переменных x^kиy,beta - коэффициент может оказаться равным нулю; мало того, его величина может оказаться больше единицы!

Взаимосвязь аргументов в правой части регрессионного уравнения называется мультиколлинеарностью. При наличии мультиколлинеарности переменных по коэффициентам регрессии нельзя судить о влиянии этих переменных на функцию.

Надежность и значимость коэффициента регрессии

Для изучения "механизма" действия мультиколлинеарности на регрессионные коэффициенты рассмотрим выражение для дисперсии отдельного регрессионного коэффициента

Здесь обозначен коэффициент детерминации, получаемый при построении уравнения регрессии, в котором в качестве зависимой переменной взята переменнаяx^k. Из выражения видно, что величина коэффициента тем неустойчивее, чем сильнее переменнаяx_kсвязана с остальными переменными (чем ближе к единице коэффициент детерминации).

Величина 1-, характеризующая устойчивость регрессионного коэффициента, называется надежностью. В англоязычной литературе она обозначается словомTOLERANCE.

Дисперсия коэффициента позволяет получить статистику для проверки его значимости

.

Эта статистика имеет распределение Стьюдента. В выдаче пакета печатается наблюдаемая ее двусторонняя значимость - вероятность случайно при нулевом регрессионном коэффициенте B_kполучить значение статистики, большее по абсолютной величине, чем выборочное.