8. Оценка значимости отдельных факторов множественной регрессии

Возможны два подхода:

1) на основе вычисления с использованием t-распределения Стьюдента доверительных интервалов для полученных оценок параметров регрессии и признания фактора незначимым, если этот интервал содержит 0;

2) путем проверки значимости с помощью т.н. частного F – критерия

При первом подходе доверительные интервалы для истинных, неизвестных нам параметров множественной регрессии β_k, k = 0,1...p находятся из уравнения

, k = 0,1...p

где s² – ПОСК,

S = (X^TX), а - обратная матрица, получаемая путем вычеркивания к-го столбца и к-ой строки матрицы S

t_n-p(α) – табличное значение распределения Стъюдента с (n-p) степенями свободы и уровнем значимости α,

X – матрица исходных данных (7.4)

Второй подход основывается на следующем. Из выражения для коэффициента детерминации множественной регрессии следует

Если разделить числитель и знаменатель последнего выражения на соответствующее число степеней свободы, то получим соотношение, связывающее коэффициент детерминации с критериальной статистикой F

(8.1)

для множественной регрессии важным является не только значимость в целом, но и целесообразность включения того или иного фактора в модель. Для этого используется понятия частного F-критерия

, (8.2)

где - частный коэффициент детерминации.

Последний вычисляется как и обычный, но из исходной выборки исключается фактор х_m.

Выражение (8.2) по структуре похоже на (8.1) за исключением числа степеней свободы в знаменателе, что и понятно, поскольку речь идет о включении или, наоборот, исключении только одного фактора. Кроме того, в числителе стоит разность между общим и частным индексом детерминации, показывающая насколько уменьшается объясняемая регрессией доля вариации результирующего признака при исключении фактора m. Очевидно, что если исключение фактора m незначительно уменьшит в сравнении с R², то это означает, что данный фактор оказывает слабое влияние на у и его включение в модель скорее всего нецелесообразно. Для формализации процедуры отбора факторов в модель

вычисленное значение частного F-критерия сравнивается с табличным F_1,n-p-1(α). При F_m > F_1,n-p-1(α) включение m-го фактора в модель целесообразно, при F_m < F_1,n-p-1(α) – нет. Специфика множественной регрессии еще и в том, что приходится учитывать очередность включения факторов в модель. Одним из путей решения этой проблемы является вычисление по исходным данным корреляционной матрицы вида

(8.3)

На главной диагонали этой симметрической (поскольку ) матрицы находятся 1. В первую очередь в модель включаются факторы, имеющие наибольший коэффициент корреляции с результирующим признаком. Кроме того, по матрице (8.3) легко обнаруживаются коррелированные между собой факторы. Значимость отличия коэффициента корреляции r от нуля оценивается с помощью статистики

(8.4)

При ‌‌‌‌t ‌ > t_n-2(α)‌‌ гипотеза о равенстве нулю соответствующего коэффициента корреляции отвергается.

Связь между факторами множественной регрессии получила название - мультиколлинеарность. Существует критерий определения ее по определителю подматрицы (8.4)

(8.5)

Действительно, при отсутствии связей между факторами все недиагональные элементы матрицы (8.5) равны нулю, определитель Det(R) – единице. В случае 100-процентной связи между факторами все элементы матрицы (8.5) равны 1, а определитель – нулю. Следовательно чем ближе Det(R) к единице, тем слабее мультколлинеарность.

Доказано, что при отсутствии мультиколлинеарности величина (8.6)

имеет стандартное распределение (хи-квадрат) с степенями свободы, где n – число экспериментальных данных. В случае, если вычисленное значение критериальной статистики (8.6) окажется больше соответствующего табличного значения , наличие мультиколлинеарности считается доказанным.

Рассматривая поочередно факторы модели в качестве зависимой переменной от остальных факторов и подсчитывая соответствующий коэффициент множественной детерминации, можно установить факторы, «отвечающие» за это по величине соответствующего коэффициента. Чем больше величина такого коэффициента множественной детерминации, тем больший «вклад» в мультиколлинеарность вносит этот фактор.

Самый простой путь устранения мультиколлинеарности это исключение факторов с наибольшими коэффициентами множественной детерминации из модели. Другой подход связан с преобразованием факторов, при котором уменьшается связь между ними. Например, переход от исходных переменных к их линейным комбинациям, не коррелированных друг с другом (метод главных компонент). Возможен переход к т.н. совмещенным уравнениям регрессии, отражающих влияние на результирующий признак не только факторов, но и их комбинаций. Например при трех факторах х₁, х₂,х₃ рассматривается совмещенное уравнение регрессии