Проверка значимости уравнения регрессии в случае множественной регрессии.

Рассмотрим линейную модель множественной регрессии

.

Проверка значимости уравнения регрессии, как и для парной регрессии, осуществляется по F – критерию Фишера:

Сумма квадратов	общая	факторная	остаточная
Степень свободы	(k-1)	n	(k- n -1)

; ;.

или .

Имеем .

При выполнении предпосылок метода наименьших квадратов, построенная F-статистика имеет распределение Фишера с числами степеней свободы ,, то есть. Если при требуемом уровне значимостиследует , то объясненная дисперсия существенно больше остаточной, а, значит, уравнение регрессии качественно отражает изменение результативного признакау.

Выразим F-статистику через коэффициент детерминации

, тогда или,

с другой стороны , откуда.

Тогда .

Для линейного уравнения регрессии может быть рассчитан также через – коэффициенты: .

Статистическая значимость коэффициентов множественной линейной регрессии.

Точность уравнения множественной регрессии в конечном счете будут определять также вариации оценок параметров . Для их измерения в многомерном регрессионном анализе рассматривают ковариационную матрицу вектора оценок параметров, являющуюся матричным аналогом дисперсии одной переменной:

,

где элементы – ковариации (или корреляционные моменты) оценок параметрови.

=, поскольку оценки , полученные по методу наименьших квадратов, являются несмещенными оценками параметрови().

Рассматривая ковариационную матрицу , можно заметить, что на ее главной диагонали находятся дисперсии оценок параметров регрессии:

. (1)

Построим дисперсионно – ковариационную матрицу. Ранее мы получили

, (2)

где – теоретические значения,– вектор оценок параметров. Подставимв уравнение (2):

или .

Теперь можно получить матрицу .

== == ==

= =

==

=,

При выводе учли, что . Поскольку элементы матрицы – неслучайные величины, мы при преобразованиях вынесли их за знак математического ожидания. В итоге получим:

=. (3)

Итак, с помощью обратной матрицы определяется не только сам вектор , но и дисперсии и ковариации его компонент.

На основании (1) можно записать следующее:

, (4)

где – j –ый диагональный элемент матрицы .

Поскольку истинное значение дисперсии по выборке определить невозможно, оно заменяется соответствующей оценкой .

Таким образом, .

Величины илиназываются стандартными ошибками коэффициентов регрессии.

По аналогии с парной регрессией после определения оценок могут быть рассчитаны интервальные оценки указанных коэффициентов . Доверительный интервал, который с надежностью () накрывает определенный параметр:

,

где находится по таблице распределения Стьюдента с числом степеней свободы .

Статистическая значимость коэффициентов множественной линейной регрессии с n объясняющими переменными (факторами) проверяется на основе t-статистики:

,

имеющей распределение Стьюдента с числом степеней свободы , гдеk − число наблюдений. Если , то коэффициент считается статистически значимым. В противном случае коэффициент считается статистически незначимым (статистически близким к нулю), то есть фактор линейно не связан с зависимой переменнойу и его можно исключить из набора объясняющих переменных (факторов).

Доверительный интервал имеет смысл строить только для значимого коэффициента регрессии.

Формально переменные, имеющие незначимые коэффициенты регрессии, могут быть исключены из рассмотрения. В экономических исследованиях исключению переменных должен предшествовать содержательный анализ: может целесообразным все же оставить какие-нибудь переменные.

Следует подчеркнуть, что статистическая значимость коэффициентов регрессии и значимость регрессии в целом по критерию Фишера гарантируют высокое качество уравнения регрессии только при выполнимости необходимых предпосылок метода наименьших квадратов.

Оценивая линейное уравнение регрессии, мы полагали, что реальная взаимосвязь переменных линейна, а отклонения от регрессионной прямой являются случайными, независимыми друг от друга величинами с нулевым математическим ожиданием и постоянной дисперсией (гомоскедастичность). Кроме того ошибки имеют нормальное распределение (особенно это важно для случая множественной линейной регрессии). Выполнимость данной предпосылки важна для проверки статистических гипотез и построения интервальных оценок.

17