
- •Проверка качества уравнения регрессии
- •Интервальные оценки коэффициентов линейного уравнения регрессии.
- •Проверка общего качества уравнения регрессии. Коэффициент детерминации .
- •Критерий Фишера (f-тест).
- •Прогнозирование в регрессионных моделях.
- •Интервалы прогноза по линейному уравнению регрессии.
- •Доверительный интервал для индивидуальных значений зависимой переменной.
- •Проверка значимости уравнения регрессии в случае множественной регрессии.
- •Статистическая значимость коэффициентов множественной линейной регрессии.
Проверка значимости уравнения регрессии в случае множественной регрессии.
Рассмотрим линейную модель множественной регрессии
.
Проверка значимости уравнения регрессии, как и для парной регрессии, осуществляется по F – критерию Фишера:
Сумма квадратов |
общая |
факторная |
остаточная |
|
|
| |
Степень свободы |
(k-1) |
n |
(k- n -1) |
;
;
.
или
.
Имеем
.
При
выполнении предпосылок метода наименьших
квадратов, построенная F-статистика
имеет распределение Фишера с числами
степеней свободы
,
,
то есть
.
Если при требуемом уровне значимости
следует
,
то объясненная дисперсия существенно
больше остаточной, а, значит, уравнение
регрессии качественно отражает изменение
результативного признакау.
Выразим F-статистику через коэффициент детерминации
,
тогда
или
,
с
другой стороны
,
откуда
.
Тогда
.
Для
линейного уравнения регрессии может
быть рассчитан также через
–
коэффициенты:
.
Статистическая значимость коэффициентов множественной линейной регрессии.
Точность
уравнения множественной регрессии в
конечном счете будут определять также
вариации оценок параметров
.
Для их измерения в многомерном
регрессионном анализе рассматривают
ковариационную матрицу вектора оценок
параметров
,
являющуюся матричным аналогом дисперсии
одной переменной:
,
где
элементы –
ковариации (или корреляционные моменты)
оценок параметров
и
.
=
,
поскольку оценки
,
полученные по методу наименьших
квадратов, являются несмещенными
оценками параметров
и
(
).
Рассматривая
ковариационную матрицу
,
можно заметить, что на ее главной
диагонали находятся дисперсии оценок
параметров регрессии:
.
(1)
Построим дисперсионно – ковариационную матрицу. Ранее мы получили
,
(2)
где
– теоретические значения,
– вектор оценок параметров. Подставим
в
уравнение (2):
или
.
Теперь
можно получить матрицу
.
=
=
=
=
=
=
=
=
==
=,
При
выводе учли, что
.
Поскольку элементы матрицы
– неслучайные величины, мы при
преобразованиях вынесли их за знак
математического ожидания. В итоге
получим:
=
.
(3)
Итак,
с помощью обратной матрицы определяется
не только сам вектор
,
но и дисперсии и ковариации его компонент.
На основании (1) можно записать следующее:
,
(4)
где
– j
–ый диагональный элемент матрицы
.
Поскольку
истинное значение дисперсии по выборке
определить невозможно, оно заменяется
соответствующей оценкой
.
Таким
образом,
.
Величины
или
называются
стандартными ошибками коэффициентов
регрессии.
По
аналогии с парной регрессией после
определения оценок могут
быть рассчитаны интервальные оценки
указанных коэффициентов
.
Доверительный интервал, который с
надежностью (
)
накрывает определенный параметр
:
,
где
находится
по таблице распределения Стьюдента с
числом степеней свободы
.
Статистическая значимость коэффициентов множественной линейной регрессии с n объясняющими переменными (факторами) проверяется на основе t-статистики:
,
имеющей
распределение Стьюдента с числом
степеней свободы
,
гдеk
− число наблюдений. Если
,
то коэффициент
считается
статистически значимым. В противном
случае коэффициент
считается
статистически незначимым (статистически
близким к нулю), то есть фактор
линейно не связан с зависимой переменнойу
и его можно исключить из набора объясняющих
переменных (факторов).
Доверительный интервал имеет смысл строить только для значимого коэффициента регрессии.
Формально переменные, имеющие незначимые коэффициенты регрессии, могут быть исключены из рассмотрения. В экономических исследованиях исключению переменных должен предшествовать содержательный анализ: может целесообразным все же оставить какие-нибудь переменные.
Следует подчеркнуть, что статистическая значимость коэффициентов регрессии и значимость регрессии в целом по критерию Фишера гарантируют высокое качество уравнения регрессии только при выполнимости необходимых предпосылок метода наименьших квадратов.
Оценивая линейное уравнение регрессии, мы полагали, что реальная взаимосвязь переменных линейна, а отклонения от регрессионной прямой являются случайными, независимыми друг от друга величинами с нулевым математическим ожиданием и постоянной дисперсией (гомоскедастичность). Кроме того ошибки имеют нормальное распределение (особенно это важно для случая множественной линейной регрессии). Выполнимость данной предпосылки важна для проверки статистических гипотез и построения интервальных оценок.