Идентификация модели
Далее будем считать выполненными следующие условия Гаусса – Маркова:
1)
;
2)
(это условие гомоскедастичности
возмущения, дисперсия случайных остатков
не зависит от номера наблюдения);
3)
(это условие отсутствия автокорреляции
возмущений);
4)
;
5)
.
Как и в случае парной регрессии, для нахождения оценок параметров модели применяется МНК:
(4.5)
где
– оценка параметра
.
Система нормальных уравнений записывается как необходимое условие локального минимума:
(4.6)
Обозначим через
(4.7)
решение системы (4.6). Достаточные условия глобального минимума здесь выполняются, поэтому является и решением задачи (4.5).
Геометрическая интерпретация метода наименьших квадратов
Включение
в регрессионную модель
объясняющих переменных
усложняет получаемые формулы и вычисления.
Это приводит к целесообразности
использования матричных обозначений.
Матричное описание регрессии облегчает
как теоретические концепции анализа,
так и необходимые расчетные процедуры.
Введем обозначения:
(4.8)
– матрица
наблюдаемых значений объясняющих
переменных (первый столбец вводится
для удобства). Матрица
имеет размерность
.
Один столбец матрицы
– это вектор значений одной из объясняющих
переменных, в частности, начальный
столбец из единиц – это вектор значений
независимой переменной
,
коэффициентом при которой является
свободный член
.
Предполагается, что модель справедлива для каждого выборочного наблюдения, поэтому уравнений (4.1) целесообразно назвать выборочными уравнениями. Введем следующие обозначения:
вектор-столбец параметров модели (коэффициентов)
; (4.9)
вектор-столбец наблюдаемых значений объясняемой переменной,
:
; (4.10)
вектор-столбец вычисленных по модели значений объясняемой переменной
; (4.11)
вектор-столбец оценок МНК параметров модели множественной регрессии
. (4.12)
Уравнения (4.3) можно записать в матричной форме:
. (4.13)
Реализация МНК приводит к условиям ортогональности (ср. с п. 3.8):
, (4.14)
где – -й столбец матрицы .
Все условия ортогональности (4.14) можно записать в матричной форме:
, (4.15)
получая таким образом систему нормальных уравнений (СНУ) для множественной линейной регрессии. Далее получаем
. (4.16)
В
предположении о невырожденности матрицы
,
из (4.16)
следует равенство для вектора оценок
:
. (4.17)
Свойства точечных оценок мнк
1) Линейность (по отношению к наблюдениям).
Обозначим
. (4.18)
Тогда
, (4.19)
т.е. свойство линейности оценок МНК по отношению к наблюдениям в многомерном случае тоже имеет место.
Нарушение
условия
приводит к проблеме мультиколлинеарности.
Матрица
имеет
обратную тогда и только тогда, когда
столбцы матрицы
линейно независимы. В случае линейной
зависимости столбцов матрицы
хотя бы один из столбцов линейно
выражается через остальные.
Замечание.
Матрица
обладает свойством симметричности:
.
Действительно,
((
)-1)T
= (
(
)T)1
= (
)1.
2)
Несмещенность:
=
.
Действительно,
. (4.20)
Здесь использовано условие 1 Гаусса–Маркова.
3) Эффективность: минимальность дисперсии в классе линейных несмещенных оценок.
Возьмем произвольную линейную несмещенную оценку
, (4.21)
где
В
– произвольная матрица (ее всегда можно
представить как возмущение матрицы
:
).
Матрицу
необходимо определить таким образом,
чтобы выполнялись условия несмещенности
оценки (4.21) и минимальности ее дисперсии.
Используем условие несмещенности:
=
=
=
=
. (4.22)
Отсюда следует, что
. (4.23)
Для
нахождения дисперсий компонент вектора
строим ковариационную матрицу
,
главную диагональ которой образуют
упомянутые дисперсии:
Далее,
подставляя
получаем с учетом (4.23)
(4.24)
Теперь
остается определить, при какой матрице
диагональные элементы матрицы
будут
минимальны. Обозначая элементы матрицы
через
и
вычисляя произведение
,
получаем
Отсюда
следует, что для минимальности дисперсий
компонент вектора
,
необходимо, чтобы матрица F
была нулевой. Таким образом, минимальной
дисперсией обладают оценки с матрицей
В =
,
т.е. оценки МНК.
Вычислим дисперсию конкретного коэффициента. Из (4.24) следует, что
(4.25)
и,
таким образом, дисперсия коэффициента
определяется равенством
,
(4.26)
где
,
или
,
(4.27)
Как правило, истинное значение дисперсии случайного отклонения неизвестно, поэтому используется ее выборочная оценка:
. (4.28)
Отсюда получаем выборочную оценку дисперсии коэффициента :
(4.29)
Интервальные оценки коэффициентов множественной регрессии, полученные с помощью МНК
Теоретические интервальные оценки
Вследствие
линейности и несмещенности оценок и
условия
(если оно выполняется) оценка параметра
имеет нормальное распределение:
.
Отсюда получаем теоретическую интервальную
оценку
, (4.30)
где – двустороннее критическое значение стандартного нормального распределения ( – уровень значимости).
Практические интервальные оценки
Оценкой
дисперсии конкретного коэффициента
служит
,
где
,
поэтому практическая интервальная оценка коэффициента имеет вид
,
(4.31)
где
– двустороннее критическое значение
распределения Стьюдента с
степенями
свободы,
– уровень значимости, оценка
определяется равенством (4.29).
Оценка качества модели линейной множественной регрессии
Оценка значимости коэффициентов линейной множественной регрессии (t - тест)
Относительно каждого из параметров регрессии проверяются следующие гипотезы:
:
– коэффициент не значим (объясняющая
переменная
не оказывает значимого влияния на
);
:
– коэффициент значим (объясняющая
переменная
оказывает значимое влияние на
).
При построении критерия для проверки сформулированных гипотез будем опираться на классическое предположение о нормальном распределении случайной составляющей: .
Введем статистику критерия ( -статистику коэффициента):
,
. (4.32)
Эта статистика имеет распределение Стьюдента с степенями свободы.
Правило проверки гипотезы о значимости коэффициента формулируется следующим образом:
Если
<
,
то при уровне значимости
принимается гипотеза
.
Если > , то при уровне значимости принимается гипотеза .