Система нормальных уравнений и явный вид её решения при оценивании методом наименьших квадратов (мнк) линейной модели парной регрессии (на примере модели Оукена).
Модель Оукена:
Из
выражения
видно, что оценка
,
доставляемая процедурой ОМНК, может
быть вычислена в процессе решения
системы из k+1
линейных алгебраических уравнений с
k+1
неизвестными:
(8,48)
Эта система называется системой нормальных уравнений. Вот ее подробная запись для модели парной регрессии
8,1’
при
=> в ситуации процедуры
МНК:
8,48’
Коэффициенты и свободные члены этой системы, образующие соответственно матрицу
(8,49)
и вектор
(8.50)
вычисляем по правилам:
(8,51)
Вот явный вид решения системы (8,48’):
(8,52)
Ковариационная матрица оценок коэффициентов линейной модели парной регрессии: явные выражения .
Рассмотрим выражение 8,23
(8,23)
при k=1. Учитывая (8,49)
(
(8,49)
-это матрица, образованная коэффициентами и свободными членами системы
выражения
)
получаем:
Свойства оценок Эйткена параметров линейной модели множественной регрессии (лммр) при нормальном векторе случайных остатков: независимость случайных векторов .
Теорема: пусть в линейной модели множественной регрессии справедливы все предпосылки т.Гаусса-Маркова-Эйткена и, кроме того,случайный остаток имеет нормальный закон распределения, тогда случайные векторы являются нормально распределёнными и независимыми.
Доказательство:
,
,
(1),
(2),
(3).
(4),
т.к.
.
Видим,что
- линейное преобразование нормально
распределённого
значит
является нормально распределённой и
.
(5).
(6).
Т.е.
- линейное преобразование
,а
значит
также
является нормально распределённым
сл.вектором. подчеркнём, что
(7). Значит для доказательства независимости
и
достаточно показать равенство нулю их
взаимной ковариационной матрицы:
(8). Проверка (8) прямо следует из (4) и (6).
ЧТД,
Свойства оценок Эйткена параметров линейной модели множественной регрессии (лммр) при нормальном векторе случайных остатков: распределение оценки .
Теорема: пусть в линейной модели множественной регрессии справедливы все предпосылки т.Гаусса-Маркова-Эйткена и, кроме того, случайный остаток имеет нормальный закон распределения, тогда случайные векторы являются нормально распределёнными и независимыми.
Доказательство: , , (1), (2), (3).
(4), т.к. .
Видим,что
- линейное преобразование нормально
распределённого
значит
является нормально распределённой и
.
(5).
(6).
Т.е. - линейное преобразование ,а значит также является нормально распределённым сл.вектором. подчеркнём, что (7). Значит для доказательства независимости и достаточно показать равенство нулю их взаимной ковариационной матрицы: (8). Проверка (8) прямо следует из (4) и (6). ЧТД,
Теорема: пусть в линейной модели множественной регрессии справедливы все предпосылки т.Гаусса-Маркова-Эйткена и, кроме того,случайный остаток имеет нормальный закон распределения, тогда оценки имеет следующее распределение:
Доказательство:
Рассмотрим величину
(это
- это эффективная линейная несмещенная
оценка, обладающая свойством наименьших
квадратов), она зависит от выборки
,
а значит, является случайной переменной.
Начнем с оценки вектора случайных остатков (8,79)
Представим
этот вектор как выход линейного
преобразования вектора
.
Для этого подставим в правую часть 8,79
правую часть
и приведем подобные члены:
Здесь приняли обозначение
Теперь,
в правую часть предпоследнего равенства
подставляем правую часть
и, раскрывая скобки, получаем искомое
преобразование:
(8,81)
В компактном виде получаем
(8,81’)
С учетом 8,81 находим значение квадратичной
формы
(
)
Возьмем за данное, что
(8,83)
Теперь согласно тому, что
и
равенству 8,83 и свойств операций с E
где
из равенства 8,82 следует требуемое доказательство равенства. Задача решена.