27. Система нормальных уравнений и явный вид её решения при оценивании методом наименьших квадратов (мнк) линейной модели парной регрессии (на примере модели Оукена).

Системой линейный нормальных уравнений называется следующая система алгебраических уравнений:

, где - матрица весов (матрица - матрица обратных весов или весовых коэффициентов).

Модель Оукена:

t=1,2,...

где x_t - темп прироста безработицы в году t,

y_t - темп роста ВВП.

Обозначения:

, , , - число уравнений наблюдений.

Системой нормальных уравнений данной системы называется следующая система линейных уравнений (для данной модели ):

, где , (27.1)

Для ЛМПР (в частности, модели Оукена) система нормальных уравнений (27.1) имеет следующий вид:

, решая данную систему методом Гаусса, получаем явный вид её решения:

- будет лучше, если вы её проверите. Для удобства можно перейти к средним величинам, тогда формулы приобретают вид:

, обратите внимание на разницу в записи и .

Предыдущая форма приводится к следующей системе:

28. Ковариационная матрица оценок коэффициентов линейной модели парной регрессии: явные выражения .

Рассмотрим следующую ЛМПР:

Соответственно:

, . Используя исходные определения, получаем:

Матрица , . Таким образом, справедливы равенства:

;

;

.

Вывод формул (для романтиков):

, соответственно

.

Выведем :

, что преобразовываем как:

,

далее:

.

Выведем :

, знаменатель равен (см. предыдущ.), получаем .

Выведем :

Осталось только подставить их в формулы: , и .

Ч.Т.Д.

29.Свойства мнк-оценок параметров линейной модели множественной регрессии (лммр) при нормальном векторе случайных остатков: независимость случайных векторов

Рассмотрим с учётом схемы Гаусса-Маркова в компактной форме и случайный вектор истинной ошибки оценки : (1)

или в компактном виде

Видно, что вектор является выходом линейного преобразования вектора . Следовательно, вектор имеет нормальный закон распределения с числовыми характеристиками

.

Значит, и вектор является нормально распределённым случайным вектором с числовыми характеристиками .

Теперь рассмотрим вектор

Подставим в это выражение (1)

(2)

или в компактной записи

Согласно (2) вектор тоже является выходом линейного преобразования вектора . Следовательно, и вектор имеет нормальный закон распределения. Его числовые характеристики

Для доказательства независимости нормально распределенных случайных величин необходимо и достаточно доказать, что эти векторы некоррелированны, т.е. что их взаимная ковариационная матрица нулевая:

30.Свойства мнк-оценок параметров линейной модели множественной регрессии (лммр) при нормальном векторе случайных остатков: закон распределение оценки .

(Внимание: нумерация формул идёт не по порядку)

Так как вектор случайных остатков имеет нормальный закон распределения, то и нормально распределённым будет случайный вектор . (8.86) Компоненты этого вектора имеют количественные характеристики

Образуем из этих компонент независимые стандартные нормально распределённые случайные переменные (8.90)

Рассмотрим величину ( - это эффективная линейная несмещенная оценка, обладающая свойством наименьших квадратов), она зависит от выборки , а значит, является случайной переменной.

Начнем с оценки вектора случайных остатков (8,79)

Представим этот вектор как выход линейного преобразования вектора . Для этого подставим в правую часть 8,79 правую часть и приведем подобные члены:

Здесь приняли обозначение

Теперь, в правую часть предпоследнего равенства подставляем правую часть и, раскрывая скобки, получаем искомое преобразование:

(8,81)

В компактном виде получаем _(8.81’)

С учетом 8,81 находим значение квадратичной формы ( )

_(8.82)

С учётом (8.82) и (8.86) получим

(8.89)

С учётом (8.89) и (8.90) получим:

(8.91)

Это значит, что при нормально распределённом векторе случайных остатков в схеме Гаусса-Маркова квадратичная форма (8.91) является случайной переменной, распределённой (с точностью до множителя ) по закону хи-квадрат с количеством степеней свободы К+1. Ч учётом этого утверждения, находим, что (8.92)

В силу (8.92) оценка дисперсии единицы веса тоже имеет с точностью до множителя закон распределения хи-квадрат с количеством степеней свободы n-(k+1):