Вопрос 5. Ковариационная матрица оценок коэффициентов регрессии.

Несмещенность оценок коэффициентов регрессии

Оценка называется несмещенной,если ее математическое ожидание равняется истинному значению. С учетом (3.1') следующая цепочка равенств является очевидной:

.(3.6)

Математическое ожидание от крайних членов (3.6) есть

. (3.7)

Обратим внимание на то, что вектор истинных значений коэффициентов регрессии а, присутствующих в модели, является неслучайным. Неслучайными являются также и значения базисных функций в точках наблюдений в силу неслучайностиХ, так чтоFможно выносить за знак математического ожидания. Таким образом,, что доказывает несмещенность оценки.

Ковариационная матрица оценок коэффициентов регрессии

По определению .С учетом несмещенностиполучаем.Из (3.6) видно, что= . Следовательно,

Итак,

. (3.8)

Матрицу С=называютдисперсионной, поскольку ее диагональные элементы пропорциональны дисперсиям оценок коэффициентов регрессии.

Если значение известно, то можно определить дисперсии оценок отдельных коэффициентов:

²() =, (3.9)

где ­− диагональный элемент дисперсионной матрицы.

Вопрос 6. Оценка дисперсии случайного возмущения по уравнению регрессии.

Оценка случайного компонента содержится, надо ожидать, в векторе невязок. Действительно,

где I_N­ − единичная матрица сNединицами по диагонали.

Выходит, есть линейная комбинация “истинных”, ненаблюдаемых, возмущенийu.

Обозначим .Легко показать, что, так что матрицаG является идемпотентной. Отсюда остаточная сумма квадратов есть:

.

есть квадратичная форма относительно uи может быть записана как, гдеg_ij– элементы матрицыG.

– величина случайная с математическим ожиданием

.

М[uⁱu^j] есть ковариация между возмущениями в точкахiиjи согласно предпосылке 5 (п.3.1) равняется 0 приi  jи²приi=j.Следовательно, под знаком суммы останутся лишь диагональные элементыg_iiматрицыG, то есть ее след (обозначаетсяSp либоtr):

=.

Поскольку I_N– единичная матрица, то. Известно, чтоSpAB= SpBA.Обозначая и, получим:

.

В итоге, М[] = σ²(N – (k+1)).Выходит, величина

(3.10)

является несмещенной оценкой σ². Величину [N-(k+1)] называютчислом степеней свободы(ЧСС).

Оценка дисперсии равняется (см.(3.9)):

.(3.11)

Вопрос 7. Статистический анализ уравнения регрессии.

1. 3.3. Статистический анализ уравнения регрессии

Оценка МНК является статистикой, величиной случайной. Один и тот же набор Хприводит к разным значениямиз-за случайных возмущений и, как следствие, к разным значениям оценки.

С учетом введенных предпосылок рассмотрим вначале статистические свойства оценок коэффициентов регрессии.

1. 3.3.1. Несмещенность оценок коэффициентов регрессии

Оценка называется несмещенной,если ее математическое ожидание равняется истинному значению. С учетом (3.1') следующая цепочка равенств является очевидной:

.(3.6)

Математическое ожидание от крайних членов (3.6) есть

. (3.7)

Обратим внимание на то, что вектор истинных значений коэффициентов регрессии а, присутствующих в модели, является неслучайным. Неслучайными являются также и значения базисных функций в точках наблюдений в силу неслучайностиХ, так чтоFможно выносить за знак математического ожидания. Таким образом,, что доказывает несмещенность оценки.