4. Теорема Гаусса-Маркова

Теорема Гаусса - Маркова гласит, что при выполнении пред­посылок (2) - (5) оценка параметров множественной рег­рессии, полученная при применении метода наименьших квад­ратов, , является наиболее эффективной, т. е. обладает наименьшей дисперсией в классе линейных несме­щенных оценок (Best Linear Unbiased Estimator — BLUE).

Докажем несмещенность МНК-оценок.

Найдем математическое ожидание оценок параметров мно­жественной линейной регрессии. Используем формулу (9), разложив величину на неслучайную и случайную составля­ющие:

.

Раскроем скобки внутри выражения под знаком матема­тического ожидания. Математическое ожидание суммы пе­ременных равно сумме математических ожиданий каждой переменной:

.

В первом слагаемом произведение матриц дает единичную матрицу , во втором слагаемом выражение можно вынести за скобки как неслучайную вели­чину, а математическое ожидание случайных остатков равно нулю (условие 1). Таким образом, имеем выражение

, (15)

где - единичная матрица.

Несмещенность МНК-оценок доказана. Отметим, что из вы­ражения (15) следует, что

. (16)

Так как оценки параметров уравнения множественной рег­рессии могут варьировать, можно оценить их дисперсию и ковариацию, обобщив полученные данные в ковариационной матрице оценок параметров уравнения регрессии

(17)

Заметим, что в матрице (17) нумерация строк и столбцов начинается с нуля. Нулевые строка и столбец введены для уче­та свободного члена уравнения регрессии и соблюдения нуме­рации коэффициентов регрессии.

Ковариация двух оценок параметров и рассчитывает­ся по формуле

. (18)

Из формулы (18) следует, что ковариация оценки параме­тра с самой собой равна ее дисперсии:

.

В матричной форме ковариационную матрицу оценок па­раметров уравнения регрессии можно записать в виде

. (19)

Преобразуем выражение (19) с учетом выражения (16):

В полученном выражении случайным является только про­изведение , математическое ожидание остальных множите­лей как детерминированных величин равно им самим. Таким образом, имеем выражение

. (20)

В выражении (20) сомножители, стоящие до математического ожидания, можно представить в виде

,

где .

Математическое ожидание представляет собой ко­вариационную матрицу случайных остатков вида

,

или

. (21)

В силу условия Гаусса - Маркова о равенстве математиче­ского ожидания случайных остатков нулю (условие 1), а так­же постоянстве дисперсии случайных остатков (условие 2), получаем выражения

;

.

Согласно условию Гаусса - Маркова о независимости слу­чайных остатков (условие 3) элементы матрицы (21), не сто­ящие на главной диагонали, равны нулю, т.е. матрица явля­ется скалярной:

,

где — единичная матрица порядка .

Вернувшись к рассмотрению ковариационной матрицы оценок параметров уравнения регрессии, получим выражение

. (22)

Ha главной диагонали матрицы находятся дисперсии параметров уравнения множественной регрессии. Их величи­ны используются для оценки значимости указанных парамет­ров. Отметим, что в выражении (22) дисперсия случайных остатков неизвестна и должна быть оценена по имеющимся у исследователя данным. Можно показать, что несмещенная оценка дисперсии случайных остатков , которая обозначается как , равна

, (23)

где — количество наблюдений; — количество параметров в урав­нении регрессии без учета свободного члена.

Таким образом, ковариационная матрица оценок парамет­ров уравнения множественной регрессии будет иметь вид

, (24)

а дисперсия оценки параметра ( при при ), являющаяся диагональным элементом матри­цы , может быть оценена по формуле

, (25)

где - элемент матрицы .

Можно показать, что оценки параметров уравнения мно­жественной регрессии и их дисперсии при выполнении условия о распределении остатков по нормальному закону (условие 5) являются независимыми.