3. Свойства оценки по методу наименьших квадратов в задаче линейной регрессии.

Пусть известно, что выполняется (9.1), тогда наблюдение имеет вид:

, …, ,

(9.4)

Будем дополнительно предполагать, что случайные величины , …,имеют следующие свойства:

, ; , ; , ,.

(9.5)

Предположим, что на основании результатов предыдущего пункта получена оценка по методу наименьших квадратов . Оценка, зависящая от наблюдения, является векторной случайной величиной, поэтому возникает вопрос о свойствах оценкии о том каким образом связаны между собой оценкаи неизвестный вектор параметров.

Теорема 9.3.

Если в задаче линейной регрессии (9.1)-(9.5) , тогда:

1) оценка является несмещенной оценкой:;

2) если несмещенная и линейная по наблюдениюоценка, тогда:

,

.

то есть компоненты в оценкеимеют наименьшую дисперсию среди всех несмещенных и линейных по наблюдениюоценок.

3) дисперсионная матрица оценкиимеет вид:

.

Доказательство:

1) Из (9.2) и (9.4) следует:

,

где вектор столбец и вектор столбец. Отсюда следует, что:

.

В силу условия (9.5) пункт 1 , тогда:

.

Дисперсионная матрица вектора:

.

В силу условия (9.5) пункты 2 и 3 диагональные элементы (), остальные элементы(,), тогда:

,

где – единичная матрица порядка.

2) Поскольку , то из (9.3) (утверждение 9.2 пункт 2) следует, тогда математическое ожидание:

.

Таким образом, оценка по методу наименьших квадратов является несмещенной оценкой.

3) Поскольку , то(утверждение 9.2 пункт 2) и как легко видеть оценкалинейно зависит от. Покажем, среди всех несмещенных и линейных пооценоккомпонентыв оценкеимеют наименьшую дисперсию, для этого рассмотрим произвольную несмещенную и линейную пооценкуи покажем, что дисперсиикомпонентоказываются минимальными только тогда, когда оценкасовпадает с оценкой по методу наименьших квадратов.

Пусть – произвольная несмещенная и линейная пооценка, тогда:

,

где – некоторая матрица порядка. Из условия несмещенности оценкиследует:

,

причем равенство должно быть справедливо для произвольного , это возможно тогда и только тогда, когда:

(9.6)

где – единичная матрица порядка.

Вычислим дисперсионную матрицу оценки:

.

(9.7)

Диагональные элементы дисперсионной матрицы являются дисперсиями компонент вектора:

,

.

Какова должна быть матрица , чтобы с одной стороны выполнялось равенство (9.6) (которое следует из требования несмещенности) и с другой стороны диагональные элементыбыли как можно меньше? Покажем, что матрицадолжна быть равна матрице, при которой получается оценка по методу наименьших квадратов.

Пусть для матрицы выполняется (9.6), рассмотрим квадрат разности:

.

Таким образом, если для справедливо (9.6), тогда:

В правой части от матрицы зависит только второе слагаемое, поэтому диагональные элементыпринимают наименьшее значение, когда наименьшее значение принимают диагональные элементы матрицы.

Пусть , заметим, что диагональный элемент в-ой строке матрицыесть сумма квадратов элементов расположенных в-ой строке матрицы:

.

Сумма квадратов будет минимальна, если все элементы равны нулю, отсюда во всех строках все элементы матрицы должны быть равны нулю (– матрица порядкасостоящая из нулей):

.

Легко видеть, что , то есть матрицаудовлетворяет (9.6). Таким образом, среди всех матриц, удовлетворяющих (9.6), только при матрицедиагональные элементы матрицы, то есть дисперсии, принимают наименьшие значения, но приоценкастановится оценкой по методу наименьших квадратов. Таким образом, каждая компонентав оценкеимеет наименьшую возможную дисперсию среди всех несмещенных и линейных пооценок.

3) Если , тогдаи из (9.7) непосредственно следует, что:

.

Поскольку , то матрицасимметричная. Обратная матрица всякой симметричной матрицы тоже симметрична, поэтому– симметричная матрица, то есть, тогда:

.

Теорема доказана.