Геометрическая иллюстрация зависимости точности прогноза от расстояния до средней точки

Рис. 4.1

Для удобства иллюстрации рассмотрим случай  = 2. На рис. 4.1 видно, что длина доверительного интервала возрастает по мере удаления прогнозных значений от и, следовательно, ухудшается качество прогноза.

Некоторые обобщения мнк Обобщенный мнк

Напомним, что в случае стандартного МНК система нормальных уравнений (4.16) записывается как условие ортогональности:

. (4.54)

При этом само понятие ортогональности однозначно определяется заданием скалярного произведения:

В случае стандартного МНК скалярное произведение определяется равенством и решается задача .

В случае обобщенного МНК используется обобщенное скалярное произведение:

(4.55)

где, для того чтобы выполнялись все аксиомы скалярного произведения, предполагаются выполненными следующие условия:

1. симметричность матрицы :

; (4.56)

2. положительная определенность матрицы :

для любого и . (4.57)

Замечание. Необходимые и достаточные условия положительной определенности дает критерий Сильвестра:

Пусть – последовательность главных миноров матрицы , тогда условие

(4.58)

является необходимым и достаточным для положительной определенности матрицы .

Таким образом, решением задачи

(4.59)

является вектор удовлетворяющий условию

, (4.60)

и система нормальных уравнений обобщенного МНК принимает вид

. (4.61)

При условии существования обратной матрицы окончательно получаем

. (4.62)

Таким образом,

1) при = имеем стандартный МНК: ;

2) при , где имеем взвешенный МНК: .

Замечание. Оценки обобщенного МНК (в предположении, что условия Гаусса–Маркова выполняются) обладают следующими свойствами:

1. линейность;

2. несмещенность;

3. состоятельность (при некоторых естественных дополнительных условиях).

Свойством эффективности оценки (4.62), вообще говоря, не обладают.

Найдем ковариационную матрицу оценок (4.62):

= =

= =

= =

= (4.63)

где – ковариационная матрица случайных возмущений.

Используя диагональные элементы этой матрицы, так же как и в случае стандартного МНК, можем получить интервальные оценки параметров регрессии, а также интервальный прогноз.

Покажем, что оценка (4.62) является эффективной, если

. (4.64)

Представим матрицу в виде

(4.65)

где – обратимая матрица (возможность такого представления устанавливается в линейной алгебре).

Умножим обе части равенства

(4.66)

на матрицу слева: . Обозначая

, , , (4.67)

получаем

(4.68)

Отметим, что  =   =  .

Таким образом, для модели (4.68) оценка стандартного МНК

(4.69)

обладает свойством эффективности, т.е. , имеют минимальную дисперсию в классе всех линейных несмещенных оценок.

Используя равенства (4.67), преобразуем правую часть (4.69), возвращаясь к исходным переменным:

Таким образом, оценка (4.62) является эффективной для модели (4.66) с ковариационной матрицей .

Взвешенный мнк

В частном случае имеем , поэтому оценка

(4.70)

является наилучшей линейной несмещенной оценкой взвешенного МНК, при применении которого минимизируется взвешенная сумма квадратов остатков:

=

= .

Взвешенный МНК дает, в частности, теоретическое решение проблемы гетероскедастичности (см. раздел 5.2).