Следствие из теоремы Гаусса-Маркова – Эйткена: взвешенный метод наименьших квадратов (вмнк). Практическая реализация вмнк.
Если случайные возмущения в уравнениях наблюдений (9.5) некоррелированны, но гетероскедастичны, то оптимальная линейная процедура оценивания параметров линейной модели множественной регрессии именуется взвешенным методом наименьших квадратов и задаётся формулами (9.34), (9.40) , (9.41), (9.42) и (9.45).
.
(9.34)
M = , (9.40)
. (9.41)
.
(9.42)
,
(9.45)
Для
практики полезно из контекста только
что проведённого доказательства выделить
ещё один частный случай процедуры (9.34)
Эйткена. В этом частном случае, именуемом
взвешенным методом наименьших квадратов
(ВМНК), матрица
является диагональной, но
.
Это означает, что предпосылка (9.19)
справедлива, а предпосылка (9.18) – нет,
так что (т.е. остатки негомоскедастичные,
но некоррелированные)
. (9.42) Введем здесь обозначение
,
i =1, 2, …, n.
(9.43)
(Согласно
предложенной Гауссом терминологии
константа qi
называется весом случайной переменной
ui.
Понятие веса случайной переменной
позволяет дать следующую интерпретацию
констатны
- это дисперсия такой случайной
переменной, вес которой равен единице;
иногда такую случайную переменную
именуют единицей веса). С учётом
(9.42) и обозначения (9.43) матрица
в процедуре (9.34) Эйткета оказывается
диагональной,
,
(9.44)в свою очередь, формула
(9.39) упрощается,
,
(9.45)а свойство (9.36) обощённых
наименьших квадратов, справедливое для
оценки Эйткена (9.34), трансформируется
в свойство взвешенных наименьших
квадратов,
(9.36)’
Следствие из теоремы Гаусса-Маркова – Эйткена: метод наименьших квадратов (мнк) или теорема Гаусса-Маркова
Следствие из теоремы Гаусса-Маркова – Эйткена: метод наименьших квадратов (МНК) или теорема Гаусса-Маркова.
Предпосылки
Оценки 3,5,6 утверждения А теоремы ГМЭ – коэффициенты функции регрессии обладают
(
(3,5,6)
где
Q – f(X,
)
– некоторая статистическая процедура
или
наилучшая оценка вектора а вычисленная по 3,5,6)
замечательным свойством наименьших квадратов
(3,5,9)
Это свойство ойенки 3,5,6 является причиной общепринятого названия процедуры 3,5,6 : МНК.
Откажемся от предпосылок 3,5,3 и 3,5,4, полагая, что в уравнениях наблюдений
(3,5,1)
вектор случайных остатков обладает произвольной ковариационной матрицей
где
- матрица весовых коэффициентов,
- дисперсия единичного веса.
Если матрица является симметричной, то справедливы и предпосылки 3,5,4 и 3,5,3
Оценку
коэффициентов функции регрессии мы
будем отыскивать в классе линейных
процедур, т.е. по правилу
- линейная статистическая процедура
M=(
):
эту матрицу мы найдем решая более общую
задачу по построению оптимальной
процедуры оценивания произвольной
линейной функции вектора
:
Наша цель заключается в построении
оптимальной процедуры оценивания
произвольной линейной функции
вектора
:
Вектор
будем
отыскивать согласно двум условиям:
3,5,11
Сначала удовлетворим требованию несмещенности оценки. Для этого находим
=
-
истинное значение
Получаем
уравнение, которое должен удовлетворить
вектор m при
эвклидового пространства k+1, то уравнение
примет вид
(3,5,12)
В системе 3,5,12 количество уравнений = k+1, что меньше, чем n – количество искомых неизвестных. => система недоопределена и имеет не единственное решение
Размерность = n-(k+1)
Теперь займемся вторым требованием оптимальности 3,5,11
Рассчитаем
дисперсию оценки
.
Учтем, что ков-ая матрица y в 3,5,11 совпадает
с ков-ой матрицей вектора
По
т. Фишера
(3,5,13)
С учетом 3,5,12 и 3,5,13 условие оптимальности 3,5,11 пораждает задачу 3,5,11’ на условный экстремум
(3,5,11’)
Это задача квадрат. программирования
Она решается методом множителей Лагранжа.
Исходя из решения находим искомую оптимальную оценку величины
(3,5,16)
Следовательно
искомая оптимальная процедура вектора
определяется по правилу (3,5,17)
(3,5,17)
Следствие:
Пусть матрица З в процедуре 3,5,17 является скалярной. Тогда формула 3,5,17 превращается в выражение 3,5,6, т.е. в оценки коэффициентов модели МНК.