65. Множеств лин регресс модель: оценка коэф-тов регрессии методом наим квадратов (мнк)
Обозначим:
,
где
– прогнозное значение объясняемой
переменной,
– некоторые оценки коэффициентов
регрессии
.
зависит от значений коэффициентов .
Обозначив
,
запишем формулы в матричном виде:
сумму
квадратов отклонений прогнозных значений
от реальных значений объясняемой
переменной.
Метод наименьших
квадратов состоит в нахождении таких
значений
и
,
при которых
минимально:
.
66 Множественная линейная регрессионная модель: доказать несмещенность мнк-оценок коэффициентов регрессии.
Несмещенность
заметим, что в силу уравнения регрессии в матричном виде:
и
. 
Итак,
.
Следовательно,
вектор
является несмещенной оценкой вектора
коэффициентов регрессии
.
67 Множественная линейная регрессионная модель: эффективность мнк-оценок коэффициентов регрессии.
Можно
также показать, что МНК-оценка
является эффективной, т.е. она минимизирует
среднеквадратичное отклонение оценки
от истинного значения вектора
:
,
в классе всех несмещенных оценок,
линейных по
.
68 Множественная линейная регрессионная модель: ковариационная матрица мнк-оценок коэффициентов регрессии.
Найдем ковариационную матрицу для МНК-оценки .
В силу
. и
:
Итак,
Следовательно,
В силу
и
симметричности матрицы
:
В силу
и
:
Итак,
Отметим, что в
силу
,
– это i-й
диагональный элемент матрицы
Обозначив элементы
матрицы
через
,
из
получим:
.
Обозначим через
стандартное отклонение коэффициента
.
В силу :
69 Множественная линейная регрессионная модель: остатки регрессии, необъясненная дисперсия и стандартная ошибка регрессии
Оценка дисперсии
ошибок
Как и в случае
парной регрессии остатки регрессии
определяются из уравнений:
,
или, в векторном виде:
Следовательно,
,
Из
Итак,
Подставив
в , получим:
Докажем, что
случайные векторы
и
независимы.
Для их независимости в силу их нормальной распределенности достаточно доказать их некоррелированность.
В силу ), и
где
– нулевая матрица размера
.
Итак,
В силу векторы и не коррелированны, а следовательно и независимы (в силу их нормальной распределенности).
Найдем
.
В силу , :
Итак,
По аналогии со случаем парной регрессии обозначим:
(необъясненная
дисперсия)
Можно
показать, что величина
является несмещенной оценкой дисперсии
ошибок
,
т.е.
. Отметим, что в силу формулы величина является функцией от вектора . Следовательно, в силу независимости векторов и вектор и величина также независимы.
Можно показать,
что случайная величина
имеет распределение «хи квадрат» с
числом степеней свободы
:
Напомним, что
распределение «хи квадрат» с
степенями свободы – это распределение
следующей случайной величины:
где
– независимые стандартные нормальные
случайные величины.
Квадратный корень из называется стандартной ошибкой оценки (стандартной ошибкой регрессии).