22. Согласно методу наименьших квадратов (мнк) неизвестные параметры модели выбираются таким образом, чтобы сумма квадратов отклонений эмпирических значений от модельных была минимальной:

Согласно необходимому условию экстремума функции нескольких переменных, необходимо найти частные производные по этим переменным и приравнять их к нулю. После ряда преобразований получим:

Разделим обе части полученной выше системы на  , получим систему нормальных уравнений:

Решив полученную систему относительно неизвестных параметров  , получим:

Таким образом, остатки, оцененные таким образом, можно представить следующим образом:

Свойства оценок МНК определяются предположениями относительно свойств случайного возмущения в модели наблюдений. Эти предположения обычно называются условиями Гаусса – Маркова.

Условия Гаусса-Маркова:

 – условие, гарантирующее несмещённость оценок МНК.

 – условие гомоскедастичности, его нарушение приводит к проблеме гетероскедастичности.

 – условие отсутствия автокорреляции предполагает отсутствие систематической связи между значениями случайного члена в любых двух наблюдениях. Если данное условие не выполняется, то в модели возникает проблема автокорреляции случайных возмущений.

 для всех   условие независимости случайного возмущения и объясняющей переменной. Значение любой независимой переменной в каждом наблюдении должно считаться экзогенным, полностью определяемым внешними причинами, не учитываемыми в уравнении регрессии.

Достаточно часто накладывают ещё одно условие на остатки модели, но данное условие не является условием Гаусса-Маркова:  , оно очень полезно для проверки многих гипотез.

Свойства оценок, полученных с помощью МНК:

Линейность оценок – оценки параметров   и   представляют собой линейные комбинации наблюдаемых значений объясняемой переменной  .

Несмещённость оценок:

Состоятельность оценок:

Эффективность – данное свойство означает, что оценка имеет минимальную дисперсию в заданном классе оценок:

Теорема Гаусса-Маркова: если выполнены условия Гаусса-Маркова, тогда оценки  , полученные с помощью метода наименьших квадратов, являются линейными, несмещёнными, эффективными и состоятельными оценками.

23. Общую линейную модель можно рассматривать как расширение линейной множественной регрессии для случая одной зависимой переменной, и понятие множественной регрессионной модели является фундаментом к пониманию общей линейной модели. Главная задача множественной регрессии заключается в определении взаимосвязи между несколькими независимыми переменными (предикторами) и зависимой переменной.

Введем два вектора:   — факторы регрессии и   -- неизвестные параметры регрессии. Каждый вектор есть вектор-столбец, а изображен по горизонтали для удобства. Обозначать вектора мы, как и ранее, будем жирным шрифтом.

Рассматривается модель регрессии, которая в курсе «Эконометрика» называется простой (линейной) регрессией:

Пусть в  -м эксперименте факторы регрессии принимают заранее заданные значения  , где  .

После   экспериментов получен набор откликов  , где

или, в матричной форме,  , где матрица   (матрица плана) равна

Вектор   состоит из случайных ошибок в данных экспериментах.

Требуется по данным матрице плана   и вектору результатов   найти оценки для параметров регрессии   и параметров распределения вектора ошибок  .