Дополнение 1. Метод наименьших квадратов в матричном виде

Парное линейное уравнение регрессии может быть записано в матричном виде:

,

где Y – случайный вектор-столбец размерности (n1) наблюдаемых значений результативного признака; B – вектор-столбец размерности (21) подлежащих оценке параметров модели (коэффициентов регрессии); X=(x₀, x₁) – матрица размерности (n2) наблюдаемых значений факторных признаков. При этом x₀=1 и связано с наличием в уравнении регрессии свободного члена, а x₁ – собственно реальные значения включенного в уравнение регрессии фактора; E – случайный вектор-столбец размерности (n1) ошибок наблюдений.

.

В матричной форме применение МНК записывается следующим образом:

.

Дифференцируя Q по вектору B и приравнивая частные производные по B к нулю, получим:

.

Учитывая обратимость матрицы , находим МНК-оценку вектора B:

, (5.28)

где .

Пример 5.2. Получить оценки коэффициентов регрессии матричным способом, используя данные примера 5.1.

Решение. В случае примера 5.1 исходные матрицы имеют вид

, .

_Тогда

_.

_{Находим обратную матрицу}

_и

_.

_{В результате вектор оценок коэффициентов регрессии будет равен}

. 

Дополнение 2. Оценка параметров регрессии методом максимального правдоподобия

Наряду с методом наименьших квадратов (МНК) возможен и другой подход к оцениванию параметров линейного регрессионного уравнения по данным наблюдений – метод максимального правдоподобия (ММП) (см. дополнение 2 к лекции 2). ММП обычно не предъявляет требований к свойствам малых выборок, а в случае корректной спецификации модели и при выполнении некоторых условий обеспечивает асимптотическую несмещенность, состоятельность и асимптотическую эффективность. Более того, они предоставляют возможность для проведения тестов, которые не могли использоваться в случае МНК.

Отметим, что для нормальной классической линейной регрессионной модели ММП, по сравнению с МНК, не даёт никаких преимуществ. Если случайные отклонения модели распределены по другому закону, то, вообще говоря, выражения для оценки коэффициентов регрессии, полученные на основе ММП, будут отличаться от их аналогов, полученных с использованием МНК. Конечно МНК обладает большими достоинствами по сравнению с ММП, если выполняются условия Гаусса-Маркова, однако все они быстро теряются, если эти условия нарушаются.

Для применения ММП должен быть известен вид закона распределения вероятностей имеющихся выборочных данных.

В рамках нормальной классической регрессионной модели значения y_i можно рассматривать как независимые нормально распределённые случайные величины с математическим ожиданием , являющимся функцией от x_i, и постоянной дисперсией ². Следовательно, плотность нормально распределенной случайной величины y_i имеет вид

. (5.29)

Функция правдоподобия, выражающая плотность вероятности совместного появления результатов выборки, имеет вид

. (5.30)

Согласно ММП в качестве оценок параметров ₀, ₁ и ² принимаются такие значения , и , которые максимизируют функцию правдоподобия L. Так как функции L и lnL одновременно достигают своего максимума, достигают искать максимум логарифма функции правдоподобия:

. (5.31)

Необходимые условия экстремума функции lnL имеют вид:

(5.32)

Решением системы уравнений (5.32) являются оценки

, , . (5.33)

Отметим, что ММП-оценки параметров ₁ и ₀ совпадают с соответствующими МНК-оценками. Это легко видеть из того, что первое и второе уравнения (5.32) совпадают с соответствующими уравнениями МНК. Заметим, что ММП-оценка для ² является смещенной и не совпадает с соответствующей МНК-оценкой.

ЛЕКЦИЯ 4 81