73. Метод наименьших квадратов, алгоритм метода, условия применения.25

Предпосылки теоремы Гаусса-Маркова:

-математическое ожидание случайного возмущения при фиксированном значении предопределенной переменной равно 0

-дисперсия случайных возмущений во всех наблюдениях одинакова и равна константе

-ковариация между парами случайных возмущений =0

-ковариация между вектором регрессоров и вектором случайных возмущений =0

Был разработан Гауссом. В качестве критерия – сумма квадратов остатков (невязок), то есть разность между абсциссами реальных точек, имеющих нормальное распределение, и соответствующих точек на прямой.

Данный метод получил название регрессионного анализа.

Рассмотрим механизм применения МНК на примере идентификации модели в виде линейного уравнения парной регрессии. + + ,где - эндогенная

– экзогенная

- параметры

Для решения задачи имеем некий набор наблюдений переменных У и Х размерности n.

Согласно МНК необходимо найти такие значения параметров оценки модели (5.8), которые соответствуют минимуму квадратов остатков.

Тогда из 5.8 следует, что необходимо найти минимум следующей функции:

Q = = - - ->min (5.9)

Для нахождения параметров функции 5.9, соответствующих ее минимуму, необходимо вычислить производную этой функции по параметрам и решить полученные уравнения относительно .

5.11 – система нормальных уравнений для определения параметров оценок модели 5.8

Убедимся, что решение системы 5.11 соответствует минимуму функции 5.9. Для этого необходимо, чтобы вторые частные производные функции 5.9 были положительными.

Вторая производная относительно а0 = n,что всегда больше 0.

Вторая производная относительно а1 = , что также всегда больше 0.

Это говорит о том, что система уравнений 5.11 соответствует минимуму функции 5.9

Систему уравнений 5.11 можно решить методом исключения переменных. Для этого достаточно выразить а0 через а1, подставив его во 2 уравнение системы, откуда получим а1, затем полученную а1 подставим в а0. В итоге получим 5.12

Выражение 5.12 позволяет по известным значениям наблюдений переменных Х и У вычислить оценки параметров модели парной регрессии.

74. Алгоритм проверки значимости регрессора в парной регрессионной модели. 25

Рассмотрим уравнение парной регрессии

= + (6.3)

Предполагается, что выполняются предпосылки теоремы Гаусса-Маркова.

Запишем модель 6.3 в следующем виде: + (6.4)

- вклад влияния случайных факторов, не связанных с регрессором

Отсюда вытекает идея тестирования: необходимо установить, какое из слагаемых вносит больший вклад в общий разброс наблюдаемых значений эндогенной переменной.

Характеристикой разброса случайной переменной служит дисперсия, следовательно, необходимо определить какое из слагаемых преобладает в функции дисперсии эндогенной переменной.

Найдем дисперсию функции (6.4)

Таким образом

В качестве меры влияния регрессора на формирование значения эндогенной переменной вводится коэффициент детерминации = , где RSS – регрессионная сумма квадратов, TSS – общая сумма квадратов, ESS – ошибка.

Если RSS=TSS, ESS=0, следовательно, на эндогенную переменную влияют только регрессоры (идеальная ситуация)

Если ESS =TSS, RSS =0, следовательно, на эндогенную переменную влияют только случайные возмущения.

показывает, какая доля изменения зависимой переменной обусловлена изменением объясняющей переменной. Коэффициент детерминации показывает процент влияния регрессора на эндогенную переменную.