4. Метод наименьших квадратов для оценки параметров модели множественной регрессии.

Он наиболее часто используется для оценки параметров линейной модели множественной регрессии. Суть МНК заключается в том, что выбираются такие оценки параметров, при которых сумма квадратов отклонений фактических значений от расчетных является минимальной.

(Y-Xb)^'(Y-XB) → min

Запишем в матричном виде формулу для остаточной суммы квадратов:

(Y-Xb)^' (Y-Xb).

После раскрытия скобок получаем:

S = Y^'Y – Y^'Xb – (Xb)^'Y + (Xb)^'(Xb).

Для того чтобы раскрыть скобки, напомним, что при транспонировании произведения матриц получается произведение транспонированных матриц, взятых в обратном порядке, т.е. (Xb)^' = b^'X^':

S = Y^'Y – Y^'Xb – b^'X^'Y + b^'X^'Xb.

Покажем, что второе слагаемое Y^'Xb является скалярной величиной. Согласно правилу перемножения матриц имеем: (1×n)[n×(m+1)][(m+1)×1]=(1×1). Таким образом, при транспонировании это слагаемое не меняется и Y^'Xb = b^'X^'Y. Тогда условие минимизации суммы квадратов отклонений запишется в виде:

S = Y^'Y –2b^'X^'Y + b^'X^'Xb →min.

Как и в случае парной регрессии для решения этой задачи необходимо приравнять нулю частные производные по переменным b₀, b₁,…,b_m. в матричной форме это означает, что надо приравнять нулю вектор

.

Условие минимизации примет вид:

– 2X^'Y + 2X^'Xb = 0.

В матричном виде система нормальных уравнений для нахождения вектора параметров b запишется следующим образом:

X^'Xb = X^'Y.

Умножив обе части уравнения слева на матрицу (X^'X)^-1, получаем:

b = (X^'X)^-1X^'Y.

Для решения данного уравнения необходимо, чтобы определитель матрицы X^'X не равен нулю, а следовательно, ее ранг равен ее порядку, т.е. r(X^ТX) = m+1. Поскольку ранг матрицы X равен рангу матрицы X^'X, то r(X) =m+1. Таким образом, требуется линейная независимость столбцов матрицы X.

5. Оценка точности и адекватности регрессионной модели.

СВОЙСТВА ОЦЕНОК ПАРАМЕТРОВ МОДЕЛИ.

1. Несмещенность - это значит математическое ожидание оценки должно быть равно истинному значению параметра.

2. Состоятельность - при неограниченном росте числа наблюдений последовательность оценок bn стремится к истинному значению параметров.

3. Эффективность (оптимальность) – оценка является эффективной, если ковариационная матрица минимальная. Разброс оценок минимальный.

8.Понятие мультиколлинеарности. Основные признаки и последствия мультиколлинеарности.

Мультиколлинеарность – наличие функциональной или тесной корреляционной зависимости между включенными в модель факторами.

Причины возникновения мультиколлинеарности:

1. Наличие функциональной или корреляционной зависимости между факторами

2. Наличие факторов общего временного тренда

Признаки мультиколлинеарности:

1. При незначительном изменении исходных данных (при добавлении новых наблюдений) оценки параметров существенно меняются

2. Хотя в целом уравнение регрессии является адекватным (речь идет о коэффициенте детерминации и по f-критерию Фишера) отдельные параметры модели могут иметь большие стандартные ошибки и быть незначимыми по t-критерию Стьюдента.

3. Отдельные параметры модели могут иметь неоправданно большие значения или неправильные знаки с точки зрения теории.

Последствия мультиколлинеарности:

1. Оценки параметров модели теряют свою интерпретацию как характеристик действия факторов в чистом виде, то есть теряет экономический смысл

2. Оценки параметров являются ненадежными, так как имеет большие стандартные ошибки и меняются при изменении числа наблюдений