Множественная регрессия

Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. Рассматривается два круга вопросов: отбор факторов и выбор вида уравнения регрессии. Факторы должны быть количественно измеримы и не дублировать друг друга. Студент должен уметь составлять и анализировать матрицу парных коэффициентов корреляции. Наиболее проста в интерпретации и доступна для вычислений модель множественной линейной регрессии.

Условия Гаусса – Маркова имеют следующий вид:

1. y_t = ₁ x_t1 + ₂ x_t2 +…+ _kx_tk + _t ;

t = 1… n – спецификация модели.

2. x_t1… x_tk – детерминированные величины.

3. - не зависят от t.

4. .

5. ~ N(0,²).

Удобна запись в матричном виде.

Тогда для нормальной линейной регрессионной модели:

1. Y = X  + 

2. X – детерминированная матрица с максимальным рангом k.

3. М() = 0; М ( ^т) = ² E_n - матрица ковариаций.

4.  ~ N(0, ² E_n)

Выборочной оценкой этой модели является уравнение:

, где

Для определения МНК-оценок используем условие:

Решением является вектор а = (Х^ТХ)^-1 X^Т Y

.

Вариации оценок параметров определяют точность уравнения множественной регрессии.

Выборочная оценка ковариационной матрицы

Cov (a) = S² (X^T X)^-1, где

S² – выборочная остаточная дисперсия,

.

Оценка дисперсии коэффициента регрессии является диагональным элементом матрицы cov(a). Значимость а_i определяется по t-критерию путем сравнения с t_кр (1-; n-k-1).

Коэффициент детерминации .

Значимость уравнения в целом проверяется исходя из F-критерия.

Если модель адекватна и точна, то возможен прогноз.

y (n+k) = y_p(k)  u(k), где

Важную роль при оценке влияния факторов играют коэффициенты регрессионной модели. Однако непосредственно с их помощью нельзя сопоставить факторы по степени их влияния на зависимую переменную из-за различия единиц измерения и разной степени колеблемости. Для устранения таких различий применяют средние частные коэффициенты эластичности

и - коэффициенты: .

Коэффициент эластичности показывает, на сколько процентов изменится зависимая переменная при изменении фактора j на 1%. Бета-коэффициент показывает, на какую часть величины среднего квадратического отклонения _y изменится зависимая переменная Y с изменением Х на величину своего среднеквадратического отклонения при фиксированном на постоянном уровне значения остальных независимых переменных.

Долю влияния фактора в суммарном влиянии всех факторов можно оценить по величине дельта-коэффициентов:

где

r (j) – коэффициент парной корреляции между фактором и зависимой переменной.

Рассмотрим известный пример:

Бюджетное обследование пяти случайно выбранных семей дало следующие результаты:

Семья	Накопление, S	Доход, Y	Имущество, W
1	3	40	60
2	6	55	36
3	5	45	36
4	3,5	30	15
5	1,5	30	90

Истинная модель: S = ₀ + ₁Y + ₂W + 

Оцененная модель: = X a

Вычислим:

Отметим, что обратную матрицу удобно находить, используя преобразования Жордана-Гаусса.

В итоге

,

Оцененная модель:

Интерпретация модели:

• изменение дохода на 1 единицу приведет к увеличению накопления на 0,12 единиц;

• увеличение стоимости имущества на 1 единицу приведет к уменьшению накопления на 0,03 денежных единиц.

ESS = (S-(S-= 0,281, df₁ = 2.

RSS = (-= 12,019, df ₂= 2.

- 97% изменения накопления объясняются моделью, 3% - неучтенными факторами.

= 42,75

F_кр (0, 05; 2; 2) = 19; F_наб >F_кр, уравнение признается значимым в целом.

,

Cov (a) = S²  (X^T X)^-1;

0, 80

Отметим, что несмотря на то, что а₀ незначим (t_H < t_кр), уравнение, исходя из F-критерия в целом значимо.

Пусть некоторая семья имеет доход Y = 30 и имущество W = 52,5.

Определим прогнозное значение накоплений. Для шестой семьи .

В предположении, что для шестой семьи выявленная тенденция сохранится, 95%-й доверительный интервал будет иметь следующий вид:

Верхняя граница прогноза - 8,83 усл. ден.ед.

Нижняя граница прогноза – 3,93 усл. ден.ед.

Составим вспомогательную таблицу:

-0,8	0	12,6	0	-10,08
2,2	15	-11,4	33	-25,08
1,2	5	-11,4	6	-13,68
-0,3	-10	-32,4	3	9,72
-2,3	-10	42,6	23	-98,00
Итого	0	0	65	-137,12

;