16. Оценка значимости параметров уравнения множественной регрессии

Множественная регрессия-это уравнение связи с несколькими независимыми переменными

Y = b₀ + b₁x_i1 + ... + b_jx_ij + ... + b_kx_ik + e_i

где e_i - случайные ошибки наблюдения, независимые между собой, имеют нулевую среднюю и дисперсию s.

Экономический смысл параметров множественной регрессии Коэффициент множественной регрессии b_j показывает, на какую величину в среднем изменится результативный признак Y, если переменную X_j увеличить на единицу измерения, т. е. является нормативным коэффициентом.

Матричная запись множественной линейной модели регрессионного анализа:

Y = Xb + e

Модель множественной регрессии вида Y = b₀ + b₁X₁ + b₂X₂;

Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов.

Как и в случае множественной регрессии, статистическая значимость коэффициентов множественной регрессии с m объясняющими переменными проверяется на основе t-статистики: имеющей в данном случае распределение Стьюдента с числом степеней свободы v = n- m-1. При требуемом уровне значимости наблюдаемое значение t-статистики сравнивается с критической точной распределения Стьюдента. В случае, если , то статистическая значимость соответствующего коэффициента множественной регрессии подтверждается. Это означает, что фактор Xj линейно связан с зависимой переменной Y. Если же установлен факт незначимости коэффициента b_j, то рекомендуется исключить из уравнения переменную Xj. Это не приведет к существенной потере качества модели, но сделает ее более конкретной.

Формула средней ошибки параметра зависит от какого параметра оценивается. Общая для всех параметров уравнения регрессии формула выглядит следующим образом:

Mbi=квадратный корень из SSост./n-m-1 * [X в степени T * X] в минус первой степени) ii

SSост. = E(y-y с домиком) в квадрате

n – число наблюдений

m – количество параметров без свободного члена.

([X в степени T * X] в минус первой степени)ii - ii – диагональный элемент с номером ii матрицы ([X в степени T * X] в минус первой степени) , причём y = a+b1x1+ … + bpxp + E , i=0,1,2…p

Mbo=Ma

0 1 2

0 (0 )

1 ( )

2 ( )

3 ( )

Квадратный корень из SSост.\n-m-1 – стандартная ошибка регрессии

В большинстве случаев приведённую формулу ошибки можно упростить, в частности, если имеется парное линейное уравнение регрессии, то ошибка коэффициента регрессии рассчитывается по формуле:

Mb = квадратный корень из SSост.\ (n-m-1) * E (x – x c штрихом) в квадрате

Ma = квадратный корень из SSост. * Ex в квадрате\ (n-m-1) * E ( x – x с штрихом) в квадрате * n

y=a+b1x1+…+bpxp+ E

Mbi= Gy/Gx * квадратный корень из 1-R в квадрате \ ( 1 – R в квадрате xi(x)) – (n-m-1)

Для определения ошибки собственного члена не подходит.

R в квадрате xi (x) = r в квадрате

17. Общий критерий Фишера

Значимость уравнения множественной регрессии в целом, так же как и в парной регрессии, оценивается с помощью F-критерия. Сопоставляя факторную и остаточную дисперсии в расчете на одну степень свободы, получим величину F-отношения, т.е. критерий F:

F= Dфакт/Dост = (R²/1-R²) * (n-m-1/m),

где Dфакт – факторная сумма квадратов на одну степень свободы

R² - индекс (коэффициент) множественной детерминации

n – число наблюдений

m – число параметров при переменных x (в линейной регрессии совпадает с числом включенных в модель факторов)

Dост – остаточная сумма квадратов на одну степень свободы.

Величина m характеризует число степеней свободы для факторной суммы квадратов, а (n-m-1) – число степеней свободы для остаточной суммы квадратов.

Применение критерия Фишера предполагает:

1. расчет фактического значения критерия Fфакт

2. по таблице – табличного значения Fтабл

3. сравнение Fфакт и Fтабл, если факт>табл, то оцениваемое уравнение регрессии значимо с вероятностью P= 1-a (альфа), где а- вероятность ошибки.

Общий f-критерий:

, где SSфакт – факторная сумма квадратов =

SSост – остаточная сумма квадратов = , n- кол-во наблюдений, m – кол-во параметров уравнения регрессии без свободного члена

Табличное значение F-критерия – это максимальная величина отношения дисперсий.

Формулу фактического значения часто используют в измененном виде:

18. Таблица дисперсионного анализа

Оценка значимости уравнения регрессии обычно дается в виде таблицы дисперсионного анализа.

Источники вариации	Число степеней свободы df	Сумма квадратов отклонений	Дисперсия на одну степень свободы (MS=SS/df)	Fфакт	Fтабл, при а=0,05
Регрессия	m	SSфакт = ∑(y^-y¯)²	SSфакт/m	MSфакт/ MSост	Fтабл
Случайные колебания	n-m-1	SSост = ∑(y-y^)²	SSост/ n-m-1	---	---
Общая вариация	n-1	SSобщ = ∑(y-y¯)²	---	---	---