39. Оценка параметров множественной регрессионной модели методом наименьших квадратов.

Множественная регрессия позволяет построить и проверить модель линейной связи между зависимой (эндогенной) и несколькими независимыми (экзогенными) переменными: y = f(x1,...,xр), где у - зависимая переменная (результативный признак); х1,...,хр - независимые переменные (факторы).

Линейное уравнение множественной корреляции: y=a+b1x1+b2x2+…+bpxp+ε

Для оценки параметров уравнения множественной регрессии применяют МНК. Для линейных уравнений и нелинейных уравнений, приводимых к линейным, строится следующая система нормальных уравнений, решение кото¬рой позволяет получить оценки параметров регрессии:

Для ее решения может быть применён метод определителей: a=∆a / ∆, b1=∆b1 / ∆,…, bp=∆bp / ∆, - определитель системы

∆a, ∆b1,…, ∆bp – частные определители; которые получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы.

40. Оценка параметров парной регрессионной модели методом наименьших квадратов.

Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) минимальна:

Для того чтобы найти минимум функции, надо вычислить частные производные по каждому из параметров a и b и приравнять их к нулю. Тогда мы получаем следующую систему нормальных уравнений для оценки параметров a и b

Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:

Эта формула получена из первого уравнения системы, если все его члены разделить на n:

где cov(x,y) — ковариация признаков; σх2— дисперсия признака х

Поскольку , получим следующую формулу расчета оценки параметра b

Таким образом явный вид решения системы нормальных уравнений:

Статистические свойства оценок

Свойство несмещенности состоит в том, что математическое ожидание оценки должно быть равно истинному значению параметра.

Свойство состоятельности состоит в том, что с увеличением наблюдений дисперсия оценки параметра стремится к нулю, т.е. оценка становится более надежной в вероятностном смысле (значения оценки более плотно концентрируются около истинного значения).

Оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с любыми другими оценками этого параметра в классе выбранных процедур.

41. Оценка статистической значимости коэффициентов модели множественной регрессии.

Данная оценка с помощью t-критерия Стьюдента сводится к вычислению корня квадратного из величины соответствующего частного критерия Фишера или, что то же самое, нахождению величины отношения коэф-та регрессии к среднеквадратической ошибке коэф-та регрессии.

При тесной линейной связанности факторов, входящих в ур-е множественной регрессии, возможна проблема мультиколлинеарности факторов. Колич-ым показателем явной коллинеарности двух переменных явл-ся соответствующий линейный коэф-т парной корреляции между этими двумя факторами.

Две переменные явно коллинеарны, если этот коэффициент корреляции больше или равен 0,7. Чем сильнее мультиколлинеарность (без обязательного наличия явной коллинеарности) факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью МНК.

При проверке значимости коэф-ов модели множ. регрессии крит. значение t-критерия определяется как tкрит(а;n-l-1), где а – уровень значимости, n – объём выборочной совокупности, l – число оцениваемых по выборке параметров, (n-l-1) – число степеней свободы, которое опр-ся по таблице распределений t-критерия Стьюдента.

При проверке основной гипотезы вида

наблюдаемое значение частного F-критерия Фишера-Снедекора рассчит-ся по формуле:

При проверке основной гипотезы возможны следующие ситуации.

Если наблюдаемое значение t-критерия больше критического значения t-критерия (определённого по таблице распределения Стьюдента), т. е. tнабл≥tкрит, то основная гипотеза о незначимости коэф-та βk модели множ. регрессии отвергается, и он является значимым.

Если меньше, то основная гипотеза о незначимости коэф-та βk принимается. И данный коэф-т можно в дальнейшем не учитывать.

Проверка основной гипотезы о значимости модели множ-ой регрессии в целом состоит в проверке гипотезы о значимости коэф-та множ. корреляции или значимости пар-ов модели регрессии.

Если проверка в целом осущ-ся, то выдвигается основная гипотеза вида Н0:R(y,xi)=0, утверждающая, что коэф-т множ. корреляции является незначимым, и, следовательно, модель множ. регрессии в целом также является незначимой.

Обратная или конкурирующая гипотеза вида Н1:R(y,xi)≠0 утверждает, что коэф-т множ. корреляции является значимым, и, следовательно, модель множ. регрессии в целом также является значимой.

Данные гипотезы проверяются с помощью F-критерия Фишера-Снедекора.

Наблюдаемое значение F-критерия (вычисленное на основе выборочных данных) сравнивают со значением F-критерия, кот. опр-ся по таблице распределения Фишера-Снедекора, и называется критическим.