43. Множественный регрессионный анализ. Нелинейная регрессия.

Множественная регрессия – статистический метод, с помощью которого можно вывести математическую зависимость между двумя или более независимыми и зависимой переменной, выраженной с помощью интервальной или относительной шкалы. Этапы:

1) Формулирование модели. Общая форма имеет вид

2)Вычисление параметров. Модель множественной регрессии оценивается следующим уравнением: , где Y-вычисляемое значение Yi; a- отрезок отсекаемый на оси Oy, b_i - частные коэффициенты регрессии. b_i – обозначает изменение в значении Y, при изменении Х1 на единицу, когда другие независимые Х остаются неизменными. Поэтому b-коэффициент парной регрессии для Y от Х₁, при исключении эффекта переменных от Х₂ до Х_k . Результаты совместного влияния х₁, х₂ … на y суммируются, т.е. ожидаемое изменение значения Y будет равно ∑b_i

3) Вычисление нормированного коэффициента регрессии (бета коэффициента) – частотного коэффициента регрессии рассчитанного при условии, что все данный нормированы.

4) Определение тесноты и значимости связи. Разложение полной вариации SS_y=SS_регр+SS_ошибки. Тесноту связи при множественной регрессии измеряют при помощи коэфициента множественной детерминации R². R²=SS_{регрессии}/SS_y. Данный коэффициент корректируют с учетом числа независимых переменных (k) и размера выборки (n), чтобы снизить влияние зависимость коэфициента детерминации от количества переменных. Скор. R²=

5) Проверка значимости включает проверку значимости общего уравнения регрессии и частных коэффициентов регрессии. Н₀: коэффициент множественной детерминации для генеральной совокупности R²=0, R²_{совокупности}= 0

Общую проверку выполняют с помощью F-статистики. , гдеn-k-1 – число степеней свободы. Если Н₀ отклоняют, то выполняют дополнительную проверку, чтобы определить какие B_i отличны от 0, используя t-статистику. t(b)= b/SE(b), SE – стандартная ошибка коэффициента регрессии

6) Анализ остатков. Остаток – разность между наблюдаемым значением Y и его теоретическим значением, предсказанным уравнением регрессии. Анализ производится для подтверждения того, что модель регрессии подходит для анализа, с этой целью используется графический метод. Сумма квадратов остатков измеряет необъясненную часть вариации зависимой переменной. RSS=∑e_i². Используется как основная минимизирующая велечина в методе наименьших квадратов.

44. Метод пошаговой регрессии. Проблема мультиколлинеарности.

Мультиколлинеарностью для множественной регрессии называется наличие линейной зависимости между факторными переменными, включенными в модель.

Признаки мультиколлинеарности: коэф детерминации достаточно высокий, но некоторые из коэффициентов регрессии статистически незначимы; парные корреляции между малозначимыми объясняющими переменными достаточно высоки (для 2 переменных); высокие частные коэффициенты корреляции; наличие сильной вспомогатнльной регрессии (одна из независимых х является линейной комбинацией других независимых включенных в модель) Мультиколлинеарность может быть проблемой, так как она затрудняет разделение влияния объясняющих факторов на поведение зависимой переменной и делает оценки коэффициентов регрессии ненадежными.Последствия мультиколлинеарности: большие дисперсии оценко, что затрудняет нахождение истинных значенй, определяемых величин и расширяет интервальные оценки, ухудшая их точность; уменьшаются t-статистики коэффициентов, что может привести к неоправданному выводу о влиянии соответствующей переменной на зависимую переменную; оценки коэффициентов по МНК и их стандартные ошибки становятся очень чувствительными к малейшим изменениям данных; затрудняется определение вклада каждой из объясняющей переменных в объясняемую уравнением регрессию дисперсию зависимой переменной; возможно получение неверного знака у коэффициентов регрессии. Для оценки мультиколлинеарности можно вычислить коэффициент VIF. , где R_j² – коэффициент множественной корреляции переменной со всеми другими независимыми переменными. Если переменные не коррелируют – VIF=1, в случае сильной корреляции – 10 и больше. Пороговое значение – 5.

Методы устранения мультиколлинеарности: исключение из модели одной или ряда коррелирующих переменных; получение дополнительных данных или новой выборки; изменение спецификации модели – изменение формы модели либо добавление новых переменных; преобразование переменных.

Пошаговая регрессия – регрессионная процедура, в которой предикторы по очереди вводят или выводят из уравнения регрессии. Цель – отбор из большого количества предикторов небольшой подгруппы переменных, которые вносят небольшой вклад в вариацию переменной зависимой.Прямая пошаговая регрессия – введение предикторов по одному, при условии, что они удовлетворяют определенному статистическому критерию. Обратная – исключение из всей совокупности предикторов не соответствующих статистическому критерию. Пошаговый подход – на каждом шаге включение осуществляют одновременно с выводом предикторов, которые не удовлетворяют конкретному критерию.