Лабораторная работа № 3 множественная линейная регрессия
Общим случаем линейной регрессии является модель множественной линейной регрессии, имеющая вид:
,
(3.1)
где
– независимые
(факторные) переменные;
– зависимая
(результативная) переменная;
– параметры
(коэффициенты)
уравнения регрессии;
– остаток
уравнения регрессии;
–
количество факторов регрессии.
Часто модель множественной линейной регрессии записывается в матричной форме:
,
(3.2)
где Y – вектор выборочных данных наблюдений зависимой переменной (n элементов), X – матрица выборочных данных наблюдений факторных переменных (n (k+1)-элементов, k – количество факторов), B – вектор параметров уравнения (k+1)-элементов, E – вектор случайных отклонений (n-элементов).
Оценка параметров модели множественной линейной регрессии производится (как и для парной линейной регрессии) классическим методом наименьших квадратов (МНК) путём минимизации суммы квадратов остатков (формула 2.2). Решением полученной системы нормальных уравнений находится вектор B оценок параметров уравнения регрессии:
.
(3.3)
При построении уравнения множественной линейной регрессии может возникнуть проблема мультиколлинеарности факторов, их тесной линейной связанности. Две переменные считаются явно коллинеарными (т.е. находящимися между собой в линейной зависимости) если их коэффициент парной линейной корреляции больше или равен 0,7. При рассмотрении факторов для включения в модель один из двух коллинеарных факторов отбрасывается, предпочтение же отдаётся тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами.
По величине парных коэффициентов корреляции выясняется лишь явная коллинеарность факторов. В случае сильной межфакторной корреляции для ее преодоления используют ряд подходов, таких как: исключение из модели одного или нескольких факторов, преобразование факторов, переход к совмещенным уравнениям регрессии.
После мер по устранению мультиколлинеарности осуществляется отбор факторов, наиболее влияющих на изменение результативного признака, в уравнение регрессии включают только статистически значимые факторы.
Проверка статистической значимости уравнения множественной линейной регрессии и коэффициентов регрессии осуществляется аналогично случаю парной линейной регрессии с помощью критериев Фишера и Стьюдента (см. лабораторную работу № 2, формулы 2.5, 2.6, 2.10). Часто при тестировании используют не сами t- и F-статистики, а рассчитанные для них p-значения. p-значение – это расчётная вероятность допустить ошибку 1-го рода при тестировании, т.е. расчётная вероятность отклонить нулевую гипотезу, если на самом деле она верна. p-значение сравнивается с уровнем значимости статистического теста. Если p-значение оказывается меньше уровня значимости, то нулевая гипотеза отвергается, в противном случае нет оснований для отвержения нулевой гипотезы.
Коэффициент
множественной детерминации
для множественной регрессии аналогичен
по расчёту (формула 2.4) и интерпретации
случаю парной линейной регрессии. При
добавлении числа факторов значение
увеличивается, поэтому скорректированный
коэффициент множественной детерминации
содержит поправку на число степеней
свободы:
.
(3.4)
Коэффициент множественной корреляции характеризует тесноту связи рассматриваемого набора факторов с результативным признаком, коэффициент лежит в пределах от 0 до 1. Чем ближе значение коэффициента к 1, тем теснее связь. рассчитывается как квадратный корень из коэффициента множественной детерминации.
Для
применения МНК требуется, чтобы дисперсия
остатков для каждого наблюдения была
гомоскедастичной,
т.е. постоянной. Если это условие не
соблюдается, то имеет место
гетероскедастичность
остатков, при которой
.
Оценить остатки на гетероскедастичность можно с помощью теста Вайта, являющегося универсальным тестом на гетероскедастичность. Тест позволяет проверить значимость регрессии квадратов остатков относительно комплекса переменных модели и их квадратов.
Если
и
,
то для нулевой гипотезы
статистика
имеет
распределение
с
k
степенями свободы (
–
коэффициент детерминации вспомогательной
дисперсии). При нулевой гипотезе о
гомоскедастичности остатков модели
вспомогательная регрессия должна быть
незначимой. Если
значение статистики больше критического
значения этого распределения для
заданного уровня значимости, то нулевая
гипотеза отвергается, то есть имеется
гетероскедастичность. В противном
случае гетероскедастичность признается
незначимой. Соответственно,
если расчётное р-значение для статистики
меньше заданного уровня значимости, то
нулевую гипотезу следует отклонить, в
противном случае нет оснований для
отклонения нулевой гипотезы.
Расчёт
среднего коэффициента эластичности
для фактора
множественной линейной регрессии
производится по формуле:
,
(3.5)
коэффициент показывает, на сколько процентов в среднем по совокупности изменится результат от своей величины при изменении фактора на 1% от своего значения при неизменных значениях других факторов.
Расчёт бета-коэффициента для фактора производится по формуле:
,
(3.6)
где
– среднее квадратичное отклонение
,
– среднее квадратичное отклонение
.
Бета-коэффициент показывает, на какую
часть величины
изменится
с изменением
на величину
при
фиксированном значении остальных
независимых переменных.
Расчёт
дельта-коэффициента для фактора
производится по формуле:
,
(3.7)
где
–
коэффициент парной линейной корреляции
между
и
,
– коэффициент множественной детерминации
уравнения регрессии. Дельта-коэффициент
показывает долю влияния фактора
в суммарном влиянии всех факторов.