2.2. Множественная линейная регрессия. Оценка параметров. Экономическая интерпретация

В случае нескольких объясняющих переменных часто используют линейную модель, в которой функциональная зависимость имеет вид . Для нахождения оценок неизвестных параметров используют метод наименьших квадратов. Этот метод дает хорошие результаты, если выполнены основные предположения о случайной составляющей, объединенные в первую группу основных предположений регрессионного анализа. Согласно этому методу значения параметров эмпирической зависимости выбираются таким образом, чтобы минимизировать сумму квадратов отклонений фактических значений показателя от расчетных:

.

Применяя тот же прием, что и в случае парной регрессии (вычисляем производные по неизвестным параметрам и приравниваем их к нулю) приходим к системе так называемых нормальных уравнений метода наименьших квадратов. В матричном виде система записывается следующим образом:

где

, , .

Если матрица невырождена, то решение системы уравнений дается выражением:

.

Найденное решение называется оценкой наименьших квадратов неизвестных параметров

Таким образом, множественная линейная регрессия имеет вид

.

Значения показателя, рассчитанные по линейной регрессии для тех значений объясняющих факторов, которые содержались в выборке обозначим через :

.

Нетрудно найти остатки (разности между фактическими значениями показателя и значениями, вычисленными по уравнению линейной регрессии):

.

При выполнении предположений из первой группы основных предположений регрессионного анализа доказана теорема Гаусса—Маркова о том, что найденные оценки неизвестных параметров обладают свойством несмещенности и являются наилучшими линейными оценками.

Оценка средней относительной ошибки аппроксимации так же, как и в случае парной линейной регрессии, производится по формуле:

.

Аналогично случаю парной линейной регрессии можно показать, что статистика

является несмещенной оценкой дисперсии .

В случае множественной регрессии важную роль играют частные коэффициенты корреляции. Дело в том, что коэффициенты парной корреляции могут давать ложное представление о силе взаимосвязи между двумя переменными, так как они не учитывают влияние других переменных. Явление ложной корреляции хорошо известно в статистической литературе. Для оценки «истинной» взаимозависимости используются коэффициенты частной корреляции «очищенные» от влияния других факторов. Ограничимся определением коэффициентов частной корреляции только для случая двух переменных.

Частные коэффициенты корреляции и в случае двух переменных () вычисляются по формулам

, ,

где — коэффициенты парной корреляции.

Коэффициент детерминации определяется так же, как и в случае парной регрессии:

.

Статистическая значимость множественной регрессии в целом оценивается с помощью -критерия Фишера:

Если выполнены предположения регрессионного анализа, то при выполнении гипотезы (что означает отсутствие взаимосвязи между и , а также статистическую незначимость построенной парной регрессии) статистика распределена по закону Фишера с числом степеней свободы числителя равным и числом степеней свободы знаменателя равным (т.е. ).

На основе этого факта построен критерий проверки значимости линейной регрессии в целом.

Правило проверки значимости линейной регрессии в целом (гипотезы ) с использованием -стати­стики:

Вычислить значение -статистики:

1. если , то гипотезу следует отклонить и, следовательно, признать построенное уравнение линейной регрессии статистически значимым;

2. если , то гипотезу следует принять и, следовательно, признать построенное уравнение статистически не значимым.

Значение определяется по таблице распределения Фишера при степенях свободы и уровне значимости 5%.

Кроме того, при выполнении предположений регрессионного анализа справедливы следующие утверждения:

1. статистика распределена по закону Стьюдента с степенями свободы (т.е. ), здесь , где — первый элемент, стоящий на главной диагонали матрицы ;

2. статистика распределена по закону Стьюдента с степенями свободы, (т.е.), здесь , где — -й элемент, стоящий на главной диагонали матрицы .

Правило проверки статистической значимости оценок и , основывается на проверке статистических гипотез и . Невозможность отклонения какой-либо из гипотез означает статистическую незначимость соответствующего коэффициента и, наоборот, отклонение какой-либо из гипотез означает, что соответствующий коэффициент статистически значим.

Правило проверки значимости коэффициента

Вычислить статистику . Статистика при выполнении гипотезы распределена по закону Стьюдента с степенями свободы, поэтому:

1. если , то гипотезу следует отклонить и, следовательно, признать коэффициент статистически значимым;

2. если , то гипотезу следует принять и, следовательно, признать коэффициент статистически незначимым.

Значение определяется из таблицы распределения Стьюдента при степенях свободы как критическая точка, соответствующая двусторонней критической области с уровнем значимости 5%.

Правило проверки значимости коэффициента

Вычислить статистику . Статистика при выполнении гипотезы распределена по закону Стьюдента с степенями свободы, поэтому:

1. если , то гипотезу следует отклонить и, следовательно, признать коэффициент статистически значимым;

2. если , то гипотезу следует принять и, следовательно, признать коэффициент статистически незначимым.

Значение определяется из таблицы распределения Стьюдента при степенях свободы как критическая точка, соответствующая двусторонней критической области с уровнем значимости 5%.

Экономическая интерпретация коэффициентов при объясняющих факторах та же, что и в случае парной регрессии. Коэффициент показывает, на сколько единиц изменится значение показателя, если значение фактора , соответствующего этому коэффициенту, увеличится на одну единицу, в то время как остальные факторы останутся неизменными.