4.3. Влияние на качество модели множественной регрессии избыточных переменных и отсутствия существенных переменных Пусть истинная модель представляется в виде:

а мы считаем, что моделью является регрессионное уравнение

и рассчитываем оценку величины b₁ по формуле

вместо формулы

В целом проблемы смещения оценки здесь нет, но в общем случае оценка будет неэффективной в смысле наличия большей дисперсии, чем при правильной спецификации. Это легко понять интуитивно. Истинная модель может быть записана в виде

Здесь b₁ будет являться несмещенной оценкой параметра β₁, а b₂ будет несмещенной оценкой нуля (при выполнении условий Гаусса-Маркова).

Утрата эффективности в связи с включением x₂ в случае, когда она не должна быть включена, зависит от корреляции между x₁ и x₂.

Сравним (см. табл. 4.1):

таблица 4.1

Парная регрессия

Множественная регрессия

Дисперсия окажется большей при множественной регрессии, и разница будет тем больше, чем коэффициент парной корреляции будет ближе по модулю к единице.

Теперь, пусть переменная y зависит от двух факторов x₁ и x₂:

однако мы не уверены в значимости фактора x₂, и

поэтому мы запишем уравнение регрессии так:

или

Если выбросить x₂ из регрессионной модели, то x₁ будет играть двойную роль – отражать свое прямое влияние на объясняемую переменную y и заменять фактор x₂ в описании его влияния. Это опосредованное влияние величины x₁ на y будет зависеть от двух обстоятельств: от видимой способности переменной x₁ имитировать поведение x₂ и от прямого влияния x₂ на y. Способность переменной x₁ объяснять поведение переменной x₂ определяется коэффициентом наклона h линии псевдорегрессии:

Величина коэффициента h рассчитывается при помощи обычной формулы для парной регрессии

Влияние х₂ на у определяется в адекватном уравнении регрессии коэффициентом b₂, и таким образом, эффект имитации посредством величины b₂ может быть записан как (прямое влияния величины х₁ на у описывается с помощью b₁).

При оценивании регрессионной зависимости у от х₁ (без включения в нее переменной х₂) коэффициент при х₁ определяется формулой:

При условии, что величина х₁ не является стохастической, ожидаемым значением коэффициента при х₁ будет сумма первых двух членов последней формулы. Присутствие 2-го слагаемого предполагает, что математическое ожидание коэффициента при х₁ будет отличаться от истинной величины b₁, то есть, другими словами, оценка будет смещенной. Величина смещения определится выражением:

Направление смещения определяется знаками b₂ и cov(x₁,x₂); иногда смещение бывает настолько сильным, чтобы заставить коэффициент регрессии сменить знак.

Если то смещение исчезает.

Другим серьезным следствием невключения переменной, которая на самом деле должна присутствовать в регрессии, является то, что формулы для стандартных ошибок коэффициентов и тестовые статистики, вообще говоря, становятся неприменимыми.

4.4. Оценка параметров модели множественной регрессии

Параметры модели в классическом варианте оценивают с помощью МНК. Предпосылки для МНК в множественной регрессии:

1. математическое ожидание остатков во всех наблюдениях равняется нулю ;

2. отсутствие гетероскедастичности остатков

;

3. отсутствие автокорреляции в остатках

;

4. объясняющие переменные детерминированы, а у – объясняемая переменная, случайна и остатки не коррелируют с объясняющими переменными.

5. остатки должны быть распределены нормально: ε_i ~ N (0; σ);

6. регрессионная модель должна быть линейна относительно параметров;

7. отсутствие интеркорреляции и мультиколлинеарности

Уравнение множественной регрессии выглядит следующим образом:

Обратившись к матричной форме записи можно увидеть, что система нормальных управлений (СНУ), для такой множественной линейной модели будет иметь такой вид:

В матричной форме вектор оценки параметров запишется:

Дисперсия остатков отыскивается так:

Эти формулы справедливы для классического МНК при гомоскедастичности остатков и отсутствии автокорреляции в остатках.

Модель, где все факторы, присутствуют в масштабах своих единиц измерения, не позволяет сравнить (оценить) степень вклада каждого фактора в результат, поэтому для исключения этого недостатка строят уравнения с использованием стандартизованных переменных и коэффициентов.

Коэффициенты регрессии такой модели имеют тот же смысл, что и в парной регрессии, только каждый коэффициент отвечает за свой фактор. Они показывают на сколько своих СКО изменится в среднем результат y, если соответствующий фактор изменится на одно свое СКО при неизменном среднем уровне остальных факторов.

Долю влияния j–го фактора в суммарном влиянии всех факторов можно оценить по величине дельта–коэффициентов :

Качество уравнения множественной регрессии можно оценить с помощью коэффициента множественной корреляции или его квадрата - коэффициента детерминации:

Если число наблюдений n недостаточно велико по сравнению с количеством факторов p, то величина R² считается завышенной и в таких случаях вычисляют исправленное значение R².

.