Глава 4. Множественная линейная регрессия

4.1. Корреляционно - регрессионный анализ.

Корреляционно - регрессионный анализ является одним из наиболее широко распространенных и гибких приемов обработки статистических данных. Его появление связано с именем английского исследователя Фрэнсиса Гальтона, предложившего в 1795 году теоретические основы регрессионного анализа, а в 1801 г. Рассчитавшего траекторию движения планеты Церера.

В разные годы над теорией регрессионного анализа работали известные в области теоретической статистики ученые: Карл Фридрих Гаусс, Андриан Мари Лежандр, Карл Пирсон и др.

Многомерный анализ отличают процедуры обработки множественных характеристик, комплексно представляющих взаимосвязанные признаки (объекты). При этом во множественном регрессионном анализе:

- исследуется зависимость результативной величины – отклика (у) от нескольких независимых переменных- предикторов (Хj) , т. е. У=f(X₁, X₂, X_{3 ,… ,} X _m ) +ζ;

- выделяется понятие чистой регрессии – зависимости между парами предикторов из их множества при условии нивелирования действия остальных предикторов;

- учитывается возможность наличия тесных связей (когда коэффициент корреляции превышает уровень 0,7 – 0,8) между парами предикторов, искажающих конечные результаты регрессионного анализа. Это явление носит название мультиколлинеарности, устраняется оно одним из двух способов: один из пары предиктора, подверженных мультиколлинеарности, выводится из модели или заменяется другим новым предиктором – новым факторным признаком;

- существует необходимость установления определенного соотношения между числом наблюдаемых объектов и числом предикторов. Корректное проведение анализа требует обычно, чтобы это соотношение было 6-8 к 1;

- принимается во внимание, что при числе предикторов, превышающем два, графическое изображение результата регрессионного анализа становится невозможным и все выводы формируются в ходе формального решения аналитической задачи;

- в связи с тем, что во множественном корреляционно-регрессионном анализе определяется большое число параметров, проверке на достоверность подлежат не только регрессионная модель в целом, но и каждый из его параметров.

Множественная линейная регрессия представляет собой выражение

_(4.1.1.)

Для случая =2 по результатам наблюдений система нормальных уравнений, полученная

Методом наименьших квадратов будет иметь вид:

(4.1.2.)

Дальнейшие рассуждения удобно вести, используя следующие матричные обозначения:

 

(4.1.3.)

Система нормальных уравнений имеет вид:

. (4.1.4.)

При условии, что – невырожденная матрица, решение системы можно записать в виде _(4.1.5.)

Ковариационная матрица оценок параметров регрессионной модели будет равна

_(4.1.6.)

Дисперсии параметров модели определяются соотношением

Во множественной линейной регрессии предпосылки регрессионного анализа и его проведение полностью совпадают с простой линейной регрессией. Особенностью множественной регрессии является корреляция независимых переменных. Желательно избегать включения в модель линейно зависимых переменных.