7. Множественная линейная регрессия

Множественная регрессия используется в случаях, когда результирующий признак вероятностно зависит сразу от нескольких факторов, примером чего может служить стоимость подержанного автомобиля. Выявление влияющих факторов и оценка степени этого влияния и есть основная задача множественного регрессионного анализа. В простейшем линейном случае регрессионная модель имеет вид

(7.1)

К факторам, включаемым в уравнение регрессии, предъявляется ряд требований, важнейшими из которых являются: отсутствие заметной корреляции между ними и, наоборот, наличие корреляции с результирующим признаком у всех без исключения факторов. Грубо суммарное влияние учтенных факторов можно оценить по коэффициенту детерминации R², неучтенных – по величине ОСК S². Если при р факторах были получены значения R²(p) и S²(p), то включение в уравнение регрессии дополнительного (р+1)-го фактора оправдано лишь в случае

одновременного соблюдения неравенств R²(p+1) > R²(p) и S²(p+1) < S²(p). Следует заметить, что включение дополнительного фактора, как минимум, не уменьшает величину R².

Порождаемая МНК система нормальных уравнений для нахождения параметров регрессии (7.1) имеет вид

(7.2)

Она содержит (р+1) уравнений, что вполне достаточно для нахождения такого же числа неизвестных. Если ввести матрицы

то решение системы (7.2) в матричном виде имеет вид

, (7.3)

где Т – знак транспонирования матрицы.

В таблице 7.1 представлены данные по выпуску продукции в стоимостном выражении y в зависимости от числа работников x₁ и объема производственных фондов x₂.

Табл. 7.1

y, тыс.руб	8,2	60,3	3,1	164
x1, чел	3	20	1	55
x2, тыс.руб	2,72	20,1	1	54,6
Y	8,26	60,4	3,0	164

Представленные выше матрицы для этого примера имеют вид

; (7.4)

Решение , что порождает вектор , составляющие которого даны в последней строке табл. 7.1.

На первый взгляд модель прекрасна, но это только на первый взгляд. На самом деле из-за явной корреляции между факторами х₁, х₂ в модель следовало бы включить только один из них. Допустим, что фонды это станки, причем стоимость одного станка приблизительно 1 тыс. руб. Тогда, например, в ситуации х₁ = 3, х₂ = 54,6 модель даст значение выработки 3 х 0,294 + 54,6 х 2,71 ≈ 149 тыс. руб. На самом деле три человека не смогут работать сразу на 55 станках и фактическая выработка будет приблизительно 3 х 0,294 + 3 х 2,71 ≈ 9 тыс. руб., т.е. погрешность модели в этом случае будет составлять тысячи процентов.

Проверка значимости множественной регрессии в целом осуществляется, как и в случае парной линейной регрессии, с помощью таблицы дисперсионного анализа, однако число степеней свободы у РСК теперь становится равным числу факторов модели p, а у ОСК – (n – 1 – p). Собственно парную регрессию можно рассматривать как частный случай множественной, у которой p = 1.

Следует отметить, что в множественном регрессионном анализе, также как и в нелинейной регрессии, используются понятия индекса множественной корреляции(совокупного коэффициента корреляции, линейного коэффициента множественной корреляции) как корня квадратного из коэффициента детерминации R², а также частного коэффициента корреляции (ЧКК) R_m, показывающего влияние m-го фактора на результирующий признак при элиминировании(исключении влияния) всех других факторов модели. Для этого все факторы модели, за исключением m-го, в уравнении (7.1) заменяются на свои средние значения, в результате чего образуется фактически уравнение парной регрессии. Далее вычисляется обычный коэффициент детерминации , а корень квадратный из него и называется ЧКК. Очевидно, что диапазон его возможных значений [0,1]. В зависимости от числа элиминируемых факторов определяют ЧКК первого порядка(устраняется влияние одного фактора), второго порядка – элиминируются два фактора и т.д.