3.8. Множественный регрессионный анализ

Экономические явления, как правило, определяются боль­шим числом одновременно и совокупно действующих факторов. В связи с этим часто возникает задача исследования зависимо­сти одной зависимой переменной Y от нескольких объясняющих переменных . Эта задача решается с помощьюмноже­ственного регрессионного анализа.

Множественное линейное уравнение регрессии имеет вид:

(3.49)

где неизвестные параметры модели;случайная ошибка модели, обусловленная влиянием неучтенных факторов в модель, а также случайными ошибками наблюдении.

Для определения неизвестных параметров модели множественной регрессии из генеральных совокупностей сформированы две выборки объемами n:

Подставляя эти выборки в модель регрессии (3.49) получим систему уравнении множественной линейной регрессии:

(3.50)

Включение в регрессионную модель новых объясняющих пе­ременных (факторов) усложняет получаемые формулы и вычисления. Это приводит к целесообразности использования матричных обозначе­ний. Матричное описание регрессии облегчает как теоретические концепции анализа, так и необходимые расчетные процедуры.

Введем обозначения: вектор столбец, значений зависимой переменной размера n;

— матрица значений объясняющих переменных, или матрица плана размера ;

вектор столбец, параметров размера (k+1);

вектор столбец, возмущений (случайных ошибок, остатков) размера п.

Тогда в матричной форме модель (3.50) примет вид:

. (3.51)

Оценкой этой модели по выборке является уравнение

, (3.52)

где ,.

Для оценки вектора неизвестных параметров применимметод наименьших квадратов. Так как произведение транспони­рованной матрицы на саму матрицу

то условие минимизации остаточной суммы квадратов запишет­ся в виде:

. (3.53)

Учитывая, что при транспонировании произведения матриц получается произведение транспонированных матриц, взятых в обратном порядке, т.е. , получим после раскрытия ско­бок:

. (3.54)

Произведение есть матрица размера , т.е. величина скалярная, следовательно, оно не меняется при транспонировании:. По­этому условие минимизации (3.54) примет вид:

.

На основании необходимого условия экстремума функции не­скольких переменных , представляющей(3.55), необ­ходимо приравнять к нулю частные производные по этим пере­менным или в матричной форме — вектор частных производных

. (3.55)

Таким образом, встает задача найти минимум этой функций. Для этого выражение (3.55) следует продифференцировать по векторному аргументу и полученное выражение приравнять к нулю, то есть:

Отсюда получается следующее выражение:

Данная система уравнений называется нормальной системой уравнений регрессии. Требуется ввести обозначения: матрица коэффициентов нормальных уравнений,вектор-столбец свободных членов нормальных уравнений регрессии.

С учетом введенных обозначений нормальная система уравнений регрессии перепишется в окончательном виде:

(3.56)

Для решения матричного уравнения (3.56) относительно вектора оценок параметров необходимо ввести пред­посылку для множественного регрессионного анализа: матрица является неособенной,т.е. ее определитель не равен нулю. Следовательно, ранг матрицы равен ее порядку, т.е. . Из матричной алгебры известно, что , значит, , т.е. ранг матрицы плана равен числу ее столбцов.

Кроме того, полагают, что число имеющихся наблюдений (значений) каждой из объясняющих переменных превосходит ранг матрицы , т.е. или , ибо в противном случае в принципе невозможно получение сколько-нибудь на­дежных статистических выводов.

Если матрица коэффициентов нормальных уравнений хорошо обусловлена и обратима, то можно получить решение системы (3.56), например, в виде:

(3.57)

где - обратная матрица, соответствующая условиям:

где - единичная матрица соответствующих размеров.

Зная вектор, модель уравнения множественной рег­рессии можно представить в виде:

(3.58)

Преобразуем вектор оценок (13.26) с учетом (13.23) получим:

,

Откуда

, (3.59)

т. е. оценки параметров (3.59), найденные по выборке, будут содержать случайные ошибки.

Пример 13.4. Имеются следующие данные (условные) о сменной добыче угля на одного рабочего Y(t), мощности пласта Х\ (м) и уровне механизации работ Х₂ (%), характеризующие процесс добычи угля в 10 шахтах.

Таблица 13.6

1 2 3 4 5	8 11 12 9 8	5 8 8 5 7	5 10 10 7 5	6 7 8 9 10	8 9 9 8 12	8 6 4 5 7	6 6 5 6 8

Предполагая, что между переменными , и существует линейная корреляционная зависимость, найти ее аналитическое выражение (уравнение регрессии , по и .

Решение. Обозначим

, ,

(напоминаем, что в матрицу плана X вводится дополнительный столбец чисел, состоящий из единиц).

Решение системы уравнении найдем методом псевдонормального решения:

, (3.60)

где псевдообратная матрица к исходной матрице .

Псевдообратную матрицу найдем по рекурсивному алгоритму (№№№) и она равна:

Тогда по формуле (13.29) найдем вектор столбец параметров регрессии:

.

С учетом (13.27) уравнение множественной регрессии имеет вид:

. (13.30)

Уравнение множественной регрессии (13.30) показывает, что при увели­чении только мощности пласта (при неизменном ) на 1 м, добыча угля на одного рабочего Y увеличивается в среднем на 0,854 т, а при увеличении только уровня механизации работ на 1% (при неизменной ) в среднем на 0,367 т.

Добавление в регрессионную модель новой объясняющей переменной изменило коэффициент регрессии (Y по ) с 1,016 для парной регрессии (см. пример 13.1) до 0,854 — для множественной регрессии. В этом никакого противоречия нет, так как во втором случае коэффициент регрессии позволяет оценить прирост зависимой переменной Y при изменении на единицу объясняющей переменной в чистом виде, независи­мо от . В случае парной регрессии учитывает воздействие на Y не только переменной , но и косвенно корреляционно связанной с ней переменной . ►

На практике часто бывает необходимо сравнение влияния на зависимую переменную различных объясняющих переменных, когда последние выражаются разными единицами измерения. В этом случае используют стандартизованные коэффициенты регрессии и коэффициенты эластичности :

. (13.31)

. (13.32)

Стандартизованный коэффициент регрессии показывает, на сколько величин изменится в среднем зависимая переменнаяY при увеличении только j-й объясняющей переменной на , а коэффици­ент эластичности на сколько процентов (от средней) изме­нится в среднем Y при увеличении только на 1%.