2.2. Множественный регрессионный анализ

Если в регрессионном анализе рассматривается пара переменных (одна зависимая, одна независимая), то говорят о парной или простой регрессии. Если независимых переменных более одной, то говорят о множественной регрессии.

2.2.1. Метод наименьших квадратов и его предпосылки

Рассмотрим уравнение линейной множественной регрессии. Уравнение генеральной совокупности или модель регрессии запишем в виде

, (t =), (2.1)

где – значения зависимой переменной с номеромt;

–значения независимых переменных с номером t;

–параметры уравнения регрессии, – константа или свободный член уравнения регрессии,– коэффициенты уравнения регрессии;

–значения случайного члена уравнения регрессии.

Предполагается, что ε_t независимы и нормально распределены с нулевым математическим ожиданием и постоянной дисперсией , т. е.N(0,).

Термины «зависимая» и «независимые» для переменных не совсем удачны и означают лишь, что в этом случае значения зависимой переменной оцениваются на основе известных значений независимых переменных.

Приведём предпосылки спецификации классической регрессионной модели:

эндогенная, зависимая переменная объясняется m экзогенными, независимыми переменными;

в общем случае уравнение регрессии включает константу;

объём выборки n должен быть значительно больше числа объясняющих переменных m (считается, что каждый регрессор должен быть обеспечен не менее 6–7 наблюдениями);

разность n–m–1 называется числом степеней свободы модели; чем она больше, тем надёжнее результаты оценивания;

параметры уравнения регрессии должны быть постоянными для всей выборки; это положение зачастую определяет выборку.

Кроме предпосылок спецификации модели необходимо выполнение ещё и предпосылок метода наименьших квадратов (МНК). Как известно, оценки параметров модели линейной регрессии обычно рассчитываются на основе МНК. Доказано, что эти оценки будут «хорошими», т.е. несмещёнными, эффективными и состоятельными, если будут выполняться следующие предпосылки относительно поведения остаточного члена :

математическое ожидание равно нулю для всехt, т.е. M() = 0;t;

дисперсия постоянна, т.е.D() = 0t, в этом случае говорят, что в остатках наблюдается гомоскедастичность; в противном случае – гетероскедастичность;

случайные отклонения инезависимы друг от друга дляts, в этом случае говорят, что в остатках отсутствует какая-либо автокорреляция;

регрессоры и остатки должны быть независимыми.

Кроме основных предпосылок, рассматриваются ещё две дополнительные – отсутствие между регрессорами сильной линейной зависимости (совершенной мультиколлинеарности) и что N(0,E_n). Последняя предпосылка не влияет на качество оценок и необходима для проверки статистических гипотез и построения интервальных оценок.

Одна из задач эконометрики – тестирование выполнимости предпосылок и выработка методов оценивания при их нарушениях.

Оцененное уравнение регрессии будем записывать так:

, (t = ). (2.2)

Здесь – оценки параметров уравнения регрессии, а– выборочная реализация случайного процесса.

Представим уравнение генеральной совокупности и оценённое уравнение регрессии в матричной форме. Введём следующие обозначения:

Y = ,X = ,b = ,e = , и т. д.

Тогда уравнения регрессии (2.1) и (2.2) в матричной форме примут вид

Y = X + иY = Xb + e. (2.3)

МНК-оценки параметров уравнения (2.1) рассчитываются из условия минимизации по b квадратичной формы:

Q(b) = e = (Y – Xb)^T(Y – Xb) = Y^TY – 2Y^TXb – b^TX^TXb.

Продифференцируем Q(b) по b и приравняем результат к нулю:

= –2X^TY – 2X^TXb = 0.

Откуда имеем

b = . (2.4)

Это и есть МНК-оценка параметров уравнения (2.1).

Кроме того, известно, что несмещённая оценка дисперсии случайного членаравна

= ==,

где – оценённые по уравнению (2.2) значения зависимой переменной.