Множественная регрессия.

Множественная регрессия широко используется в решении проблем спроса, доходности акций, при изучении функции издержек производства, в макроэкономических расчетах. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.

Построение уравнения множественной регрессии начинается со спецификации модели. Она включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии.

Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям:

• Они должны быть количественно измеримы. Если необходимо включить в модель фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность (например, в модели стоимости объектов недвижимости учитывается место нахождения недвижимости: районы ранжируются).

• Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи.

Включение в модель факторов с высокой интеркорреляцией может привести к тому, что система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.

Модель множественной регрессии

Рассмотрим модель множественной регрессии в классических предположениях Гаусса-Маркова.

Пусть имеется k регрессоров - матрица размерности .

, .

.

Геометрическая теория та же. Отличие в коэффициенте .

Если добавить k+1 регрессор, то коэффициент детерминации увеличивается.

.

Поэтому чаще пользуются скорректированным коэффициентом детерминации

.

Подобных формул для корректировки коэффициента детерминации можно изобрести бесконечное множество. Например существуют следующие коэффициенты:

, (критерий Акаике)

. (критерий Шварца)

Если нет содержательных идей по выбору модели, то можно подойти формально.

Пример.

Модели соответствует коэффициент .

Для модели , коэффициент детерминации другой, так как отличается TSS.

Итак, из выше сказанного следует вывод, нельзя сравнивать модели с разными левыми частями.

Тест – линейное ограничение на коэффициенты

Рассмотрим стандартную модель множественной регрессии

.

И проверим нулевую гипотезу с линейными ограничениями на коэффициенты:

Это соответствует следующей записи в матричном виде:

,

H имеет размерность , где q – количество ограничений.

Составим

.

Здесь, R – restricted – модель с ограничениями, UR – unrestricted, модель без ограничений, т.е. ограничения не учтены в начальной регрессии.

Так в данном случае модель R будет иметь вид:

тогда статистика имеет распределение Фишера с соответствующими степенями свободы. При этом обычно выделяют область больших значений.

В силу близости регрессии с ограничениями и без ограничений получаются маленькие значения статистики.

Тест Чоу (Chow) – тест на структурные изменения

В качестве примера можно рассмотреть модель зависимости зарплаты от уровня образования и разделить в этой модели мужчин и женщин.

Допустим, выборка состоит из m+n наблюдений, причем m – мужчины, а n – женщины. Тогда регрессии будут иметь вид:

по всем наблюдениям, тогда остаток – ESS.

Аналогично можно провести регрессию по мужчинам и женщинам в отдельности:

,

.

Тогда этим регрессиям соответствуют остатки и .

Теперь попытаемся выяснить наличие дискриминации, необходимо проверить гипотезу о равенстве коэффициентов регрессий по мужчинам и женщинам.

.

Составим отношение:

.