Множественный регрессионный анализ.

В данном разделе эконометрики рассматриваются зависимости объясняемой переменной от двух и более объясняющих переменных , ,... Предполагается, что имеется наблюдений величины и величин , ,... , между которыми имеется связь вида

.

Здесь случайная величина, распределенная по нормальному закону с нулевым средним и среднеквадратичным уклонением . Будем считать, что коэффициент стоит при переменной , которая принимает все время одно и то же значение, равное 1. Тогда результаты наблюдений могут быть записаны в виде –мерного вектор—столбца и матрицы размера .

В матрице каждый столбец представляет собой результаты наблюдений одной из величин , , ,... . В предположении независимости наблюдений, можно показать, что статистической оценкой параметров , ,…, , имеющей наименьшую дисперсию, является мерный вектор .

Здесь и далее – транспонированная матрица . Уравнение линейной множественной регрессии имеет вид .

Раздельное влияние на объясняющих переменных характеризуется стандартизированными коэффициентами регрессии и коэффициентами эластичности ( ).

, ,

где , , , . Стандартизированный коэффициент регрессии является статистическим аналогом коэффициента корреляции зависимой переменной с –й объясняющей переменной . Коэффициент корреляции принимает значения из отрезка . Равенство этого коэффициента указывает на функциональную зависимость между переменными , . Наоборот, близость коэффициента корреляции к нулю позволяет сделать заключение о слабой зависимости между и . Коэффициент эластичности показывает, насколько процентов изменится в среднем значение величины при увеличении только одной переменной на 1%.

Коэффициент детерминации регрессии определяется по формуле

и показывает, какая доля в изменении зависимой переменной обусловлена влиянием переменных , ,... ( , соответственно, показывает долю стохастической части в зависимости ).

Зная коэффициент детерминации , можно проверить гипотезу о значимости уравнения регрессии на заданном уровне значимости . Гипотеза принимается, если выполнено неравенство ,

где, как и раньше,  критическая точка распределения ФишераСнедекора с вероятностью и числом степеней свободы и .

Выпишем формулы доверительных интервалов для параметров уравнения линейной регрессии, а также доверительные интервалы для среднего и индивидуального значений переменной при заданных значениях , ,... .

Определим точечную оценку параметра случайной величины в зависимости по формуле

.

Зададим доверительную вероятность . Доверительный интервал с доверительной вероятностью для –го коэффициента регрессии задается неравенством

, ,

где  критическая точка распределения Стьюдента с вероятностью и числом степеней свободы , а ,

(  элемент, стоящий на диагонали матрицы на –м месте).

Доверительный интервал с доверительной вероятностью для среднего значения переменной при заданных значениях переменных , , …, определяется формулой ,

где

,

Здесь  скалярное произведение векторов и .

Для индивидуальных значений переменной соответствующий доверительный интервал несколько больше: ,

где .

Задача 13.2. Имеются следующие данные о выработке литья на одного рабочего x₁ (т), браке литья x₂ (%) и себестоимости 1 т литья (т. руб.) по 10 литейным заводам:

I	1	2	3	4	5
	24	34	37	34	34
	10	7	12	7	19
yi	7	19	13	8	13

I	6	7	8	9	10
	27	41	24	24	37
	7	20	9	7	13
yi	8	20	15	12	9

В предположениях классической линейной модели требуется:

1) найти множественный коэффициент детерминации и пояснить его смысл;

2) найти уравнение множественной регрессии на x₁, x₂, и оценить значимость этого уравнения и его коэффициентов на уровне =0.05;

3) сравнить раздельное влияние на зависимую переменную каждой из объясняющих переменных, используя стандартизированные коэффициенты регрессии и коэффициенты эластичности;

4) найти 95 %-ные доверительные интервалы для коэффициентов регрессии, а также доверительные интервалы для среднего и индивидуального показателей значения себестоимости 1 т литья в цехах, в которых выработка литья на 1 рабочего составляет 17 т, а брак литья  7%.

Решение. По данным задачи выпишем вектор и матрицу , и определим коэффициенты уравнения линейной регресии.

Тогда

Найдем последовательно матрицу и вектор .

и, кроме того,

Теперь вычислим обратную матрицу .

Остается перемножить матрицу и вектор :

Таким образом, уравнение регрессии имеет вид: .

Найдем точечные оценки для всех имеющихся переменных.

,

,

,

Теперь мы в состоянии определить коэффициент детерминации уравнения регрессии

.

Вычислим сначала сумму

Отметим, что ,

откуда следует, что

Коэффициент детерминации интерпретируется как доля изменения зависимой переменной, обусловленная изменением независимых переменных, то есть в нашем случае изменение на 44.2% связано с изменением значений переменных и и на 55.8% со случайными факторами.

Чтобы проверить гипотезу о значимости уравнения регрессии на уровне значимости , воспользуемся критерием значимости

.

В нашем случае , ,

и условие значимости не выполняется, что означает, что на выбранном уровне значимости гипотезы (когда мы хотим, чтобы вероятность ошибки первого рода была достаточно мала) экспериментальные данные позволяют считать, что на самом деле линейная часть уравнения регрессии равна нулю, и разброс значений переменной связан только со случайными факторами.

Найдем стандартизированные регрессии и коэффициенты эластичности для каждой из объясняющих переменных. Имеем:

,

То, что выборочный коэффициент корреляции больше для переменной указывает на то, что в нашем примере второй параметр более тесно связан с независимой переменной, чем первый. Далее,

,

,

откуда можно сделать вывод, что при увеличении величины на 1% величина уменьшается на 12.2%, в то время как увеличение на 1% дает прирост на 56.1%.

Найдем 95 %-ный доверительный интервал для коэффициентов регрессии. Нам потребуется точечная оценка параметра стохастической части зависимости случайной величины от , :

(сумма 81.711 в числителе этой формулы была найдена ранее при вычислении коэффициента детерминации ).

Доверительные интервалы с доверительной вероятностью 0.95 для коэффициентов регрессии имеют вид

для коэффициента ,

для коэффициента ,

для коэффициента ,

где

,

элементы, стоящие на диагонали матрицы . Матрица была ранее найдена в явном виде, поэтому

С учетом того, что получаем три доверительных интервала для коэффициентов соответственно:

Определим теперь доверительные интервалы для среднего и индивидуального показателей значения себестоимости 1 т литья в цехах, в которых выработка литья на 1 рабочего составляет т, а брак литья  %. Формула для доверительного интервала для средних значений переменной имеет вид

,

Где ,

Получаем

,

Откуда .

Тем самым доверительный интервал определен:

.

Для индивидуальных значений переменной соответствующий доверительный интервал имеет вид: ,

где ,

откуда