УП Основы эконометрики

Глава 3. Многомерная регрессионная модель

Естественным обобщением регрессионной модели с двумя переменными является многомерная регрессионная модель или модель множественной регрессии. В этой главе регрессионный анализ по методу наименьших квадратов обобщается для случая, когда в модели вместо одной независимой переменной-фактора используется несколько независимых переменных-факторов количественной и качественной природы.

3.1. Линейная модель множественной регрессии

Начнем с рассмотрения примера, в котором определяются факторы совокупного спроса на продукты питания. Расширим первоначальную модель (см. п. 2.1), чтобы учесть влияние ценовых изменений на спрос, и , допустим, что истинную зависимость можно выразить следующим образом:

где y - общая величина расходов на питание, x - располагаемый личный доход, а p - цена продуктов питания.

Геометрическая иллюстрация этой зависимости представлена на рис.

3.1.

x

p

Рис. 3.1. Истинная модель с двумя независимыми переменными: расход как функция дохода и цены

Основание этой диаграммы содержит оси для x и p , и если пренеб-

речь текущим влиянием случайной составляющей ε , то наклонная плоскость над ним показывает значение y , соответствующее любому сочета-

нию x и p и равное расстоянию от данной точки (x, p) до этой плоско-

41

сти. Так как расходы на питание могут увеличиваться с ростом доходов и уменьшаться с увеличением цены, изображение на рис. 3.1. построено с учетом того, что b1 > 0 , а b2 < 0 . Если x = 0 и p = 0 , то y = a . При сохранении p = 0 уравнение (3.1) означает, что для любого положительного

дохода y = a + b1x , и на рисунке приращение b1x обозначено как «чистый

эффект дохода». При сохранении x = 0 уравнение означает, что для любой положительной цены y = a + b2 p , приращение b2 p на рисунке обо-

значено как «чистый эффект цены». Поскольку b2 на практике является

отрицательной величиной, отрицательным будет и этот эффект. Показан также комбинированный эффект дохода и цены (b1x + b2 p).

Если пренебречь случайной составляющей, то значения y в выборке наблюдений для y , x и p будут находиться точно на наклонной плоско-

сти. Учет случайного члена приводит к тому, что мы имеем разброс точек, соответствующих фактическим наблюдениям, относительно этой плоскости. Следовательно, теперь мы имеем трехмерный аналог для двумерной задачи, показанной на рис. 2.1. Вместо нахождения линии, соответствующей двумерному рассеянию точек, мы теперь должны расположить плоскость так, чтобы она соответствовала трехмерному рассеянию. Уравнение для выбранной плоскости будет иметь вид:

Как и в случае парной регрессии, мы стремимся получить оптимальные оценки для неизвестных истинных значений параметров, чтобы обеспечить наилучшее соответствие результатам наблюдений.

Рассмотрим теперь общую линейную модель с k переменными. Пусть существует линейное соотношение между объясняемой переменной y , (k −1) объясняющими переменными-регрессорами x2 , x3 K, xk , и

случайным возмущением (ошибкой) ε . Если мы имеем выборку n наблюдений над этими переменными, то можно записать

Коэффициенты bi и параметры распределения случайной величины

ε неизвестны. Наша задача состоит в получении наилучших их оценок. Гипотезы, лежащие в основе многомерной регрессионной модели,

являются естественным обобщением двумерной модели:

1. yi =b1 + b2 xi2 +K+ bk xik + εi , i =1,K,n - спецификация модели,

(то есть можно различать модели со свободным членом вида (3.2) или без свободного члена; очевидно, в модели (3.2) переменная xi1 =1 для всех i =1,K,n ).

42

рованность) ошибок для разных наблюдений.

3с. εi N(0,σ 2 ), т. е. εi - нормально распределенная случайная величина со средним 0 и дисперсией σ 2 .

Вэтом случае модель называется нормальной линейной регрессион-

ной.

Вдальнейшем, стремясь к наибольшей компактности изложения, будем использовать матричные обозначения.

объясняющих переменных.

Условия 1 – 3 в матричной записи выглядят следующим образом:

1.Y = XB + ε – спецификация модели;

2.X - детерминированная матрица, имеющая максимальный ранг k , rankX = k .

3a.b. M (ε)= 0 , V (ε)= M (εεT )=σ 2 In

(здесь матрица V (ε) называется матрицей вариаций или матрицей дис- персий-ковариаций: диагональные элементы этой матрицы равны дис-

персиям ошибок σ 2 , внедиагональные элементы характеризуют корреляционные связи; через In обозначена n × n единичная матрица).

Дополнительное условие

3с. ε N(0,σ 2 In ).

В случае выполнения предпосылок 1 – 3с имеем нормальную линейную модель множественной регрессии.

3.2. Оценивание неизвестных параметров модели

Как и в случае регрессионного уравнения с одной переменной (см. п.

2.2) оценки неизвестных параметров ˆi модели (3.3) находятся по методу b

наименьших квадратов из условия минимума суммы квадратов ошибок наблюдений:

43

Необходимые условия экстремума дают систему нормальных уравнений:

Или в матричных обозначениях:

X T Y + X T XB = 0 .

Откуда, учитывая существование матрицы (X T X )−1 в силу условия 2

( det(X T X )≠ 0 ), находим МНК-оценку для вектора неизвестных параметров

(Сравните с аналогичной формулой (2.5), полученной для регрессионного уравнения с одной независимой переменной, и попытайтесь получить ее, используя общее решение в матричном виде).

При выводе этой формулы мы учли, что M (εεT )=σ 2 In (условие 3b) и

что (X T X )T = X T X .

44

Реально величина σ 2 , характеризующая дисперсию ошибок наблю-

дений, неизвестна. Получим сейчас ее несмещенную оценку σˆ 2 = S 2 . Минимальное значение величины R в (3.4) получится тогда, когда

Найдем математическое ожидание от Rmin . Для этого воспользуемся тем, что если мы имеем квадратичную форму

Следовательно,

M (Rmin )=σ 2 (n − k ).

Теперь мы можем указать несмещенную оценку для величины σ 2 :

45

Действительно, по только что доказанному соотношению, M (S 2 )=σ 2 .

Формула (3.8) позволяет записать оценку матрицы вариаций (3.6) и тем самым оценку дисперсий МНК-оценок неизвестных параметров модели:

МНК-оценки (3.5) обладают также наименьшей дисперсией в классе линейных несмещенных оценок, т. е. являются наиболее эффективными (теорема Гаусса-Маркова [3,4,9]).

3.3. Доверительные интервалы и проверка

статистических гипотез

Статистический анализ множественной линейной регрессии для нормальной модели производится по аналогии с тем, как это делалось в случае двумерной модели.

Проверка гипотезы H0 : bi = bi0 по t -критерию, статистика которого

выполняется для коэффициентов множественной регрессии так же, как это делается в парном регрессионном анализе (см. п. 2.3). Отметим, что критическая точка tкр. = t(α,n − k ) при любом уровне значимости α зави-

сит от числа степеней свободы, которое равно (n − k ), где n - число на-

блюдений, k - число оцененных параметров модели.

Доверительные интервалы определяются точно так же, как и в случае двумерной регрессионной модели, с учетом замечания относительно числа степеней свободы. Так, доверительный интервал вида

покроет истинное неизвестное значение параметра bi с доверительной вероятностью или надежностью γ =1 −α .

46

Очевидно гипотеза H0 : bi = bi0 будет принята с уровнем значимости

α , если соответствующий доверительный интервал содержит гипотетическое значение bi0 .

Отметим, что проверка значимости коэффициентов регрессии или значимости влияния регрессоров – это проверка гипотез H0 : bi = 0 . Рег-

рессор принимается статистически незначимым, если доверительный интервал для соответствующего коэффициента регрессии покрывает нуль.

3.4. Качество модели: дисперсионный анализ

и коэффициент R2

Качество оценивания многомерной регрессии, как и в случае регрессионной модели с одной независимой переменной, можно определить дисперсионным анализом в модели и с использованием коэффициента

детерминации R2 .

Общая сумма квадратов SSобщ. = ∑n (yi − y)2 разбивается здесь на

i =1

две части: объясненную регрессионным уравнением и не объясненную (т. е. связанную с ошибками εi ):

как H0 : b2 =K= bk = 0 (мы предполагаем, что в число регрессоров вклю-

чена константа – свободный член), т. е. нулевая гипотеза состоит в том, что коэффициенты при всех регрессорах равны нулю.

Для проверки этой гипотезы используется критерий, статистика которого

имеет распределение Фишера с соответствующими числами степеней свободы.

Если F0 > Fкр.(α;k −1, n − k ), гипотеза H0 отвергается на уровне зна-

чимости α ; уравнение в целом значимо и оцененная линейная множественная регрессия

пригодна для описания зависимости между y и x2 ,K, xk .

47

Вычисления, необходимые для дисперсионного анализа множественной регрессии, обычно сводят в таблицу (табл. 3.1).

Таблица 3.1 Регрессионный анализ множественной регрессии

Коэффициент R2 [0,1] показывает качество подгонки регрессионной модели к наблюденным значениям yi .

Если R2 = 0 , то регрессия не улучшает качество предсказания yi по сравнению с тривиальным предсказанием yˆi = y . Другой крайний случай

R2 =1 означает точную подгонку: все точки наблюдений лежат на регрес сионной плоскости.

Определенная в (3.12) F -статистика с учетом коэффициента детерминации R2 определится как

48

Заметим, что при добавлении еще одного регрессора или еще одной

объясняющей переменной к уравнению регрессии коэффициент R2 , вообще говоря, возрастает. Если взять число регрессоров равным числу

наблюдений, всегда можно добиться того, что R2 =1, но это вовсе не будет означать, что существует содержательная, имеющая экономический смысл зависимость y от регрессоров. Для того, чтобы устранить эффект,

связанный с ростом R2 при возрастании числа регрессоров, вводится

Корректировка R2 на число регрессоров оправдана тем, что числитель дроби в (3.14) есть несмещенная оценка дисперсии ошибок, а знаменатель – несмещенная оценка дисперсии y .

Использование скорректированного коэффициента детерминации R 2 более корректно для сравнения регрессий при изменении числа регрессоров. Однако следует иметь в виду, что иногда даже плохо определенная модель регрессии может дать высокий коэффициент детерминации

R2 , и признание этого факта привело к снижению значимости R2 . Теперь он рассматривается лишь как один из показателей, который должен быть проверен при построении модели регрессии. Следовательно, и корректировка этого коэффициента мало что дает.

3.5. Интерпретация коэффициентов

множественной регрессии

Множественный регрессионный анализ позволяет разграничить влияние независимых переменных, допуская при этом возможность их коррелированности (проблема наличия связи между регрессорами или их мультиколлинеарность будет обсуждаться в п. 4.1.). Коэффициент рег-

49

рессии при каждой переменной x дает оценку ее влияния на величину y

в случае неизменности влияния на нее всех остальных переменных x . Так, например, в оцененной регрессии

зующими абсолютное (в натуральных единицах измерения) изменение объясняемой переменной y при изменении каждого из x1 и x2 соответ-

ственно на единицу своего измерения при фиксированном влиянии второй переменной.

Относительными показателями силы связи в уравнении множественной регрессии являются частные коэффициенты эластичности:

где x j и y - выборочные средние величины объясняющей переменной x j и результирующего показателя y соответственно, значения которых подсчитаны в ходе статистического анализа рассматриваемой регресси-

среднего уровня.

Пример 3.1. На предприятиях Российской Федерации изучалась зависимость объема производства (y) от капитальных вложений (x1 ) и вы-

полнения нормы выработки (x2 ). Исходные данные для 14 предприятий

приведены в табл. 3.2.

В данном примере мы располагаем пространственной выборкой объема n =14 ; число объясняющих переменных k = 2 . Специальный анализ технологий сбора исходных статистических данных показал, что гипотеза о взаимной некоррелированности и гомоскедастичности ошибок наблюдений может быть принята. Поэтому мы можем записать уравнения статистической связи между yi и xi1, xi2 в виде

yi = b0 + b1xi1 + b2 xi2 + εi, i =1,K,14

с выполнением условий 2 - 3с (см. п. 3.1.).

Матрица X будет составлена из трех столбцов размерности 14 каждый; в качестве первого столбца используется вектор, состоящий из единиц, а столбцы 2 и 3 представлены соответственно 3 и 4 столбцами табл. 3.2. Вектор-столбец Y определяется 2-м столбцом табл.3.2.

50