3.2. Вывод и интерпретация коэффициентов множественной регрессии

Как и в случае парной регрессии, мы выбираем также значения коэффициентов регрессии, чтобы обеспечить наилучшее соответствие наблюдениям в надежде получить оптимальные оценки для неизвестных истинных значений параметров. Как и прежде, наше определение оптимальности соответствия определяется минимизацией RSS, т.е. суммы квадратов отклонений:

RSS= (3.3)

где e_i является остатком в наблюдении i, разницей между фактическим значе­нием Y_i в этом наблюдении и значением Y_i прогнозируемым по уравнению регрессии:

Y_i = b₁+ b₂X_2i + b_iX_3i (3.4)

e_i=Y_i-Y_i=Y_i-b_x-b₂X_2i-b_iX_3i. (3.5)

Отметим, что теперь переменные X имеют два нижних индекса. Первый означает номер переменной X, а второй относится к номеру наблюдения. Используя уравнение (3.5), мы можем записать:

RSS= = (3.6)

Вставка 3.1. Что случилось сХ₁?Вы могли заметить, что переменная X отсутствует в общей модели регрессии

Y_i = β₁+ β₂X_2i+…+ β_kiX_ki + u_i

Почему так? Причина здесь — в необходимости сделать обозначения анало­гичными обозначениям в учебниках, использующих линейную (матричную) алгебру. В вашем следующем курсе эконометрики наверняка будет использо­ваться такой учебник. Для изложения с использованием линейной алгебры не­обходимо, чтобы каждый член в правой части уравнения был произведением параметра и переменной. Если в модели есть постоянный член, как здесь, то можно исправить ситуацию, записав уравнение в виде:

Y_t = β₁X_1i+ β₂X_2i+ β_k X_ki+ u_i

где Х_1i = I для всех наблюдений. При использовании обычной алгебры чаще всего нет необходимости вводить X₁ в явной форме, и поэтому этой переменной нет. Единственный случай в этом учебнике, когда такая переменная может быть полезной, встретится при обсуждении «ловушки» фиктивных переменных в разделе 5.2.

Необходимые условия первого порядка для минимума, т.е. , дают следующие уравнения:

(3.7)

(3.8)

(3.9)

Следовательно, мы имеем три уравнения с тремя неизвестными: b₁ b₂ и b₃ . Первое уравнение можно легко перегруппировать для выражения величины b₁ через b₂ b₃ и данные наблюдений для У, Х₂ и Х₃:

b_l= -b_{2 2}-b_{3 3} (3.10)

Используя это выражение и два других уравнения, путем некоторых преоб­разований можно получить следующее выражение для b₂:

(3.11)

Аналогичное выражение для b₃ можно получить путем перестановки Х₂ и Х₃ в уравнении (3.11).

Цель данного анализа состоит в выделении двух основных моментов. Во-первых, принципы, лежащие в основе вычисления коэффициентов регрес­сии, в случаях множественной и парной регрессии не различаются. Во-вторых, сами выражения, тем не менее, различаются. Поэтому не следует пытаться ис­пользовать выражения, выведенные для парной регрессии, в случае множест­венной регрессии.

Общая модель

В предыдущем примере мы имели только две независимые переменных. В тех случаях, когда этих переменных больше двух, уже невозможно дать гео­метрическое представление того, что происходит, но развитие алгебраических выкладок в принципе вполне очевидно. Допустим, что переменная Y связана с к-1 независимыми переменными Х₂, ...,Х_к в соответствии с неизвестной ис­тинной зависимостью. Мы предполагаем, что переменная Y зависит от к-1объясняющих переменных Х₂, ..., Х_к в соответствии с неизвестной истинной формулой:

Y_i=β₁+β₂X_2i +…+ β_kX_ki +u_i, (3.12)

Оценим уравнение для данного множества п наблюдений для Y, Х₂, ..., Х_к методом наименьших квадратов:

_i=b_i+b₁X_li+...+b_kX_ki. (3.13)

Это вновь означает минимизацию суммы квадратов отклонений, а отклоне­ние в наблюдении i выражается как

e_i=Y_i- _i=Y_i-b_l-b₂X_2i-...-b_kX_ki. (3.14)

Уравнение (3.14) является обобщением уравнения (3.5). Теперь мы выбираем b₁ ..., b_k так, чтобы свести к минимуму RSS, сумму квадратов отклонений . Мы получаем к условии первого порядка …, , что дает к уравнений для нахождения к неизвестных. Можно легко показать, что первое из этих уравнений позволяет получить аналог уравнения (3.10), относящегося к случаю с двумя независимыми переменными:

b₁= -b_{2 2}-...-b_{k k}. (3.15)

Выражения для b₂, ..., b_к становятся очень сложными, и математическая сторона не будет здесь представлена в явном виде. Расчеты здесь должны быть сделаны с помощью матричной алгебры.

Интерпретация коэффициентов множественной регрессии

Множественный регрессионный анализ позволяет нам разграничить влия­ние независимых переменных, допуская при этом возможность их коррелиро­ванности. Коэффициент регрессии при каждой переменной X дает оценку ее влияния на величину Y в случае неизменности влияния на нее всех остальных переменных X.

Это может быть продемонстрировано двумя способами. Один из них состо­ит в выяснении того, что если модель правильно специфицирована и выполне­ны предпосылки регрессионной модели, то оценки получаются несмещенны­ми. Это будет сделано в следующей главе для случая, когда имеются только две независимые переменные. Второй способ состоит в оценивании регрессион­ной зависимости Y от одной из переменных X, очистив предварительно пере­менные Y и X от составляющих, относящихся к другим объясняющим пере­менным. Оценка коэффициента наклона и ее стандартная ошибка в этом слу­чае получаются точно такими же, как при оценивании множественной регрессии. Этот результат доказан теоремой Фриша—Вауга—Ловелла (Frisch, Waugh, 1933; Lovell, 1963). Отсюда следует, что диаграмма рассеяния для зави­симости «очищенной» переменной 7 от «очищенной» переменной X является корректным графическим представлением их взаимосвязи, которое невозмож­но получить каким-либо другим путем. Этот результат мы не будем доказывать, но он будет проиллюстрирован с помощью функции заработка в разде­ле 3.1:

= β₁ + β₂S+ β₃ ЕХР+и. (3.16)

Предположим, что нас особенно интересует зависимость между заработком и продолжительностью обучения и что мы хотели бы представить ее графиче­ски. Непосредственное построение точек зависимости EARNINGS от S, как это представлено на рис. 1.8, дает искаженный вид взаимосвязи, поскольку пере­менная ЕХР отрицательно коррелирована с S. Среди людей одинакового воз­раста, люди, которые провели в школе больше времени, чаще всего имеют меньше опыта работы. Вследствие этого, если S возрастает, то 1) EARNINGS будет иметь тенденцию к возрастанию, поскольку р₂ положительно; 2) ЕХР бу­дет иметь тенденцию к убыванию, поскольку S и ЕХР отрицательно коррелированы, и 3) EARNINGS уменьшится благодаря убыванию ЕХР и тому, что р_з положительна. Другими словами, вариации величины EARNINGS не будут полностью отражать влияние вариаций в S, поскольку частично они будут вы­званы связанными с этим вариациями в ЕХР. Вследствие этого при оценива­нии парной регрессии оценка β₂ будет смещена вниз. Мы исследуем это сме­щение аналитически в разделе 6.2.

В данном примере присутствует еще одна объясняющая переменная ЕХР. Чтобы «очистить» EARNINGS и S от их составляющих, обусловленных ЕХР, мы сначала оценим их регрессии на ЕХР:

EARNINGS = с₁+с₂ЕХР; (3.17)

S = d₁+d₂EXP. (3.18)

Далее вычтем полученные теоретические значения из фактических значе­ний:

EEARN = EARNINGS - ; (3.19)

ES = S- . (3.20)

«Очищенные» переменные EEARN и ES — это, конечно, всего лишь оста­точные члены регрессий (3.17) и (3.18). Далее мы оценим регрессию EEARN на ES и получим представленную в табл. 3.2 распечатку результатов.

В записи оценки свободного члена регрессии использовано общее правило записи очень больших или очень маленьких чисел с заданным числом цифр. Запись е + п означает, что коэффициент должен быть умножен на 10ⁿ. Анало­гично е - п означает, что он должен быть умножен на 10 ^-n. Итак, в нашей ре­грессии свободный член практически равен нулю.

Вы можете убедиться в том, что коэффициент при ES идентичен коэффи­циенту при S в множественной регрессии в разделе 3.1. Рисунок 3.2 представ­ляет линию регрессии на диаграмме рассеяния. Пунктирная линия на рисун­ке — это парная регрессия EARNINGS на S и приведена для сравнения. Она немного более пологая, чем реальная зависимость EARNINGS от S, поскольку

Таблица 3.2

. reg EEARN ES Source SS		df	MS		Number of obs F( 1,538) Prob > F R-squared Adj R-squared Root MSE	540 131.63 0.0000 0.1966 0.1951 12.898
Model Residual	21895.9298 89496.5833	1 538	21895.9298 166.350527
Total	111392.513	539	206.665145
EEARN	Coef.	Std. Err.	t	P>|t|	[95% Conf.	Interval]
ES _cons	2.678125 8.10e-09	.2334325 .5550284	11.47 0.00	0.000 1.000	2.219574 -1.090288	3.136676 1.090288

она не учитывает эффект EXP. В этом случае отклонение мало, потому что мала корреляция между S и ЕХР, равная -0,22. Но, даже принимая во внимание этот факт, диаграмма полезна, потому что она позволяет напрямую увидеть соотно­шение между заработком и продолжительностью обучения при фиксирован­ном стаже работы. Наличие далеко лежащих наблюдений для больших значе­ний S приводит к выводу, что модель была в чем-то неправильно специфици­рована.