книги из ГПНТБ / Сирл, С. Матричная алгебра в экономике

связи, можно отметить следующие причины, вызывающие расхожде­ ние между Ь0 + bxxx и действительными значениями:

1)на уровень инфляции помимо уровня безработицы влияют и дру­ гие факторы, например мобильность рабочей силы;

2)данная экономическая система помимо общего влияния всех имеющих отношение к данному явлению факторов испытывает воздей­ ствие основного и непредсказываемого элемента случайности;

3)значения переменной у могут содержать ошибки измерения. Для того чтобы отразить эти расхождения, модель записывается

следующим образом:

где et — член, характеризующий случайную ошибку (возмущение), связанную с одной или несколькими указанными причинами.

Введя в модель член, характеризующий случайную ошибку, мы для того, чтобы можно было пользоваться моделью, должны опреде­ лить теперь некоторые характеристики распределения вероятностей этой величины. Наиболее простыми и обычно принимаемыми допуще­ ниями будут предположения о том, что математическое ожидание et рав­ но нулю, ее дисперсия постоянна (и, следовательно, независима от i и xt) и значения ег для различных отрезков времени независимы друг от друга. Обозначая символом Е математическое ожидание (Е (е() — ожидаемое значение ег), запишем эти допущения как

На основании (2), отыскав математическое ожидание от (1), получим

Е (t/г) = Е {b0 + bxXi + ei) = b0 + М г + Е (ег).

Таким образом,

Это и есть ожидаемое значение y it которое мы ввели в начале раздела. Уравнения (1) — (3) определяют модель, которую нужно исследо­ вать. Переменная, обозначенная как у, обычно называется зависимой (поскольку она зависит от х), а переменная л; соответственно назы­ вается независимой1. Предположим, что у нас имеется выборка, со­ стоящая из п наблюдений y t и дтг. Пусть уравнение (1) существует для каждой пары наблюдений (г/;, xt). Тогда получим следующие п урав­

нений:

260

П р и в в е д е н и и в е к т о р о в

У' = [у1 У 2— УпЬ

г' = [ei е2... еп]\

Ь' = [Ь0 Ьг]

и матрицы

эти уравнения могут быть переписаны в матричной форме как

у = Xb Jr e.

Заметим, однако, что эти уравнения не аналогичны системам, ранее рассмотренным в данной книге. Это вытекает из существа членов, ха­ рактеризующих ошибки и представленных символом е. По определению

чениями Ь0 и Ьи они дают о них полезную информацию.

Существует несколько способов получения оценок Ь0 и bv Из них наиболее часто применяется способ, который известен как способ наименьших квадратов. Здесь только он и рассматривается. Обозначим

оценки Ь0 и &i соответственно как b0n b 1вне зависимости от того, как они получены или каковы их значения. Тогда соответствующая дан­

ному значению xt оценка у и обозначаемая уи будет определять­ ся как

Разность между оценкой и наблюдаемым значением yit корреспон­ дирующим с хи равна y t — уу, эта разность называется оценкой ошибки,

или остатком, et. Таким образом,

Л

et =У1 — Уи

Способ наименьших квадратов, применяемый для получения оценок

Ь0 и bv дает возможность на основе этой формулы выбрать их таким образом, что сумма квадратов оцененных ошибок (SSE)* есть вели-

*SSE — sum of squares of errors. — Прим, nepee.

261

-чина минимальная1. Это означает, что Ъ0и ^выбраны так, что при­ водят к минимуму.

Этот минимум достигается тогда, когда с помощью дифференциального исчисления удается минимизировать последнее выражение (4), при­

чем оба коэффициента Ь0 и 1\ рассматриваются как переменные ве­

Такое небольшое изменение в обозначении переменных х упрощает дальнейшее обсуждение случаев с несколькими переменными.

Минимизация этого выражения предусматривает приравнивание нулю первых частных производных по Ь0 и Ьг. Таким образом, имеем

г/i хю = b0 V + b i ^ X i о хи

и

2 i y i X n = b о Ц х 10х п + Ь 1 Xi 1 .

где суммирование производится по i, i — 1, 2, ..., п. Эти выражения называются нормальными уравнениями. Решение этих двух совмест­

н ы здесь не. пытаемся оправдать выбор этого критерия, отметим просто, что: а) он прочно укоренился и широко применяется в статистике; б) если функ­ ция затрат и потерь, связанная с оцененными ошибками, является квадратиче­ ской, этот критерий минимизирует ожидаемые затраты.

262

ных линейных уравнений дает величины Ь0 и Ъъ которые приводят к минимуму*

So ^Q & /i — Si2>si) /tt-

Пример. Пусть наблюдения переменных дали следующие резуль­

таты:

Таблица 1

Данные для примера

*Нахождение частных производных (и решение соответствующих уравнений)

предполагается условиями первого порядка (необходимыми условиями) опреде­ ления минимума. Можно показать, что решение этой системы удовлетворяет

также условиям второго порядка. — П р и м , п е р е в .

263

. Система нормальных уравнений записывается как

10,00 Ъ0 + 49,30 Ъг ='25,00,

49,30 Ь0 + 251,03 7?! = 116,54.

Ее решение: Ь0 = 6,65 и Ьх = — 0,841. Таким образом, оценка на­ шей модели, полученная способом наименьших квадратов, имеет сле­ дующий вид:

г/г = 6,65—0,841 х п .

Если эта модель справедлива, то мы можем заключить, что не ожи­

чина известна как отрезок координатной оси. Он характеризует ожи­ даемое по модели значение у и'когда хг равен нулю. Такая модель со­ ответственно называется моделью с постоянным членом (с пересечением оси координат), и наоборот, модель без постоянного члена такова, что

Как уже отмечалось, в модели с пересечением отрезок Ь0 оцени­ вается при условии, что xi0 — 1для i = 1, 2, ..., п, т. е. при равенстве искусственной первой переменной единице в каждом наблюдении. В мо­ дели без постоянного члена необходимость в такой переменной отсут­ ствует и она не включается в процедуру оценки. Единственная исполь­ зованная переменная — это та, которая действительно наблюдается.

Рассмотренная в предыдущих уравнениях взаимосвязь линейна от­ носительно х, а анализ, который мы должны описать, называют до сих пор регрессионным анализом. Последний более точно называется

линейным регрессионньш анализом или (для случая с более чем одной независимой переменной) множественным линейным регрессионным анализом. Хотя предположение о линейности является обычным (эта форма взаимосвязи и обсуждается здесь), иногда рассматриваемая фак­ тическая взаимосвязь между переменными может и не быть линейной. Однако и нелинейные функции, линейные относительно параметров, которые должны быть оценены, могут быть изучены с помощью линей­ ного регрессионного анализа. Таким образом, Е (у) = Ьгх{ + Ъ2х% не может изучаться с помощью линейной регрессии, если должны быть оценены неизвестные параметры р и q, но если они известны, то Е (у) есть линейная функция переменных хр и xf и, следовательно, могут быть оценены Ь1и Ь2. Подобно этому уравнение Е (у) = btx + Ьгх2 + + Ь3х 3 не является линейным в переменных х, но оно линейно отно­ сительно трех переменных х, х2 и х3. В других случаях нелинейные функции иногда могут быть преобразованы в линейные относительно

2 6 4

трансформированных.переменных. Например, 1Челтцер [7] определил совокупный спрос на деньги как М = ara JKK где М — спрос на деньги; г — уровень процента; W — мера богатства страны; а и р — параметры, которые должны быть оценены. Прологарифмировав это выражение, он получил уравнение:

log М =- log a -f a log г + |3 log W,

которое линейно в логарифмах исходных переменных и, следователь­ но, имеет форму, пригодную для линейного регрессионного анализа*.

2. МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ: k НЕЗАВИСИМЫХ ПЕРЕМЕННЫХ

Процедура оценивания коэффициентов при более чем у двух (ска­ жем, k) переменных х является' непосредственным обобщением про­ цедуры, рассмотренной в предыдущем параграфе.

а) МОДЕЛЬ БЕЗ ПОСТОЯННОГО ЧЛЕНА

Уравнение для такой модели имеет вид:

т = Ьхх п + b2xi2 + ... + bkxih +

для i = 1, 2, ..., n наблюдений. Как и прежде, эти уравнения могут быть записаны в виде матричного уравнения

где у' = 1у х у 2... уп], Ь' = [Ьх Ъ2... bk],

Как и раньше, нам необходимо найти способом наименьших квадратов оценки элементов вектора Ь. Если они представлены вектором Ь'= = [ЬХ Ь2 ... bh], то соответствующая оценка вектора у составит:

У-^ХЬ,

*Вообще говоря, операция логарифмирования для приведения к линейно­ му виду не настолько безобидна, как это кажется на первый взгляд. В работе Е. 3. Демиденко «Оценка параметров в нелинейной регрессии» (сб. «Проблемы экономического моделирования», М., ИМЭМО, 1972) показано, к какому смеще­ нию в оценках приводит подобная операция. — Прим, перев.

2 6 5

и вектор оцененных ошибок равен

е=--у~у = у — ХЬ.

Сумма квадратов этих ошибок при условии, что у'ХЬ --= В'Х'у, составляет величину

SSE г= V е2 v е' е — (у—хЪ)' (у—XЪ) —

i ~ 1

= (у' — в'Х') {у— ХЬ) =-у ' у — 2V Х ' у + b' X' ХЪ.

Вектор Ь определяется минимизацией е' е, т. е. при сведении к ми­ нимуму у'у — 2 Ь’Х ’у -f- Ь'Х’ХЬ путем приравнивания к нулю част­

ных производных относительно элементов b. С помощью вектора дифференциальных операторов1 получим

д('е’ е) = — 2Х'у + 2Х'ХЬ = 0.

дЬ

Эти уравнения, эквивалентные Х'ХЬ = Х'у, представляют собой нормальные уравнения для множественной регрессии. Предполагается, что существует матрица (Х'Х)~г. Тогда решением этих уравнений будет

в которых b суть оценка вектора Ь, полученная способом наименьших квадратов.

Произведение Х ’Х дает квадратную и симметрическую (это сле­ дует из существа матрицы X) матрицу сумм квадратов и попарных произведений п наблюдений переменных х:

В свою очередь Х'у есть вектор сумм произведений наблюдений пере­ менных х и у:

1 х а yt

Х ' у = 2.ХцУ1 ■

_ 2 x ihy t _

Таким образом, вектор оценок Ь = (Х'Х)~1Х'у равен вектору сумм произведений переменных х и у, умноженному слева на обратную матрицу сумм квадратов и произведений переменных х.

1См. параграф 5 главы XIII.

2 6 6

Пример. Предположим, у нас имеется пять следующих совокуп­ ностей наблюдений для модели без постоянного члена: y t = ЬгХц +

+ b2Xi2 b3Xi3 -f- еу.

267

б ) М О Д Е Л Ь С П О С Т О Я Н Н Ы М Ч Л Е Н О М

В выражении (1) модель была представлена как yt = b0 + btXi + + sit где Ь0 — отрезок оси координат. Снова символом Ь0 обозначим отрезок, отсекаемый на координатной оси, для того, чтобы отличить его от коэффициентов blt b2, ..., bh при переменных х. Модель с пересе­ чением для множественной регрессии имеет вид:

где у и е имеют то же содержание, что и ранее, и где X* есть матрица X, дополненная первым столбцом, состоящим из единиц, а Ь* — век­ тор Ь, дополненный Ь0 в качестве первого элемента. Введем теперь символ 1 для обозначения вектора размером п, чьи элементы суть единицы, т. е.

V =-- [1 1 1...1].

Тогда X* и Ь* могут быть записаны как

Теперь, несмотря на изменения в формулировке, модель (9) имеет точно такой же вид, что и (6), и, следовательно, вектор оценок полу­ чается способом наименьших квадратов, как и ранее1 (7), в виде

Ь* = ( Х * ' Х * ) - ! Х*'у.

Пример. Пусть параметры модели

Уi = Ь0 Ьx*ji + b2xi2 + Si

должны быть оценены на основе следующих шести совокупностей наб­ людений:

1 Уг ха

1 10 1 0

2 17 4 6

3 13 2 4

4 14 2 3

5 12 1 1

6 15 3 5

Действительно, дополнение X единичным первым столбцом увеличивает столбцовый ранг матрицы X на 1 для любой регрессии и не оказывает влияния

на”существование (Х 'Х ) -1 и Ь.

268

Мы уже видели, что когда уравнение записано как у = Xb -f- е, то вне зависимости от того, представляет ли оно модель без пересече­ ния или с пересечением, оценка b способом наименьших квадратов

есть b = (Х 'Х )~1 Х'у. Свойства этой оценки определяются допуще­ ниями, сделанными относительно элементов е.

Как уже упоминалось, часто предполагается, что элементы е яв­ ляются случайной выборкой из распределения, имеющего математи­ ческое ожидание, равное нулю, дисперсию а2 и нулевую ковариацию двух элементов. Введя Е для обозначения математического ожидания, получим Е (et) = 0, Е (е?) = о2 для всех i и Е (е,е7-) = 0 для i Ф /. Используя вектор е, получим:]

тогда ковариационная матрица элементов е (см. параграф 6 главы III) равна

2 6 9