Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

ЭКОНОМЕТРИКА и математическая экономика / Эконометрика. Учебник продвинутый (2005)

.pdf
Скачиваний:
512
Добавлен:
20.04.2015
Размер:
4.02 Mб
Скачать

6.4. Многообразие оценок регрессии

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

213

 

 

1

c

 

(т.е. первая строка не является ортом),

 

Пусть теперь C =

 

1

 

 

 

 

0 In−1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

C1 =

1

−c1 . Тогда уравнение (6.33) приобретает следующую форму:

 

0

In−1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ˆ

 

ˆ

 

 

 

ˆ

 

c

 

 

 

 

 

1 + c

 

 

1

a

 

 

1

 

 

 

 

 

 

X

 

X

1

+ X

 

 

 

 

 

 

 

 

 

= e1,

(6.34)

 

 

 

1

 

 

ˆ

1

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

←−−−−−−−−→

 

 

 

 

−a1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Y1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

←−−−−−−−−−−→

 

 

 

или

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Xˆ1 1 + c1a1

= Yˆ1a1 + e1,

 

 

 

и

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ˆ

 

ˆ

 

 

a1

 

 

 

 

+

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

X1

= Y1

 

1 + c

 

a

 

 

 

1 + c

 

 

a

1

 

e1.

 

 

 

 

 

 

 

 

 

 

 

1

 

1

 

 

 

 

 

 

1

 

 

 

 

Таким образом, условием совпадения a и f с точностью до обратного преобразо-

вания является следующее:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f1 =

 

 

 

a1

 

 

 

.

 

 

 

 

 

 

 

(6.35)

 

 

 

 

 

 

 

 

 

1 + c1a1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Система нормальных уравнений для оценки f1

имеет вид:

 

 

 

 

 

 

 

 

1

 

Yˆ

Xˆ

 

=

 

1

Yˆ

Yˆ

 

f

 

 

 

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

N 1

 

 

1

 

 

 

N 1 1

 

 

 

 

 

 

 

 

 

или, учтя зависимость Y от X из (6.34) и раскрыв скобки:

 

 

 

 

m1 + c1m11 = M1 + m1c1 + c1m1 + m11c1c1 f1.

 

Это равенство с учетом (6.35) и (6.11) принимает вид:

 

 

 

 

 

 

 

(m1 + c1m11) 1 + c1M11m1

 

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

= M1 + m1c1 + c1m1 + m11c1c1 M11m1.

Раскрыв скобки и приведя подобные, можно получить следующее выражение:

c1m11 = c1m1M11m1,

214

Глава 6. Алгебра линейной регрессии

которое выполняется как равенство, только если

m11 = m1M11m1,

т.е. если (в соответствии с (6.18))

m11 = s2q1.

Таким образом, a и f совпадают с точностью до обратного преобразования только тогда, когда полная дисперсия равна объясненной, т. е. связь функциональна и e = 0.

Что и требовалось доказать.

Итак, преобразования в пространстве переменных в простых регрессиях лишь в особых случаях приводят к получению новых оценок, обычно меняются только шкалы измерения. Некоторые из этих шкал находят применение в прикладном анализе. Такой пример дает стандартизированная шкала, которая возникает, если C = S1, где S — диагональная матрица среднеквадратических отклонений переменных.

Оценки параметров регрессии после преобразования оказываются измеренными в единицах среднеквадратических отклонений переменных от своих средних, и они становятся сопоставимыми между собой и с параметрами других регрессий.

В этом случае система нормальных уравнений формируется коэффициентами корреляции, а не ковариации, и f−j = Rj1r−j , где R−j — матрица коэффициентов корреляции объясняющих переменных между собой, r−j — вектор столбец коэффициентов корреляции объясняющих переменных с объясняемой переменной.

Действительно (предполагается, что j = 1), соотношения (6.33) при указанной матрице C имеют следующую форму:

Xˆ

 

1

 

Xˆ

1

S1

s1

= e1.

 

1 s1

(6.36)

 

 

1

 

←−−→

←−−−−−→

S1a1

 

 

 

ˆ

 

ˆ

 

 

 

Y1

 

Y1

 

 

Для того чтобы вектор параметров приобрел необходимую для простой регрессии форму, его надо разделить на s1 . Тогда и e делится на s1 (т.е. на s1 делятся обе части уравнения (6.36)). После переноса объясняющих переменных в правую часть получается следующее уравнение регрессии:

ˆ

ˆ

 

1

 

 

 

 

 

 

1

 

Y1

= Y1f1

+

s1

e1

,

где f1 = S1a1

s1

.

Система нормальных уравнений для f1

имеет следующий вид:

 

 

1

Yˆ

Yˆ =

 

1

Yˆ Yˆ

f

 

,

 

 

 

 

 

 

 

1

 

 

 

 

N

1

1

 

 

N 1 1

 

 

 

 

6.4. Многообразие оценок регрессии

 

 

 

 

 

215

или, учитывая зависимость Y от X из (6.36),

 

 

 

S1m

 

1

= S1M

 

S1 f

 

.

 

 

1

1

1

1 s1

1

 

1

 

←−−−−−−→1

←−−−−−−−→1

 

 

R

 

 

 

r

Что и требовалось доказать.

Преобразование в пространстве переменных в ортогональной регрессии при использовании любой квадратной и невырожденной матрицы C = In приводит

кполучению новых оценок параметров.

Впункте 4.2 при n = 2 этот факт графически иллюстрировался в случае, когда

1

0

C =

.

0

k

В общем случае верно утверждение, состоящее в том, что в результате преобразования и «возвращения» в исходное пространство для получения оценок a надо решить следующую задачу:

(M

λΩ) a = 0, a a = 1,

(6.37)

 

 

 

где Ω = C1C1.

Действительно:

После преобразования в пространстве переменных задача ортогональной регрессии записывается следующим образом (6.24, 6.25):

(MY − λIn) f = 0, f f = 1,

(6.38)

где, учитывая (6.33), MY = C M C, f = C1a.

Выражение (6.37) получается в результате элементарных преобразований (6.38).

Понятно, что решение задачи (6.37) будет давать новую оценку параметрам a при любой квадратной и невырожденной матрице C = In . Такую регрессию иногда называют регрессией в метрике 1 .

216

Глава 6. Алгебра линейной регрессии

6.5. Упражнения и задачи

Упражнение 1

Таблица 6.1

X1

X1

 

X2

X3

 

 

 

0.58

1.00

1.00

 

 

 

1.10

2.00

4.00

 

 

 

1.20

3.00

9.00

 

 

 

1.30

4.00

16.00

 

 

 

1.95

5.00

25.00

 

 

 

2.55

6.00

36.00

 

 

 

2.60

7.00

49.00

 

 

 

2.90

8.00

64.00

 

 

 

3.45

9.00

81.00

 

 

 

3.50

10.00

100.00

 

 

 

3.60

11.00

121.00

 

 

 

4.10

12.00

144.00

 

 

 

4.35

13.00

169.00

 

 

 

4.40

14.00

196.00

 

 

 

4.50

15.00

225.00

 

 

 

По наблюдениям из таблицы 6.1:

1.1. Вычислите

 

 

 

 

 

 

 

 

 

 

 

 

 

 

M 1 =

 

1

Xˆ

 

Xˆ

1 , m

 

1 =

1

Xˆ

Xˆ1

 

 

 

 

 

 

 

 

N

1

 

 

 

 

N

1

 

 

 

и для регрессии X1 = X1a1 +1N b1 +e1 найдите

оценки a1 и b1 .

 

 

 

 

 

 

 

 

 

 

1.2. Рассчитайте вектор Xc

= X

a

+ 1 b

1

и век-

 

 

 

 

 

 

 

 

 

1

 

1

1

N

 

тор e1

= X1 − X1c . Убедитесь, что 1N e1

= 0 и

cov(X

 

1, e) =

1

Xˆ

e1 = 0.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

N

1

 

 

 

 

 

 

 

 

 

1.3.Вычислите объясненную дисперсию различными способами:

s2

=

1

Xˆ

cXˆ c;

 

q1

 

N

1 1

 

 

 

sq21 = a1m1;

s2q1 = m1M11m1.

1.4.Вычислите остаточную дисперсию различными способами:

s2

=

1

e

e1;

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

e1

 

N 1

 

 

1

 

 

 

 

 

s2

= s2

s2

=

Xˆ

Xˆ

 

s2 .

N

 

e1

 

1

q1

 

 

1

1

q1

1.5.Вычислите коэффициент детерминации различными способами:

 

 

s2

 

 

 

R12

=

q1

;

 

 

s2

 

 

 

 

1

 

 

 

 

 

 

cov(x1

2

R12

=

 

, xc )

 

 

 

1

.

 

 

 

 

 

 

 

 

s1sq1

1.6.Оцените параметры и коэффициент детерминации для ортогональной регрессии = β + ε.

6.5. Упражнения и задачи

217

сравните эти оценки с оценками линии регрессии, полученными в 1.1;

рассчитайте расчетные значения переменных.

1.7.Оцените матрицу оценок и значений главных компонент ( AQ и Q), а также расчетное значение переменных.

1.8.Пусть единицы измерения x1 увеличились в 100 раз. Как в этом случае должна выглядеть матрица преобразования D? Как изменятся оценки уравнения прямой и ортогональной регрессий?

Задачи

1. Может ли матрица

а)

9.2

3.8 2

б)

5.2

3.8 2

3.8

2

0.6

3.8

2

0.6

 

 

 

2

0.5

2

 

2

0.6

2

являться ковариационной матрицей переменных, для которых строится уравнение регрессии? Ответ обосновать.

1

1

 

2. Для x = (x1, x2) = 2

2

найдите оценки ковариаций переменных x,

6

3

 

оценки параметров уравнения прямой (x1 = a12x2 + 1N b1 + e1) и обратной

1

 

регрессии (x2 = a21x1 + 1N b2 + e2). Покажите, что a12 =

 

. Рассчитайте

a21

вектор-столбец остатков по прямой и обратной регрессии. Убедитесь, что сумма остатков равна нулю, вектора остатков и x2 ортогональны при прямой регрессии, вектора остатков и x1 ортогональны при обратной регрессии. Найдите объясненную и остаточную дисперсии различными способами,

а также коэффициент детерминации.

3.Предположим, что мы, используя модель регрессии x1 = x1a1 + 1N b1 + + e1 , из условия минимизации e1e1 получили следующую систему линейных

b1 + 2a12 + a13 = 3,

уравнений: 2b1 + 5a12 + a13 = 9,

b1 + a12 + 6a13 = 8.

218

Глава 6. Алгебра линейной регрессии

Запишите условия задачи в матрично-векторной форме, решите ее, используя метод, указанный в приложении для обратных матриц, и найдите оценки параметров регрессии.

4.Оцените регрессию x1 = a12x2 + a13x3 + 1N b1 + e1 и рассчитайте:

оценку остаточной дисперсии,

объясненную дисперсию,

коэффициент детерминации,

если

 

 

 

 

 

 

 

 

a) матрица наблюдений имеет вид:

 

 

 

 

 

 

 

5

 

1

3

 

 

 

 

 

1

 

2

1

 

X = (X1

, X2

, X3) =

2

3

5

,

 

 

 

 

 

 

 

 

 

0

 

4

2

 

 

 

 

 

4

5

4

 

б) X1X1

= 96, X2X2 =

55,

X3X3

 

= 129, X1X2 = 72,

X1X3

= 107, X2X3 = 81,

X11N = 20, X21N = 15, X31N = 25,

N= 5 .

5.Дисперсии двух переменных совпадают, корреляция отсутствует. Изобразить на графике — в пространстве переменных — линии прямой, обратной

иортогональной регрессий. Ответ обосновать.

6.Дисперсии выпуска продукции и количества занятых по предприятиям равны, соответственно, 10 и 20 , их ковариация равна 12 . Чему равен коэффициент детерминации в регрессии выпуска по занятым, коэффициент зависимости выпуска от занятых по прямой, обратной и ортогональной регрессии?

7.Дисперсии временных рядов индекса денежной массы и сводного индекса цен равны, соответственно, 150 и 200, их ковариация равна 100. Чему равен параметр влияния денежной массы на цены по модели прямой регрессии и доля объясненной дисперсии в дисперсии индекса цен?

14

3

5

3

найти оста-

8. По заданной матрице ковариации двух переменных

 

 

 

5 3

2

3

 

точную дисперсию уравнения регрессии первой переменной по второй.

6.5. Упражнения и задачи

219

9.В регрессии x1 = a12x2 + 1N b1 + e1 , где x1 = (5, 3, 7, 1) коэффициент детерминации оказался равным 50%. Найдите сумму квадратов остатков.

10.Оцените модель x1 = a12x2 + 1N b1 + e1 , используя следующие данные:

3

3

1

1

(x1, x2) = 8 5 .

3

2

5

5

5

 

5

Вычислите остатки (ei) и покажите, что

ei = 0,

x2iei = 0.

i=1

 

i=1

11. Две парные регрессии построены на одних и тех же данных: x1 = a12x2 + + 1N b1 + e1 и x2 = a21x1 + 1N b2 + e2 . R12 — коэффициент детерминации в первой регрессии, R22 — во второй. Запишите соотношение между R12 и R22 . Ответ обосновать.

12.Возможна ли ситуация, когда угловые коэффициенты в уравнениях прямой и обратной регрессии построены на одних и тех же данных, соответственно равны 0.5 и 3.0. Почему?

13.Что геометрически означает R2 = 0 и R2 = 1?

14.Регрессия x1 = α12x2 + β1 + ε1 оценивается по двум наблюдениям. Чему равен коэффициент детерминации?

1 1

15. Для x = (x1, x2) = 2 2 оцените параметры ортогональной регрессии

63

икоэффициент детерминации. Покажите, что линия ортогональной регрессии находится между линиями прямой и обратной регрессии.

16.Какая из двух оценок коэффициента зависимости выпуска продукции от количества занятых в производстве больше: по прямой или по ортогональной регрессии? Ответ обосновать.

17.Какая из двух оценок коэффициента зависимости спроса от цены больше: по прямой или по ортогональной регрессии? Ответ обосновать.

220

Глава 6. Алгебра линейной регрессии

18.Какой вид имеет уравнение ортогональной регрессии для переменных x1 и x2 с одинаковыми значениями дисперсий и средних, а также имеющих положительную корреляцию равную ρ?

19.Покажите, что решение задачи

m11

m12

− λ

1

0

1

 

 

0

0

= 0, λ → min!

m12

m22

 

a12

эквивалентно решению задачи прямой регрессии x1 = a12x2 + 1N b1 + e1 .

20.Пусть x1 и x2 — центрированные переменные. Уравнение ортогональной регрессии, поcтроенные по множеству наблюдений над величинами x1 и x2 , есть x1 − x2 = 0. Запишите вектор первой главной компоненты.

21.Оценка парной регрессии ведется в стандартизированной шкале. Как связан коэффициент детерминации и коэффициент регрессии (угловой)?

22.Была оценена регрессия x1 = α12x2 + β1 + ε1 , где x1 измеряется в рублях, а x2 — в килограммах. Затем ту же регрессию оценили, изменив единицы измерения на тысячи рублей и тонны. Как при этом поменялись следующие величины: а) оценка коэффициента α12 ; б) коэффициент детерминации? Как в этом случае должна выглядеть матрица преобразования D?

23.Пусть в ортогональной регрессии, построенной для переменных x1 и x2 , из-за деноминации рубля единица измерения x2 изменилась в 1000 раз. Как в этом случае должна выглядеть матрица преобразования D? Изменятся ли оценки? Ответ обосновать.

24.Пусть в наблюдениях задачи 2 единица измерения x1 увеличилась в 10 раз. Как в этом случае должна выглядеть матрица преобразования D? Как изменятся оценки уравнения прямой и обратной регрессии?

25. В регрессии в метрике Ω1

9

0

матрица Ω равна

. Как преобразовать

 

0

4

исходные переменные, чтобы свести эту регрессию к ортогональной?

Рекомендуемая литература

1. Айвазян С.А. Основы эконометрики. Т.2. — М.: «Юнити», 2001. (Гл. 2).

6.5. Упражнения и задачи

221

2.Болч Б., Хуань К.Дж. Многомерные статистические методы для экономики. — М.: «Статистика», 1979. (Гл. 7).

3.Джонстон Дж. Эконометрические методы. — М.: «Статистика», 1980. (Гл. 2, 11).

4.Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х кн. Кн.1. — М.: «Финансы и статистика», 1986. (Гл. 1, 2).

5.Езекиэл М., Фокс К. Методы анализа корреляций и регрессий. — М.: «Статистика», 1966. (Гл. 5, 7).

6.Кейн Э. Экономическая статистика и эконометрия. Вып. 2. — М.: «Статистика», 1977. (Гл. 10, 11).

7.Лизер С. Эконометрические методы и задачи. — М.: «Статистика», 1971. (Гл. 2).

8.(*) Маленво Э. Статистические методы эконометрии. Вып. 1. — М.: «Статистика», 1975. (Гл. 1).

9.Judge G.G., Hill R.C., Griffiths W.E., Luthepohl H., Lee T. Introduction to the Theory and Practice of Econometric. John Wiley & Sons, Inc., 1993. (Ch. 5).

10.William E., Griffiths R., Carter H., George G. Judge Learning and Practicing econometrics, N 9 John Wiley & Sons, Inc., 1993. (Ch. 3).

Глава 7

Основная модель линейной регрессии

7.1. Различные формы уравнения регрессии

Основная модель линейной регрессии относится к классу простых регрессий, в левой части уравнения которых находится одна переменная: объясняемая, моделируемая, эндогенная, а в правой — несколько переменных: объясняющих, факторных, независимых, экзогенных. Объясняющие переменные называют также

факторами, регрессорами.

Для объясняемой переменной сохраняется прежнее обозначение — x. А век- тор-строка размерности n объясняющих переменных будет теперь обозначаться через z, поскольку свойства этих переменных в основной модели регрессии существенно отличаются от свойств объясняемой переменной. Через X и Z обозначаются, соответственно, вектор-столбец размерности N наблюдений за объясняемой переменной и матрица размерности N × n наблюдений за объясняющими переменными. Обозначения параметров регрессии и остатков по наблюдениям сохраняются прежними (отличие в том, что теперь вектор-столбцы α и a имеют размерность n).

Уравнения регрессии в исходной форме имеют следующий вид:

X = + 1N β + ε,

(7.1)