Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Ведение в социально - экономическую статистику. Учебник. Новосибирск, 2004. 739 с

.pdf
Скачиваний:
53
Добавлен:
22.08.2013
Размер:
4 Мб
Скачать
☆

6.4. Многообразие оценок регрессии

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

213

 

 

1

c

 

(т.е. первая строка не является ортом),

 

Пусть теперь C =

 

−1

 

 

 

 

0 In−1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

C−1 =

1

−c−1 . Тогда уравнение (6.33) приобретает следующую форму:

 

0

In−1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ˆ

 

ˆ

 

 

 

ˆ

 

c

 

 

 

 

 

1 + c

 

 

1

a

 

 

1

 

 

 

 

 

 

X

 

X

−1

+ X

 

 

 

 

 

 

 

−

 

−

 

= e1,

(6.34)

 

 

 

1

 

 

ˆ

1

 

−1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

←−−−−−−−−→

 

 

 

 

−a−1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Y−1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

←−−−−−−−−−−→

 

 

 

или

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Xˆ1 1 + c−1a−1

= Yˆ−1a−1 + e1,

 

 

 

и

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ˆ

 

ˆ

 

 

a−1

 

 

 

 

+

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

X1

= Y−1

 

1 + c

 

a

 

 

 

1 + c

 

 

a

−1

 

e1.

 

 

 

 

 

 

 

 

 

 

 

−1

 

−1

 

 

 

 

 

 

−1

 

 

 

 

Таким образом, условием совпадения a и f с точностью до обратного преобразо-

вания является следующее:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f−1 =

 

 

 

a−1

 

 

 

.

 

 

 

 

 

 

 

(6.35)

 

 

 

 

 

 

 

 

 

1 + c−1a−1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Система нормальных уравнений для оценки f−1

имеет вид:

 

 

 

 

 

 

 

 

1

 

Yˆ

Xˆ

 

=

 

1

Yˆ

Yˆ

 

f

 

 

 

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

−1

 

 

 

 

 

 

 

 

 

 

 

N −1

 

 

1

 

 

 

N −1 −1

 

 

 

 

 

 

 

 

 

или, учтя зависимость Y от X из (6.34) и раскрыв скобки:

 

 

 

 

m−1 + c−1m11 = M−1 + m−1c−1 + c−1m−1 + m11c−1c−1 f−1.

 

Это равенство с учетом (6.35) и (6.11) принимает вид:

 

 

 

 

 

 

 

(m−1 + c−1m11) 1 + c−1M−−11m−1

 

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

= M−1 + m−1c−1 + c−1m−1 + m11c−1c−1 M−−11m−1.

Раскрыв скобки и приведя подобные, можно получить следующее выражение:

c−1m11 = c−1m−1M−−11m−1,

214

Глава 6. Алгебра линейной регрессии

которое выполняется как равенство, только если

m11 = m−1M−−11m−1,

т.е. если (в соответствии с (6.18))

m11 = s2q1.

Таким образом, a и f совпадают с точностью до обратного преобразования только тогда, когда полная дисперсия равна объясненной, т. е. связь функциональна и e = 0.

Что и требовалось доказать.

Итак, преобразования в пространстве переменных в простых регрессиях лишь в особых случаях приводят к получению новых оценок, обычно меняются только шкалы измерения. Некоторые из этих шкал находят применение в прикладном анализе. Такой пример дает стандартизированная шкала, которая возникает, если C = S−1, где S — диагональная матрица среднеквадратических отклонений переменных.

Оценки параметров регрессии после преобразования оказываются измеренными в единицах среднеквадратических отклонений переменных от своих средних, и они становятся сопоставимыми между собой и с параметрами других регрессий.

В этом случае система нормальных уравнений формируется коэффициентами корреляции, а не ковариации, и f−j = R−−j1r−j , где R−j — матрица коэффициентов корреляции объясняющих переменных между собой, r−j — вектор столбец коэффициентов корреляции объясняющих переменных с объясняемой переменной.

Действительно (предполагается, что j = 1), соотношения (6.33) при указанной матрице C имеют следующую форму:

Xˆ

 

1

 

Xˆ

−1

S−1

s1

= e1.

 

1 s1

(6.36)

 

 

−1

 

←−−→

←−−−−−→

−S−1a−1

 

 

 

ˆ

 

ˆ

 

 

 

Y1

 

Y−1

 

 

Для того чтобы вектор параметров приобрел необходимую для простой регрессии форму, его надо разделить на s1 . Тогда и e делится на s1 (т.е. на s1 делятся обе части уравнения (6.36)). После переноса объясняющих переменных в правую часть получается следующее уравнение регрессии:

ˆ

ˆ

 

1

 

 

 

 

 

 

1

 

Y1

= Y−1f−1

+

s1

e1

,

где f−1 = S−1a−1

s1

.

Система нормальных уравнений для f−1

имеет следующий вид:

 

 

1

Yˆ

Yˆ =

 

1

Yˆ Yˆ

f

 

,

 

 

 

 

 

 

 

−1

 

 

 

 

N

−1

1

 

 

N −1 −1

 

 

 

 

6.4. Многообразие оценок регрессии

 

 

 

 

 

215

или, учитывая зависимость Y от X из (6.36),

 

 

 

S−1m

 

1

= S−1M

 

S−1 f

 

.

 

 

−1

−1

−1

−1 s1

−1

 

−1

 

←−−−−−−→1

←−−−−−−−→1

 

 

R

−

 

 

 

r−

Что и требовалось доказать.

Преобразование в пространстве переменных в ортогональной регрессии при использовании любой квадратной и невырожденной матрицы C = In приводит

кполучению новых оценок параметров.

Впункте 4.2 при n = 2 этот факт графически иллюстрировался в случае, когда

1

0

C =

.

0

k

В общем случае верно утверждение, состоящее в том, что в результате преобразования и «возвращения» в исходное пространство для получения оценок a надо решить следующую задачу:

(M

−

λΩ) a = 0, a Ωa = 1,

(6.37)

 

 

 

где Ω = C−1C−1.

Действительно:

После преобразования в пространстве переменных задача ортогональной регрессии записывается следующим образом (6.24, 6.25):

(MY − λIn) f = 0, f f = 1,

(6.38)

где, учитывая (6.33), MY = C M C, f = C−1a.

Выражение (6.37) получается в результате элементарных преобразований (6.38).

Понятно, что решение задачи (6.37) будет давать новую оценку параметрам a при любой квадратной и невырожденной матрице C = In . Такую регрессию иногда называют регрессией в метрике Ω−1 .

216

Глава 6. Алгебра линейной регрессии

6.5. Упражнения и задачи

Упражнение 1

Таблица 6.1

X1

X−1

 

X2

X3

 

 

 

0.58

1.00

1.00

 

 

 

1.10

2.00

4.00

 

 

 

1.20

3.00

9.00

 

 

 

1.30

4.00

16.00

 

 

 

1.95

5.00

25.00

 

 

 

2.55

6.00

36.00

 

 

 

2.60

7.00

49.00

 

 

 

2.90

8.00

64.00

 

 

 

3.45

9.00

81.00

 

 

 

3.50

10.00

100.00

 

 

 

3.60

11.00

121.00

 

 

 

4.10

12.00

144.00

 

 

 

4.35

13.00

169.00

 

 

 

4.40

14.00

196.00

 

 

 

4.50

15.00

225.00

 

 

 

По наблюдениям из таблицы 6.1:

1.1. Вычислите

 

 

 

 

 

 

 

 

 

 

 

 

 

 

M 1 =

 

1

Xˆ

 

Xˆ

1 , m

 

1 =

1

Xˆ

Xˆ1

 

 

 

 

−

 

 

 

−

 

N

−1

 

−

 

 

 

N

−1

 

 

 

и для регрессии X1 = X−1a−1 +1N b1 +e1 найдите

оценки a−1 и b1 .

 

 

 

 

 

 

 

 

 

 

1.2. Рассчитайте вектор Xc

= X

a

+ 1 b

1

и век-

 

 

 

 

 

 

 

 

 

1

 

−1

−1

N

 

тор e1

= X1 − X1c . Убедитесь, что 1N e1

= 0 и

cov(X

 

1, e) =

1

Xˆ

e1 = 0.

 

 

 

 

 

 

 

 

 

 

−

 

 

 

 

N

−1

 

 

 

 

 

 

 

 

 

1.3.Вычислите объясненную дисперсию различными способами:

s2

=

1

Xˆ

cXˆ c;

 

q1

 

N

1 1

 

 

 

sq21 = a−1m−1;

s2q1 = m−1M−−11m−1.

1.4.Вычислите остаточную дисперсию различными способами:

s2

=

1

e

e1;

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

e1

 

N 1

 

 

1

 

 

 

 

 

s2

= s2

s2

=

Xˆ

Xˆ

 

−

s2 .

N

 

e1

 

1 −

q1

 

 

1

1

q1

1.5.Вычислите коэффициент детерминации различными способами:

 

 

s2

 

 

 

R12

=

q1

;

 

 

s2

 

 

 

 

1

 

 

 

 

 

 

cov(x1

2

R12

=

 

, xc )

 

 

 

1

.

 

 

 

 

 

 

 

 

s1sq1

1.6.Оцените параметры и коэффициент детерминации для ортогональной регрессии xα = β + ε.

6.5. Упражнения и задачи

217

–сравните эти оценки с оценками линии регрессии, полученными в 1.1;

–рассчитайте расчетные значения переменных.

1.7.Оцените матрицу оценок и значений главных компонент ( AQ и Q), а также расчетное значение переменных.

1.8.Пусть единицы измерения x1 увеличились в 100 раз. Как в этом случае должна выглядеть матрица преобразования D? Как изменятся оценки уравнения прямой и ортогональной регрессий?

Задачи

1. Может ли матрица

а)

9.2

−3.8 −2

б)

5.2

−3.8 −2

−3.8

2

0.6

−3.8

2

0.6

 

 

 

−2

0.5

2

 

−2

0.6

2

являться ковариационной матрицей переменных, для которых строится уравнение регрессии? Ответ обосновать.

1

1

 

2. Для x = (x1, x2) = 2

2

найдите оценки ковариаций переменных x,

6

3

 

оценки параметров уравнения прямой (x1 = a12x2 + 1N b1 + e1) и обратной

1

 

регрессии (x2 = a21x1 + 1N b2 + e2). Покажите, что a12 =

 

. Рассчитайте

a21

вектор-столбец остатков по прямой и обратной регрессии. Убедитесь, что сумма остатков равна нулю, вектора остатков и x2 ортогональны при прямой регрессии, вектора остатков и x1 ортогональны при обратной регрессии. Найдите объясненную и остаточную дисперсии различными способами,

а также коэффициент детерминации.

3.Предположим, что мы, используя модель регрессии x1 = x−1a−1 + 1N b1 + + e1 , из условия минимизации e1e1 получили следующую систему линейных

b1 + 2a12 + a13 = 3,

уравнений: 2b1 + 5a12 + a13 = 9,

b1 + a12 + 6a13 = −8.

218

Глава 6. Алгебра линейной регрессии

Запишите условия задачи в матрично-векторной форме, решите ее, используя метод, указанный в приложении для обратных матриц, и найдите оценки параметров регрессии.

4.Оцените регрессию x1 = a12x2 + a13x3 + 1N b1 + e1 и рассчитайте:

–оценку остаточной дисперсии,

–объясненную дисперсию,

–коэффициент детерминации,

если

 

 

 

 

 

 

 

 

a) матрица наблюдений имеет вид:

 

 

 

 

 

 

 

5

 

1

3

 

 

 

 

 

1

 

2

1

 

X = (X1

, X2

, X3) =

−2

3

5

,

 

 

 

 

 

 

 

 

 

0

 

4

2

 

 

 

 

 

−4

5

4

 

б) X1X1

= 96, X2X2 =

55,

X3X3

 

= 129, X1X2 = 72,

X1X3

= 107, X2X3 = 81,

X11N = 20, X21N = 15, X31N = 25,

N= 5 .

5.Дисперсии двух переменных совпадают, корреляция отсутствует. Изобразить на графике — в пространстве переменных — линии прямой, обратной

иортогональной регрессий. Ответ обосновать.

6.Дисперсии выпуска продукции и количества занятых по предприятиям равны, соответственно, 10 и 20 , их ковариация равна 12 . Чему равен коэффициент детерминации в регрессии выпуска по занятым, коэффициент зависимости выпуска от занятых по прямой, обратной и ортогональной регрессии?

7.Дисперсии временных рядов индекса денежной массы и сводного индекса цен равны, соответственно, 150 и 200, их ковариация равна 100. Чему равен параметр влияния денежной массы на цены по модели прямой регрессии и доля объясненной дисперсии в дисперсии индекса цен?

14

3

5

3

найти оста-

8. По заданной матрице ковариации двух переменных

 

 

 

5 3

2

3

 

точную дисперсию уравнения регрессии первой переменной по второй.

6.5. Упражнения и задачи

219

9.В регрессии x1 = a12x2 + 1N b1 + e1 , где x1 = (5, 3, 7, 1) коэффициент детерминации оказался равным 50%. Найдите сумму квадратов остатков.

10.Оцените модель x1 = a12x2 + 1N b1 + e1 , используя следующие данные:

3

3

1

1

(x1, x2) = 8 5 .

3

2

5

5

5

 

5

Вычислите остатки (ei) и покажите, что

ei = 0,

x2iei = 0.

i=1

 

i=1

11. Две парные регрессии построены на одних и тех же данных: x1 = a12x2 + + 1N b1 + e1 и x2 = a21x1 + 1N b2 + e2 . R12 — коэффициент детерминации в первой регрессии, R22 — во второй. Запишите соотношение между R12 и R22 . Ответ обосновать.

12.Возможна ли ситуация, когда угловые коэффициенты в уравнениях прямой и обратной регрессии построены на одних и тех же данных, соответственно равны 0.5 и 3.0. Почему?

13.Что геометрически означает R2 = 0 и R2 = 1?

14.Регрессия x1 = α12x2 + β1 + ε1 оценивается по двум наблюдениям. Чему равен коэффициент детерминации?

1 1

15. Для x = (x1, x2) = 2 2 оцените параметры ортогональной регрессии

63

икоэффициент детерминации. Покажите, что линия ортогональной регрессии находится между линиями прямой и обратной регрессии.

16.Какая из двух оценок коэффициента зависимости выпуска продукции от количества занятых в производстве больше: по прямой или по ортогональной регрессии? Ответ обосновать.

17.Какая из двух оценок коэффициента зависимости спроса от цены больше: по прямой или по ортогональной регрессии? Ответ обосновать.

220

Глава 6. Алгебра линейной регрессии

18.Какой вид имеет уравнение ортогональной регрессии для переменных x1 и x2 с одинаковыми значениями дисперсий и средних, а также имеющих положительную корреляцию равную ρ?

19.Покажите, что решение задачи

m11

m12

− λ

1

0

1

 

 

0

0

= 0, λ → min!

m12

m22

 

−a12

эквивалентно решению задачи прямой регрессии x1 = a12x2 + 1N b1 + e1 .

20.Пусть x1 и x2 — центрированные переменные. Уравнение ортогональной регрессии, поcтроенные по множеству наблюдений над величинами x1 и x2 , есть x1 − x2 = 0. Запишите вектор первой главной компоненты.

21.Оценка парной регрессии ведется в стандартизированной шкале. Как связан коэффициент детерминации и коэффициент регрессии (угловой)?

22.Была оценена регрессия x1 = α12x2 + β1 + ε1 , где x1 измеряется в рублях, а x2 — в килограммах. Затем ту же регрессию оценили, изменив единицы измерения на тысячи рублей и тонны. Как при этом поменялись следующие величины: а) оценка коэффициента α12 ; б) коэффициент детерминации? Как в этом случае должна выглядеть матрица преобразования D?

23.Пусть в ортогональной регрессии, построенной для переменных x1 и x2 , из-за деноминации рубля единица измерения x2 изменилась в 1000 раз. Как в этом случае должна выглядеть матрица преобразования D? Изменятся ли оценки? Ответ обосновать.

24.Пусть в наблюдениях задачи 2 единица измерения x1 увеличилась в 10 раз. Как в этом случае должна выглядеть матрица преобразования D? Как изменятся оценки уравнения прямой и обратной регрессии?

25. В регрессии в метрике Ω1

9

0

матрица Ω равна

. Как преобразовать

 

0

4

исходные переменные, чтобы свести эту регрессию к ортогональной?

Рекомендуемая литература

1. Айвазян С.А. Основы эконометрики. Т.2. — М.: «Юнити», 2001. (Гл. 2).

6.5. Упражнения и задачи

221

2.Болч Б., Хуань К.Дж. Многомерные статистические методы для экономики. — М.: «Статистика», 1979. (Гл. 7).

3.Джонстон Дж. Эконометрические методы. — М.: «Статистика», 1980. (Гл. 2, 11).

4.Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х кн. Кн.1. — М.: «Финансы и статистика», 1986. (Гл. 1, 2).

5.Езекиэл М., Фокс К. Методы анализа корреляций и регрессий. — М.: «Статистика», 1966. (Гл. 5, 7).

6.Кейн Э. Экономическая статистика и эконометрия. Вып. 2. — М.: «Статистика», 1977. (Гл. 10, 11).

7.Лизер С. Эконометрические методы и задачи. — М.: «Статистика», 1971. (Гл. 2).

8.(*) Маленво Э. Статистические методы эконометрии. Вып. 1. — М.: «Статистика», 1975. (Гл. 1).

9.Judge G.G., Hill R.C., Griffiths W.E., Luthepohl H., Lee T. Introduction to the Theory and Practice of Econometric. John Wiley & Sons, Inc., 1993. (Ch. 5).

10.William E., Griffiths R., Carter H., George G. Judge Learning and Practicing econometrics, N 9 John Wiley & Sons, Inc., 1993. (Ch. 3).

Глава 7

Основная модель линейной регрессии

7.1. Различные формы уравнения регрессии

Основная модель линейной регрессии относится к классу простых регрессий, в левой части уравнения которых находится одна переменная: объясняемая, моделируемая, эндогенная, а в правой — несколько переменных: объясняющих, факторных, независимых, экзогенных. Объясняющие переменные называют также

факторами, регрессорами.

Для объясняемой переменной сохраняется прежнее обозначение — x. А век- тор-строка размерности n объясняющих переменных будет теперь обозначаться через z, поскольку свойства этих переменных в основной модели регрессии существенно отличаются от свойств объясняемой переменной. Через X и Z обозначаются, соответственно, вектор-столбец размерности N наблюдений за объясняемой переменной и матрица размерности N × n наблюдений за объясняющими переменными. Обозначения параметров регрессии и остатков по наблюдениям сохраняются прежними (отличие в том, что теперь вектор-столбцы α и a имеют размерность n).

Уравнения регрессии в исходной форме имеют следующий вид:

X = Zα + 1N β + ε,

(7.1)

Соседние файлы в предмете Политология