Добавил:

Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Белорусский государственный экономический университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

17-11-2015_11-58-24 / Эконометрика (электронный конспект)

.pdf

Скачиваний:

Добавлен:

20.02.2016

Размер:

1.05 Mб

Скачать

☆

<<< < Предыдущая 12 / 92 3 4 5 6 7 8 9 > Следующая >>>

Поскольку, как следует из (48),

0 ≤ R2 ≤1

Статистику R2 называют коэффициентом детерминации. В условиях нашего примера:

R2 =1− 383,882746 = 0,8602

RSS ≤TSS ,

Обозначим:

n
TSS = ∑(Yt −Y			)2 ,			(total sum of squares, полная сумма квадратов),	(45)
t =1
n		ˆ		2	,	(error sum of squares, остаточная сумма квадратов)	(46)
		ˆ		2
ESS = ∑(Yt −Yi )
i=1
n	ˆ			2	,	(regression sum of squares, объясненная сумма квадратов)		(47)
	ˆ			2
RSS = ∑(Yt −Y )

t=1

Внашем примере:

n
TSS = ∑(Yt				)2		= 2746 ,
TSS = ∑(Yt		−Y		)2		= 2746 ,
t =1
n			ˆ
ESS = ∑(Yt		−Yi )				= 383,88
i=1
n	ˆ				2
	ˆ	−Y )			2	= 2362.1
RSS = ∑(Yt		−Y )				= 2362.1
t =1
Несложно показать, что
TSS = ESS + RSS							(48)
Обозначим:
R2 =1−	ESS	= RSS					(49)
	TSS		TSS

(50)

Если R2 = 0 , то это означает, что регрессия не улучшает качество предсказания по сравнению с тривиальным предсказанием Yˆt =Y . Равенство R2 =1 означает точную подгонку: все точки наблюдений лежат на регрессионной прямой.

Чем ближе значение R2 к 1, тем лучше качество подгонки.

Интервальные оценки коэффициентов регрессии
Напомним, что статистики ta =	a −α	и	tb =	b −β	имеют распределение Стъюдента с
	s(a \| X )			s(b \| X )

числом степеней свободы n − 2 .

Следовательно, в силу (44),
P −t (ρ,n − 2)≤		a −α	≤ t (ρ,n − 2) =1−ρ	(51)
		s(a \| X )

P −t (ρ,n − 2)≤		b −β	≤ t (ρ,n − 2) =1−ρ,	(52)
	s(b \| X )

где t (ρ,n − 2) – двусторонняя квантиль распределения Стъюдента для уровня значимости ρ и числа степеней свободы n − 2 .

Из (51), (52) в результате несложных алгебраических преобразований имеем:

P	{	a −t	(	ρ,n − 2	)	s(a \| X ) ≤ α ≤ a +t			(		ρ,n − 2		)		s(a \| X )			=1−ρ	(53)
	{		(		)				(				)			}
P b −t			(	ρ,n − 2	)	s(b \| X ) ≤ β ≤ b +t		(		ρ,n − 2		)		s(b \| X )			=1−ρ		(54)
	{		(		)			(				)				}
Эти соотношения определяют доверительные интервалы:
a −t (ρ,n − 2)s(a \| X ),							a +t (ρ,n − 2)s(a \| X ) ,												(55)

b −t (ρ,n − 2)s(b \| X ),							b +t (ρ,n − 2)s(b \| X ) ,												(56)

в которые с вероятностью 1−ρ попадают коэффициенты регрессии α и β. Напомним, что в условиях нашего примера:

a = -1,2651, b = 0,7991,

s(a \| X ) =		12,3168
	Var (a \| X ) =

s(b \| X ) =		0,1857
	Var (b \| X ) =

ρ = 0,05 , t (ρ,n − 2)= 3,1824 .

Подставив эти значения в выражения (55), (56), получим следующие доверительные интервалы для коэффициентов регрессии α и β:

[-40,47; 37,94],

[0,2072; 1,3910].

Достаточно большая длина этих доверительных интервалов (и, следовательно, низкая точность оценок коэффициентов регрессии) объясняется малым количеством наблюдений.

Доверительные интервалы для зависимой переменной

Будем считать, что при s = n +1 в соответствии с зависимостью (1), имеет место равенство:

Ys = α +βXs + εs

(57)

и для εs выполняются основные гипотезы линейной регрессии:

В силу гипотезы (1):

E[Ys | X , Xs ]= α +βXs

Прогнозное значение

Yˆs = a +bXs

наблюдений (отсутствие автокорреляции ошибок).

1)E[εs | X , Xs ]= 0 ;

2)Var[εs | X , Xs ]= E ε2s | X , Xs = σ2 ;

3)Cov[εt ,εs | X , Xs ]= E[εtεs | X , Xs ]= 0 при t ≠ s – некоррелированность ошибок для разных

(58)

Yˆs находится в соответствии с формулой (2):

(59)

(При этом реальное значение Ys может не быть известным.)

Пусть, например, в условиях нашего примера Xs = 74 .

ˆ
Тогда Ys = a +bXs = -1,2651+0,7991 74 = 57,87 .
Заметим, что
ˆ	= E[a +bXs \| X , Xs ]= E[a \| X ]+ E[b \| X ]Xs = α +βXs . (60)
E Ys \| X , Xs
	ˆ	является несмещенной оценкой величины
В силу (58), (60), прогнозное значение Ys = a +bXs		является несмещенной оценкой величины

E[Ys | X , Xs ].

Для получения доверительных интервалов ниже будем считать, что условное распределение случайной величины εs нормально (при фиксированных значениях случайных величин X и

Xs ).

Тогда в силу формулы (59) из того, что условные распределения оценок a и b нормальны,

вытекает, что условное распределение прогноза Yˆ		также нормально.
	s
При этом в силу (60):
ˆ	(61)
E Ys \| X , Xs = α +βXs	(61)

| X , X

= E

| X

, X

| X ,

}

= E

(a +bX

)−(

α +βX

)

| X , X

Var Y

(

Y − E Y

)

{

}

= E

(a −α)+(b −β)X

2 | X

{

= E

{(

−α

| X , X

}

+ E

b −β

)

X , X

{(

a −α

)(

−β

)

| X , X

}

)

{ (

=Var (a | X , Xs )+Var (b | X , Xs )Xs2 + 2Cov(a,b | X , Xs )Xs

Итак,

Var

=Var (a |

+ 2Cov(a,b | X ,

Xs )Xs

(62)

| X , Xs

X , Xs )+Var (b | X , Xs )Xs

Подставим формулы (24)-(26) в (62), получим:

Var

=Var (a |

+ 2Cov(a,b | X ,

Xs )Xs

| X , Xs

X , Xs )+Var (b | X , Xs )Xs

∑Xt2

= σ2

+ σ2

− 2σ2

n∑(Xt − X

∑(Xt − X

− Xs )2

= σ2

∑(Xt − X

Итак,

− Xs )2

Var

| X , Xs

= σ

(63)

∑(Xt − X )

Подставив вместо

σ2

ее выборочную несмещенную оценку

s2 , получим несмещенную

оценку для Var Ys

| X , Xs :

− Xs )2

Var

| X , Xs

= s

(64)

∑(Xt − X )

В условиях нашего примера:

s =11,31, n = 5 ,

Xs = 74 ,

− Xs )2

Var

| X , Xs

= s

= 31,99

∑(Xt − X )

Обозначим:

X , Xs )=

(65)

s(Ys |

Var

X , Xs

В условиях нашего примера:

5,656

s(Ys | X , Xs )=

Var

X , Xs

Можно доказать, что статистика

	ˆ	)
t =	Ys −(α +βXs	)				(66)
t =	ˆ					(66)
	s(Ys \| X , Xs )
имеет распределение Стъюдента с числом степеней свободы n − 2 .
Следовательно, при уровне значимости ρ:
				ˆ	)
			Ys −(α +βXs		)
P −t (ρ,n − 2)≤						≤ t (ρ,n − 2)	=1−ρ,	(67)
P −t (ρ,n − 2)≤				ˆ		≤ t (ρ,n − 2)	=1−ρ,	(67)
				s(Ys \| X , Xs )

где t (ρ,n − 2) – двусторонняя квантиль распределения Стъюдента для уровня значимости ρ

и числа степеней свободы n − 2 .
Из (67) в результате несложных алгебраических преобразований имеем:
{	ˆ		ˆ		ˆ	ˆ	}
							X , Xs ) =1−ρ		(68)
P Ys −t (ρ,n − 2)s(Ys \| X , Xs )				≤ α +βXs ≤Ys +t (ρ,n − 2)s(Ys \|
Это		соотношения	определяет		доверительный	интервал для		ожидаемого	значения
E[Ys \| X , Xs ]= α +βXs :
ˆ		ˆ	\| X , Xs ),	ˆ	ˆ			(69)
Ys	−t (ρ,n − 2)s(Ys			Ys +t (ρ,n − 2)s(Ys \| X ,		Xs ) ,
в который с вероятностью 1−ρ попадает E[Ys \| X , Xs ].
В условиях нашего примера:				Xs	= 74 , Yˆs = 57,87 ,	ρ = 0,05 , t (ρ,n − 2)= 3,1824 .

Следовательно, 95%-й доверительный интервал для E[Ys | X , Xs ]:

[39,87; 75,87].

Доверительный интервал для Ys

Будем считать, что значение Ys

не известно.

Из равенств (58), (61):

(70)

E Ys

−Ys |

X , Xs = 0

Используя формулы (2), (57), можно показать, что

(X − Xs )

Var Ys −Ys | X , Xs

= σ

(71)

∑(Xt − X )

Следовательно,

(X − Xs )

Var Ys −Ys | X , Xs

= s

(72)

∑(Xt − X )

является несмещенной оценкой для Var Ys −Yˆs | X , Xs . В условиях нашего примера:

(X − Xs )

Var Ys −Ys | X , Xs

= s

=159,95

∑(Xt − X )

Обозначим:

	ˆ			ˆ
s(Ys −Ys \| X , Xs )=			Var Ys −Y		\| X , Xs
В условиях нашего примера:
	ˆ
	ˆ			ˆ		=12,65
s(Ys −Ys \| X , Xs )=			Var Ys −Y		\| X , Xs	=12,65
Можно показать, что величина
		ˆ
t =		Ys −Ys
t =	s(Ys	ˆ
	s(Ys	−Ys \| X , Xs )

(73)

(74)

имеет распределение Стъюдента с числом степеней свободы n − 2 .
Следовательно, при уровне значимости ρ:
				ˆ
				Ys −Ys
P −t (ρ,n − 2)≤						≤ t (ρ,n − 2) =1−ρ ,			(75)
P −t (ρ,n − 2)≤			s(Ys	ˆ	Xs )	≤ t (ρ,n − 2) =1−ρ ,			(75)
			s(Ys	−Ys \| X ,	Xs )

где t (ρ,n − 2)		– двусторонняя квантиль распределения Стъюдента для уровня значимости ρ
и числа степеней свободы n − 2 .
Из (75) в результате несложных алгебраических преобразований имеем:
{	ˆ			ˆ		ˆ		ˆ	}	(76)
P Ys −t (ρ,n − 2)s(Ys				−Ys \| X ,	Xs )≤Ys ≤Ys +t (ρ,n − 2)s(Ys −Ys \| X , Xs ) =1−ρ					(76)
Это соотношения определяет доверительный интервал для значения Ys :
ˆ				ˆ		ˆ	ˆ		,	(77)
Ys	−t (ρ,n − 2)s(Ys −Ys \| X , Xs ), Ys +t (ρ,n						− 2)s(Ys −Ys \| X ,	Xs )	,	(77)
в который с вероятностью 1−ρ попадает Ys .
В условиях нашего примера:					Xs = 74 , Yˆs = 57,87 , ρ = 0,05 , t (ρ,n − 2)= 3,1824 .
Следовательно, 95%-й доверительный интервал для Ys :
[17,62; 98,12]

3. Модель множественной регрессии

Основные гипотезы 1) Спецификация модели

m
yt = ∑βi Xti + εt ,	t =	1,n	,	(1)
i=1
Xti – объясняющие (независимые)				переменные, Yt – объясняемая (зависимая) перемен-
ная, εt – случайное отклонение, βi				– коэффициенты регрессии.

Отметим, что εt	и Yt	– случайные величины, Xti может быть как случайной, так и неслу-
чайной (детерминированной) величиной.
Отметим, что уравнение (1) охватывает также случай, когда:
m
yt = β0 + ∑βi Xti	+ εt	(2)

i=1

Вэтом случае можно считать, что

m	m
yt = β0 Xt 0 + ∑βi Xti + εt = ∑βi Xti + εt ,		(3)
i=1	i=0

где Xt 0 =1.

Следовательно, не уменьшая общности, можно считать, что уравнение регрессии задано формулой (1).

Обозначим:

Y =

X11, , X1m

β =

β1

ε =

ε1

(4)

, X = ..................

Xn1, , Xnm

βm

εn

С помощью этих обозначений запишем уравнения регрессии (1) в матричном виде:

Y = Xβ+ ε			(5)
Пример

t	Y	X1	X2
1	6	41	58
2	12	55	36
3	10	46	34
4	7	32	15
5	3	31	87

Будем считать, что спецификация модели:

Yt = β1 +β2 Xt 2 +β3 Xt3 + εt
Тогда:
	6		1		41		58
							36							β1
	12		1 55				36							β1
Y		,						,
Y	= 10	,	X = 1 46 34					,				β = β2
							15
	7		1 32				15							β3
	3		1		31		87

2)	E[ε\| X ]= 0														(6)
3) Var[ε\| X ]= σ2In															(7)
Напомним, что Var				[	ε\| X	]	= cov			(	ε	,ε	s	\| X		– матрица размером n ×n
				[		]				(	t		s		) ts
Следовательно, равенство (7) означает, что
т.е. Var[εt					2		= σ	2	, не зависит от t (гомоскедастичность);
т.е. Var[εt			\| X ]= E εt \| X				= σ		, не зависит от t (гомоскедастичность);
Cov[εt ,εs \| X ]= E[εtεs \| X ]= 0									при					s ≠ t –		некоррелированность ошибок для разных

наблюдений (отсутствие автокорреляции ошибок).

Дополнительная гипотеза:

4) εt – (условно) нормально распределенная случайная величина Тогда:

ε\| X N (0,σ2 In )		(8)
В этом случае модель называется нормальной линейной регрессионной.
Оценка параметров.
Метод наименьших квадратов.
Обозначим:
ˆ	m
ˆ	= ∑bi Xti	(9)
Yt	= ∑bi Xti	(9)
	i=1
Yˆ	– прогнозное значение объясняемой переменной, b – некоторые оценки коэффициен-
t		i

тов регрессии βi .

Отметим, что Yˆt зависит от значений коэффициентов bi . Обозначив

(X T X )b = X TY

			ˆ			b
ˆ		Y				b
ˆ	=		1	,	b =	1	(10)
Y	=			,	b =		(10)
			ˆ
			ˆ			b
		Yn				m

запишем формулы (2) в матричном виде:

ˆ				(11)
Y = Xb				(11)
Обозначим:
n	2	n	m	2
F(b) = ∑ Yˆt −Yt		= ∑ ∑bi Xti −Yt		(12)
t =1		t =1	i=1

сумму квадратов отклонений прогнозных значений от реальных значений объясняемой переменной.

Метод наименьших квадратов состоит в нахождении таких значений a и b , при которых F(b) минимально:

F(b) → min .

(13)

Запишем необходимые условия экстремума задачи (13):

	∂F		n	m
	∂F		n	m
		=	2∑ ∑bi		Xti −Yt Xtj	= 0 , j =1,m	(14)
	∂bj	=	2∑ ∑bi		Xti −Yt Xtj	= 0 , j =1,m	(14)
	∂bj		t =1	i=1
Систему уравнений (14) приведем к виду:
	m		n		n
	m		n		n	j =1,m	(15)
∑bi			∑Xti Xtj		= ∑Yt Xtj ,	j =1,m	(15)
	i=1	t =1			t =1

Запишем эту систему линейных уравнений в матричном виде:

(16)

Отметим, что X T X – симметричная квадратная матрица размером m ×m . В нашем примере:

									1	41	58
			1	1	1	1	1			55	36		5	205	230
			1	1	1	1	1		1	55	36		5	205	230
X	T	X		55	46	32		×		46	34			8807
X		X	= 41	55	46	32	31	×	1	46	34	= 205		8807	9099

				36	34	15			1	32	15		230	9099
			58	36	34	15	87		1	32	15		230	9099	13610
									1	31	87

Будем считать, что матрица X T X не вырождена с вероятностью 1:
P{det (X T X )= 0}= 0													(17)

С учетом (17) из (16) имеем:
b = (X T X )−1 X TY .	(18)

Формула (18) дает МНК-оценку для вектора коэффициентов регрессии β.

Отметим, что формула (18) обобщает формулы (2.9), (2.10), полученные для случая парной регрессии.

В нашем примере:

								5			205	230	−1	6,6886		-0,1258		-0,0289
(X	T	X )		−1		=					8807	9099				0,0027
(X		X )				=	205				8807	9099		= -0,1258		0,0027			0,0003
								230			9099					0,0003
								230			9099	13610		-0,0289		0,0003			0,0004
																							6
											6,6886		-0,1258		-0,0289		1	1	1	1	1			-0,5475
											6,6886		-0,1258		-0,0289		1	1	1	1	1		12	-0,5475
b = (X			T		X )		−1	X	T				0,0027					55	46	32		×
b = (X					X )			X		Y = -0,1258			0,0027		0,0003		× 41	55	46	32	31	×	10	= 0,2634

													0,0003					36	34	15			7
											-0,0289		0,0003		0,0004		58	36	34	15	87		7	-0,0577

																							3

Итак, в нашем примере:

-0,5475 b = 0,2634

-0,0577

	1	41	58				6,9077
		55	36	-0,5475
	1	55	36	-0,5475		11,8651
ˆ
Y = Xb =		46	34	× 0,2634	=		9,6095
Y = Xb =	1	46	34	× 0,2634	=		9,6095

	1	32	15				7,0174
	1	32	15	-0,0577			7,0174
	1	31	87				2,6003

Итак,

		6,9077

ˆ	11,8651
ˆ		9,6095
Y	=	9,6095
		7,0174
		2,6003
		2,6003
Свойства оценок МНК
Несмещенность
Прежде всего, заметим, что в силу (5) и (6):
E[Y \| X ]= Xβ.			(19)

<<< < Предыдущая 12 / 92 3 4 5 6 7 8 9 > Следующая >>>

Соседние файлы в папке 17-11-2015_11-58-24

#
20.02.201660.42 Кб18Вопросы к экзамену.doc
#
20.02.20161.91 Mб26Задания.rtf
#
20.02.2016534.62 Кб31Методические указания.pdf
#
20.02.20163.81 Mб23Под.ред.Елисеевой.2003.Эконометрика.djvu
#
20.02.201649.66 Кб20Учебная программа.doc
#
20.02.20161.05 Mб57Эконометрика (электронный конспект).pdf

a = -1,2651, b = 0,7991,

s(a \| X ) =		12,3168
	Var (a \| X ) =

s(b \| X ) =		0,1857
	Var (b \| X ) =