diplom25 / suslov_ibragimov_ekonometrika
.pdf212 |
Глава6.Алгебра линейной регрессии |
|||||||||
Действительно,пусть для определенности |
j = 1 и |
C = |
|
1 |
|
0 |
|
(первая |
||
|
|
|
|
|
|
|
|
|
|
|
строка является ортом), C −1 = |
|
|
|
. |
c−1 |
|
C−1 |
|
|
|
1 |
|
0 |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
−C−−11c−1 C−−11 |
|
|
|
|
|
|
|
|||
Уравнение(6.33)записывается следующим образом: |
|
|
|
|
|
|
|
|||
< Xö1 + Xö−1c−1 Xö−1C−1 |
= |
1 |
1 |
1 |
|
|
= e1 |
|
|
|
ö |
|
|
−C−−1 c−1 − C−−1 a−1 |
|
|
|
|
|||
←−−−−−−−−−−−−−−−−−−−−→Y |
|
|
|
|
|
|
|
|
|
|
|
|
←−−−−−−−−−−−−−−−−−→ |
|
|
|
f
или,после переноса переменных в правую часть:
|
|
|
|
6Xö1 + Xö−1c−17 = Xö−1C−1 |
|
C−−11c−1 + C−−11a−1 |
+e1. |
|
|
|
|||||||||||||
|
|
|
|
|
ö |
|
|
|
|
←−−−−→Y |
←−−−−−−−−−−−−−→W X |
|
|
|
|
||||||||
|
|
|
|
←−−−−−−−−−−→ |
|
ö |
1 |
|
|
|
|
− |
1 |
|
|
|
|
|
|||||
|
|
|
|
|
Y1 |
|
|
|
|
|
− |
|
|
|
|
|
|
|
|
|
|
|
|
Система нормальных уравнений для оценки f−1 |
имеет следующий вид: |
|
|
||||||||||||||||||||
1 |
C " 1Xö |
" 1 |
Xö1 + Xö |
− |
1c |
− |
1 |
= |
1 |
C " |
1Xö |
" 1 |
Xö |
1C 1 |
C −1c |
1 + C −1a |
− |
1 |
|||||
|
N |
N |
|||||||||||||||||||||
|
−ö |
|
− |
6 |
|
7 |
|
−ö |
|
− |
|
−ö |
− |
−1 |
− f |
−1 |
|
||||||
|
|
←−−−−→Y ! |
ö |
|
|
|
|
|
|
←−−−−→Y ! |
←−−−−→Y 1 |
←−−−−−−−−−−−−−→W 1 X |
|||||||||||
|
|
− |
1 |
|
←−−−−−−−−−−→ |
|
|
|
− |
1 |
|
|
− |
|
|
− |
|
|
|
||||
|
|
|
|
Y1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
или,раскрыв скобки:
C−" 1m−1 + C−" 1M−1c−1 = C−" 1M−1c−1 + C−" 1M−1a−1.
После взаимного сокращения одинаковых слагаемых в полученном матричном урав- нении(2-го в левой части и1-го в правой)и умножения обеих частей слева на получается система нормальных уравнений для оценки a−1: m−1 = M−1a−1.
Это означает,что f−1 послеÇвозвращенияÈв исходное пространство совпадает с a−1,т.е.проведенное преобразование в пространстве переменных новых оценок регрессии не дает.
Верноиобратное утверждение:если j -я строкаматрицы C не являетсяортом, то a и f совпадают с точностью до обратного преобразования только тогда,когда связь функциональна и e = 0.
6.4.Многообразие оценок регрессии |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
213 |
||||||||||||||
Пусть теперь C = |
|
|
0 |
In−1 |
|
|
(т.е.первая строка не является ортом), |
|
|
|||||||||||||||||||||||
|
|
1 |
c−" 1 |
|
|
|
|
|||||||||||||||||||||||||
|
1 |
−c−" 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
бретает следующую форму: |
|
||||||||||||
C −1 = |
|
.Тогда уравнение(6.33)прио |
|
|||||||||||||||||||||||||||||
|
0 |
In−1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 + c−" 1a−1 = e1, |
|
|
|
|
||||||||||
|
|
|
6 |
|
|
Xö−1 |
ö |
|
|
|
|
7 |
|
(6.34) |
||||||||||||||||||
|
|
|
|
Xö1 |
+ Xö1c−" |
1 |
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
←−−−−−−−−→Y−1 |
|
|
|
−a−1 |
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
←−−−−−−−−−−→ |
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
f |
|
|
|
|
|
|
|
|
||
или |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
и |
|
|
|
|
|
|
Xö1 01 + c−" 1a−11 = Yö−1a−1 + e1, |
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
ö |
ö |
|
|
|
|
|
a−1 |
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
||||
|
|
|
|
X1 |
= Y−1 |
01 + c−" 1a−11 + 01 + c−" 1a−11e1. |
|
|
|
|
|
|
||||||||||||||||||||
Таким образом,условием совпадения |
a и f |
с точностью до обратного преобразо- |
||||||||||||||||||||||||||||||
вания является следующее: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
f−1 = |
|
|
|
a−1 |
|
|
|
. |
|
|
|
|
(6.35) |
|||||||||
|
|
|
|
|
|
|
|
|
|
01 + c−" 1a−1 |
1 |
|
|
|
|
|||||||||||||||||
Система нормальных уравнений для оценки f−1 имеет вид: |
|
|
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
1 |
|
Yö " |
Xö |
|
= |
|
1 |
Yö " Yö |
|
f |
−1 |
, |
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
N |
−1 |
|
1 |
|
|
|
N |
−1 −1 |
|
|
|
|
|
|
|
|
|
|||||||
или,учтя зависимость |
Y от X из(6.34)и раскрыв скобки: |
|
|
|
|
|
|
|||||||||||||||||||||||||
|
m−1 + c−1m11 = 0M−1 + m−1c−" 1 + c−1m−" 1 + m11c−1c−" 11f−1. |
|
|
|||||||||||||||||||||||||||||
Это равенство с учетом(6. 35)и(6.11)принимает вид: |
|
|
|
|
|
|
|
|||||||||||||||||||||||||
(m−1 + c−1m11) |
0 |
1 + c−" 1M−−11m−1 |
= |
|
+ c |
|
1m" |
1 + m11c |
|
1c" |
|
M −11m |
|
|
||||||||||||||||||
|
|
|
|
|
|
= M |
− |
1 + m1 |
|
1c" 1 |
− |
− |
1 |
− |
1. |
|||||||||||||||||
|
|
|
|
|
|
|
0 |
|
|
|
|
|
− |
|
− |
|
|
|
|
− |
|
− |
1 |
− |
|
Раскрыв скобки и приведя подобные,можно получить следующее выражение:
c−1m11 = c−1m"−1M−−11m−1,
6.4.Многообразие оценок регрессии |
|
|
|
|
|
215 |
|||
или,учитывая зависимость Y от X из(6.36), |
|
|
|
|
|
||||
S −1m |
|
1 |
= S −1M |
−1 |
S −1 f |
−1 |
. |
||
|
|
||||||||
−1 |
−1 s1 |
−1 |
|
−1 |
|
||||
←−−−−−−r 1 → |
←−−−−−−−→1 |
|
|
||||||
|
− |
|
|
|
R
−
Что и требовалось доказать.
Преобразование в пространстве переменных в ортогональной регрессии при использовании любой квадратной и невырожденной матрицы C =! In приводит
кполучению новых оценок параметров.
Впункте4.2при n = 2 этот факт графически иллюстрировался в случае,когда
C = |
1 |
0 |
. |
|
0 |
k |
|
|
|
В общем случае верно утверждение,состоящее в том,что в результате преобразования иÇвозвращенияÈв исходное пространство для получения оценок a надо решить следующую задачу:
(M |
− |
λΩ) a = 0, a!Ωa = 1, |
(6.37) |
|
|
|
где Ω = C !−1C −1.
Действительно:
После преобразования в пространстве переменных задача ортогональной регрессии записывается следующим образом(6.24, 6.25):
(MY − λIn ) f = 0, f "f = 1, |
(6.38) |
где,учитывая(6.33), MY = C "M C, f = C −1a.
Выражение(6.37)получается в результате элементарных преобразований(6.38).
Понятно,что решение задачи(6.37)будет давать новую оценку параметрам a при любой квадратной и невырожденной матрице C =! In .Такую регрессиюиногда называют регрессией в метрике Ω−1.
6.5.Упражнения и задачи |
217 |
Ðсравните эти оценки с оценками линии регрессии,полученными в1.1; |
|
Ðрассчитайте расчетные значения переменных. |
|
1.7.Оцените матрицу оценок и значений главных компонент( |
AQ и Q),а также |
расчетное значение переменных. |
|
1.8.Пустьединицыизмерения x1 увеличилисьв 100 раз.Каквэтомслучаедолжна выглядеть матрица преобразования D?Как изменятся оценки уравнения прямой и ортогональной регрессий?
Задачи
1.Может ли матрица |
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
9.2 |
−3.8 −2 |
|
5.2 |
−3.8 −2 |
|||||||||
а) |
|
− |
3.8 |
2 |
0.6 |
|
б) |
|
− |
3.8 |
2 |
0.6 |
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
2 |
0.5 |
2 |
|
|
|
|
|
2 |
0.6 |
2 |
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
− |
|
|
|
|
|
|
− |
|
|
|
|
являться ковариационной матрицейпеременных,для которых строится уравнение регрессии?Ответ обосновать.
|
|
1 |
1 |
|
|
|
|
|
|
2.Для |
x = (x1, x2) = |
|
|
найдите оценки ковариаций переменных x, |
2 |
2 |
|||
|
|
6 |
3 |
|
|
|
|
|
|
|
|
|
|
|
оценки параметров уравнения прямой (x1 = a12x2 + 1N b1 +1e1) и обратной |
|||
регрессии (x2 = a21x1 + 1N b2 + e2).Покажите,что |
a12 != |
|
.Рассчитайте |
a21 |
|||
вектор-столбец остатков по прямой и обратной регрессии.Убедитесь,что |
|||
сумма остатков равна нулю,вектора остатков и x2 |
ортогональны при пря- |
мой регрессии,вектора остатков и x1 ортогональны при обратной регрессии.Найдите объясненную и остаточную д исперсии различными способами, а также коэффициент детерминации.
3.Предположим,что мы,используя модель регрессии x1 = x−1a−1 + 1N b1 +
+e1,из условия минимизации e! e1 получили следующую систему линейных
1
|
b1 + 2a12 + a13 = 3, |
|
|
|
|
|
|
|
|
|
|
уравнений: 2b1 + 5a12 + a13 = 9,
b1 + a12 + 6a13 = −8.
6.5.Упражнения и задачи |
|
|
|
219 |
9.В регрессии x1 = a12x2 + 1N b1 + e1,где |
x1! = (5, 3, 7, 1) коэффициент |
|||
детерминации оказался равным 50%.Найдите сумму квадратов остатков. |
||||
10.Оцените модель x1 = a12x2 + 1N b1 + e1,используя следующие данные: |
||||
3 |
3 |
|
|
|
1 |
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
(x1, x2) = |
|
. |
|
|
8 |
5 |
|
|
|
|
|
|
|
|
|
|
|
|
|
3 |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
5 |
5 |
|
|
|
|
|
|
|
|
|
|
|
|
|
i% |
ei = 0, |
% |
x2i ei = 0. |
|
Вычислите остатки (ei ) и покажите,что |
5 |
5 |
||
|
=1 |
|
i=1 |
|
11.Две парные регрессии построены на одних и тех же данных: x1 = a12x2 +
+ 1N b1 + e1 и x2 = a21x1 + 1N b2 + e2. R12 Ñкоэффициент детерминации в первойрегрессии, R22 Ñвовторой.Запишитесоотношениемежду R12 и R22.
Ответ обосновать.
12.Возможна ли ситуация,когда угловые коэффициенты в уравнениях прямой и обратной регрессии построены на одних и тех же данных,соответственно равны 0.5 и 3.0.Почему?
13.Что геометрически означает R2 = 0 и R2 = 1?
14.Регрессия x1 = α12x2 + β1 + ε1 оценивается по двум наблюдениям.Чему равен коэффициент детерминации?
|
|
1 |
1 |
|
|
|
|
|
|
15.Для |
x = (x1, x2) = |
|
|
оцените параметры ортогональной регрессии |
2 |
2 |
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
63
икоэффициент детерминации.Покажите,что линия ортогональной регрессии находится между линиями прямой и обратной регрессии.
16.Какая из двух оценок коэффициента зависимости выпуска продукции от количества занятых в производстве больше:по прямой или по ортогональной регрессии?Ответ обосновать.
17.Какая из двух оценок коэффициента зависимости спроса от цены больше: по прямой или по ортогональной регрессии?Ответ обосновать.
6.5.Упражнения и задачи |
221 |
2.Болч Б.,Хуань К.Дж. Многомерные статистические методы для экономи-
ки. ÑМ.: ÇСтатистикаÈ, 1979. (Гл. 7).
3.Джонстон Дж. Эконометрические методы. ÑМ.: ÇСтатистикаÈ, 1980. (Гл. 2, 11).
4.Дрейпер Н.,Смит Г. Прикладной регрессионный анализ:В2-х кн.Кн.1. Ñ М.: ÇФинансы и статистикаÈ, 1986. (Гл. 1, 2).
5.Езекиэл М.,Фокс К. Методы анализа корреляцийи регрессий. ÑМ.: ÇСта-
тистикаÈ, 1966. (Гл. 5, 7).
6.Кейн Э. Экономическая статистика и эконометрия.Вып. 2. ÑМ.: ÇСтати-
стикаÈ, 1977. (Гл. 10, 11).
7.Лизер С. Эконометрические методы и задачи. ÑМ.: ÇСтатистикаÈ, 1971. (Гл. 2).
8.(*)Маленво Э. Статистические методы эконометрии.Вып. 1. ÑМ.: ÇСта-
тистикаÈ, 1975. (Гл. 1).
9.Judge G.G., Hill R.C., Griffiths W.E., Luthepohl H., Lee T. Introduction to the Theory and Practice of Econometric. John Wiley & Sons, Inc., 1993. (Ch. 5).
10.William E., Griffiths R., Carter H., George G. Judge Learning and Practicing econometrics, N 9 John Wiley & Sons, Inc., 1993. (Ch. 3).