Диплом / suslov_ibragimov_ekonometrika
.pdf242 |
Глава7.Основная модель линейной регрессии |
и только n1 |
строк первой матрицы,начиная с ее второй строки(т.е.со стро- |
ки первого фактора),преобразованы в орты; z1 Ñмножество факторов,строки которых преобразованы в орты, z2 Ñостальные факторы.ЭтоÑситуация на текущем шаге процесса.
В начале процесса пара преобразуемых матриц имеет вид(над матрицами показаны переменные,которые соответствуют их столбцам):
|
|
|
|
|
|
|
|
|
|
x |
|
z1 |
z2 |
|
|
|
x |
z1 |
|
z2 |
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
mxx |
m1! |
m2! |
и |
1 0 |
|
0 |
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
m1 |
M11 |
M12 |
|
0 I1 |
|
0 |
, |
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
m2 |
M |
M22 |
|
|
|
0 0 I2 |
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
12! |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
где |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
mxx = |
1 |
Xö !Xö Ñдисперсия x , |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
m1 = |
|
1 |
ö |
ö |
Ñвектор-столбец коэффициентов ковариации |
z1 и x , |
||||||||||||||||||||||||
N |
Z1X |
|||||||||||||||||||||||||||||
m2 = |
|
1 |
ö |
ö |
Ñвектор-столбец коэффициентов ковариации |
z2 и x , |
||||||||||||||||||||||||
N |
Z2X |
|||||||||||||||||||||||||||||
M11 = |
|
1 |
Zö! |
Zö1 |
Ñматрица коэффициентов ковариации |
z1 |
между собой, |
|||||||||||||||||||||||
N |
||||||||||||||||||||||||||||||
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
M12 = |
|
1 |
Zö! |
Zö2 |
Ñматрица коэффициентов ковариации |
z1 |
и z2 , |
|||||||||||||||||||||||
N |
||||||||||||||||||||||||||||||
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
M22 = |
1 |
Zö2! Zö2 |
Ñматрица коэффициентов ковариации |
z2 |
между собой. |
|||||||||||||||||||||||||
N |
||||||||||||||||||||||||||||||
На текущем шаге эти матрицы преобразуются к виду: |
|
|
|
|
|
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
x |
|
|
|
|
z1 |
|
|
|
|
|
|
z2 |
|
|
|
|
|
|||
|
|
|
|
|
|
mxx − m1! M1−1m1 |
m1! M1−1 |
m2! − m1! M1−1M12 |
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
←−−−−1 → |
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
←−−−−−−−−−−−−e2 → |
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
I1 |
|
|
|
|
|
|
0 |
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
a |
|
|
|
|
|
|
c |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
M ! |
|
1 |
m1 |
M ! |
|
M − |
1 |
M2 |
|
M ! |
|
|
1 |
|
|
|
||||
|
|
|
|
|
|
m2 |
− |
M − |
|
|
− |
M − |
M12 |
|||||||||||||||||
|
|
|
|
|
|
|
|
|
12 |
1 |
|
|
12 |
|
1 |
|
|
|
|
12 |
1 |
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
|
z1 |
|
|
z2 |
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
и |
|
1 |
|
|
|
0 |
|
|
|
0 |
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
M1−1m1 |
|
M1−1 |
− |
M1−1M12 |
. |
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
− |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
0 |
|
|
|
I |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
7.3.Независимые факторы:спецификация модели |
243 |
Информация,используемая в шаговой р егрессии,расположена в1-й строке первой матрицы:остаточная диспер сия в текущей регрессии(в столбце x),коэффициенты a1 текущей регрессии при переменных z1 (в столбцах z1),коэффициенты ce2 ковариации текущих остатков e с переменными z2,не включенными в текущую регрессию(в столбцах z2).
Для введения очередного фактора в регрессию(шаг вперед)следует его строку в первой матрице преобразовать в орт,для исключения фактора из регрессии (шаг назад)следует преобразовать в орт его строку во второй матрице.Шаг вперед увеличиваетколичествоэлементовввекторе z1 наединицуисокращаетнаединицу количество элементов в векторе z2.Шаг назад приводит к обратным изменениям. Последствия любого из этих шагов можно оценить по F -критерию,рассчитав показатель pv F c -статистики(информацию для такого расчета дает остаточная дисперсияÑпервый элемент перв ой строки первой матрицы).
На текущем шаге процесса проверяются последствия введения всех ранее не введенных факторов z2 и исключения всех введенных факторов z1.Выбирается тот вариант,который дает минимальное значение показателя pv.Процесс заканчивается,как только этот показатель перестает падать.В результате определяетсянаилучшаярегрессия.Такойпроцесснеприводит,какправило,квключению в регрессию сильно коррелированных факторов,т.е.позволяет решить проблему мультиколлинеарности.
Если бы расчеты проводились в стандартизированной шкале(по коэффициентам корреляции,а не ковариации), ÇкандидатомÈна введение был бы фактор с максимальным значением показателя в множестве ce2 (как было показано выше),а на исключениеÑфактор с минимальным значением показателя в множестве a1.Но даже в этом случае для окончательного выбора(вводить-исключать) и решения вопроса о завершении процесса требуется использование F -критерия. ПриÇработеÈс коэффициента ми ковариации использование F -критерия необходимо.
На последних шагах процесса,при прибл ижении к минимуму критериального показателя pv,еговеличинаменяется,какправ ило,весьманезначительно.Поэтому один из возможных подходов к использованию шаговой регрессии заключается в определении некоторого множества регрессий,получаемых на последних шагах процесса,которые практиче ски одинаковы по своему качеству.И на этом множестве следует делать окончательный выбор,пользуясь содержательными критериями.
Иногда процесс шаговой регрессии предлагают строить на основе t-критерия: фактор вводится в уравнение,если его t-статистика больше некоторой заданной величины t1,выводится из уравнения,если эта статистика меньше заданной величины t2;как правило, t1 > t2.Такой процесс не гарантирует получение наилучшей
244 |
Глава7.Основная модель линейной регрессии |
регрессии,его использовали в то время,когда вычислительные возможности были еще слабо развиты,и,в частности,точные значения показателя pv было трудно определить.
7.4.Прогнозирование
Пусть получены оценки параметров уравнения(7.11).Задача прогнозирования заключается в определении возможного значения(прогноза)переменной x,объясняемой этой моделью,при некоторых заданных значениях факторов z,которые не совпадают ни с одним из наблюдений в матрице Z .Более того,как правило, z лежит вне области,пред ставляемой матрицей Z .При этом предполагается, что гипотезы g1−g3 по-прежнему выполняются.
Обычно терминÇпрогнозированиеÈиспол ьзуется в случае,когда наблюдения i = 1, . . . , N в матрице Z даны по последовательным моментам(периодам)времени,и заданные значения факторов z,для которых требуется определить прогноз x,относятся к какому-то будущему моменту времени,большему N (т.е. z лежит вне области,представляемой матрицей Z ).
Методы прогнозирования могут быть различными.Если применяются относительно простые статистические методы,как в данном случае,то часто используют терминÇ экстраполированиеÈ.Если аналогичная задача решается для z, лежащих внутри области,представляемой наблюдениями в матрице Z (например, дляÇпропущенныхÈпо каким-то причин ам наблюдений),то используют термин ÇинтерполированиеÈ.Процедуры экстраполирования и интерполирования с использованием модели(7.11)с формальной точки зрения одинаковы.
Итак,задан некоторый zr = [zr1 ááá zrn 1],который отличается от всех zi , i = 1, . . . , N (если i Ñобозначает момент времени,то r > N ).
xr = zr α + εr Ñистинное значение искомой величины, x0r = zr α Ñожидаемое значение,
xpr = zr a Ñискомый(точечный)прогноз.
Предполагаем,что гипотезы g1−g4 выполнены как для i = 1, . . . , N , так и для r > N .
(7.26)
Это линейный(относительно случайных величин X )прогноз: xpr = zr LX , он не смещен относительно ожидаемого значения вслед за несмещенностью a: E (xpr ) = x0r .Его ошибка εpr = xr − xpr имеет нулевое математическое ожидание и дисперсию
0 |
1 |
−1 zr! ), |
|
σp2 = σ2 (1 + zr |
Z !Z |
(7.63) |
248 |
|
|
|
|
Глава7.Основная модель линейной регрессии |
|||
б) M = |
M + zø!zø zø! |
|
и m = |
m + zø!xø . |
||||
R |
|
zø |
1 |
|
O |
|
xø |
|
|
|
|
|
|
|
|
1.3.Найдите оценку |
a,рассчитайте |
sx2 = |
1 |
X !X − xø2 и sq2 = m!a − xø2 и убе- |
||||||
N |
||||||||||
дитесь,что результат совпадает с результатом пункта1упражнения1. |
||||||||||
|
|
|
|
|
|
O |
|
|
|
O O |
1.4.Рассчитайте несмещенную о ценку остаточной дисперсии |
||||||||||
sö2 |
= |
|
|
N |
s2 |
|
|
|
|
|
|
|
|
|
|
|
|
||||
N − n − 1 |
|
|
|
|
||||||
e |
|
|
e |
|
|
|
|
|||
и оцените матрицу ковариации параметров уравнения регрессии |
||||||||||
|
|
= |
sö2 |
|
|
|
|
|
||
M |
|
e |
M −1. |
|
|
|
|
|
||
|
|
|
|
|
|
|
||||
|
a |
|
|
N R |
|
θ = 0.05,вычислите доверительные интер- |
||||
1.5.Используя уровень значимости |
||||||||||
валы для коэффициентов уравнения регрессии и проверьте значимость фак- |
||||||||||
торов. |
|
|
|
|
|
|
|
|||
1.6.Рассчитайте статистику F c = |
R2(N − n − 1) |
и,используя уровень значи- |
||||||||
|
|
|
|
|
|
|
(1 − R2)n |
|||
мости |
θ = 0.05,проверьте гипотезу о том,что модель некорректна и все |
факторы введены в нее ошибочно.
1.7.Рассчитайте коэффициент детермина ции,скорректированный на число сте-
пеней свободы ÷2.
R
1.8.По найденному уравнению регрессии и значениям
а) |
z = (min Z1, min Z2); |
|
б) |
ø |
ø |
z = (Z1 |
, Z2); |
|
в) |
z = (max Z1, max Z2); |
вычислите предсказанное значение для x и соответствующую интервальную оценку при θ = 0.05.
Упражнение2
Дано уравнение регрессии: X = Z α + ε = −1.410z1 + 0.080z2 + 56.962 120 + ε,
где X Ñвектор-столбец 20 |
наблюдений за объясняемой переменной |
(20 |
× 1) |
, |
||
OO |
|
|
||||
ε Ñвектор-столбец 2случайных ошибок |
(20 × 1) с нулевым средним и ковариа- |
|||||
ционной матрицей σ I20 = 21.611I20 и Z Ñматрица размерности (20 × 3) на- |
||||||
блюдений за объясняющими |
переменными.Используя нормальное распределение |
|||||
|
|
O |
|
|
|
7.5.Упражнения и задачи |
249 |
снезависимыминаблюдениями,сосредним 0 иковариационнойматрицей σ2I20 = |
|
= 21.611I20,получите 100 выборок вектора ε (N × 1), k = 1, . . . , 100,где |
N = |
= 20.Эти случайные векторы потом используйте вместе с известным вектором
α = (−1.410, 0.080, 56.962) |
и матрицей Z = (Z1, Z2, 1) из таблицы7.1.Снача- |
||||
O |
ошибки: |
|
|
. |
100 выборок |
ла получите ожидаемое значения X 0 = ZOα,затем,чтобы0 |
получить |
||||
вектора X (20 × 1),добавьте случайныеOO |
X + ε = X |
|
|
2.1.Используйте 10 из 100 выборок,чтобыполучитьвыборочныеоценкидля α1,
α2, β , σ и R2.
2.2.Вычислитематрицуковариац ийпараметровуравнениярегрессии Ma длякаждого элемента выборки и сравните с истинным значением ковариационной матрицы:
|
( |
) |
|
1 |
|
|
0.099813 |
−0.004112 |
−0.233234 |
|
|||
|
− |
|
|
|
− |
|
|
|
− |
|
|
||
σ2 |
O O |
|
|
= |
|
|
0.004112 |
0.000290 |
|
0.057857 |
|
||
Z !Z |
|
|
|
|
|
. |
|||||||
|
|
|
|
|
|
|
− |
|
− |
|
|
|
|
|
|
|
|
|
|
|
0.233234 |
0.057857 |
39.278158 |
|
|||
|
|
|
|
|
|
|
|
|
|
Дайте интерпретацию диагональных элементов ковариационных матриц.
2.3.Вычислите среднее и дисперсию для 10 выборок для каждого из параметров, полученных в упражнении2.1,и сравните эти средние значения с истинными параметрами.Обратите внимание,под твердилась ли ожидаемые теоретические результаты.
2.4.Используя уровень значимости θ = 0.05,вычислите и сравните интервальные оценки для α1, α2, β и σ для10выборок.
2.5.Объедините 10 выборок,по 20 наблюдений каждая,в 5 выборок по 40 наблюдений и повторите упражнения2.1и2.2.Сделайте выводы о результатах увеличения объема выборки.
2.6.Повторите упражнения2.1и2.5для всех |
100 и для 50 выборок и проана- |
лизируйте разницу в результатах. |
|
2.7.Постройте распределения частот для оценок,полученных в упражнении2.6, сравните и прокомментируйте результаты.
250 |
Глава7.Основная модель линейной регрессии |
Задачи
1.В регрессии X = Z a + 1N b + e матрица вторых начальных моментов ре-
9 |
2 |
грессоров равна 2 |
1 .Найдите дисперсию объясняющей переменной. |
|
|
2.На основании ежегодных данных за 10 лет с помощью МНК была сделана оценка параметров производственной функции типа КоббаÑДугласа.Чему равна несмещенная оценка дисперсии ошибки,если сумма квадратов остатков равна 32?
3.В регрессии X = Z a + 1N b + e с факторами Z ! = (1, 2, 3) сумма квадратов остатков равна 6.Найдите ковариационную мат рицу оценок параметров регрессии.
4.Какие свойства МНК-оценок коэффи циентов регрессии теряются,если ошибки по наблюдениям коррелированы и/или имеют разные дисперсии?
5.Что обеспечивает гипотеза о нормальности распределения ошибок при построения уравнения регрессии?Ответ обоснуйте.
6.Какие ограничения на параметры уравнения проверяются с помощью t-кри- терия(написать ограничения с р асшифровкой обозначений)?
7.Четырехфакторное уравнен ие регрессии оценено по 20-ти наблюдениям. В каком случае отношение оценки коэффициента регрессии к ее стандартной ошибке имеет распределение t-Стьюдента?Сколько степенией свободы в этом случае имеет эта статистика?
8.Оценки МНК в регрессии по 20-ти наблюдениям равны (2, −1),а ковариа-
|
9 |
2 |
ционнаяматрицаэтихоценокравна 2 |
1 .Найтистатистики t-Стьюдента |
|
для этих коэффициентов. |
|
|
9.По 10 наблюдениямданаоценка 4 одномуизкоэффициентовдвухфакторной регрессии.Дисперсия егоошибкиравна 4.Построить 99%-ный доверительный интервал для этого коэффициента.
10.МНК-оценка параметра регрессии,полученная по 16 наблюдениям,равна 4,оценка его стандартной ошибки равна 1.Можно ли утверждать с вероятностьюошибкинеболее 5%,чтоистинноезначениепараметраравно 5.93? Объяснить почему.
7.5.Упражнения и задачи |
|
|
|
|
|
|
251 |
11.Оценка углового коэффициента регрессии равна |
4,а дисперсия этой оценки |
||||||
равна 4.Значим ли этот коэффициент,если табличные значения: |
|
|
|
||||
tN −n−1, 0.95 = 2.4, tN −n−1, 0.90 = 1.9? |
|
|
|
|
|||
12.В результате оценивания регрессии |
x = zα + 1N β + ε на основе N = 30 |
||||||
наблюдений получены следующие результаты: |
|
|
|
|
|
|
|
x = |
1.2z1+ |
1.0z2− 0.5z 3+ |
25.1 |
||||
Стандартные ошибки оценок |
( ) |
(1.3) |
(0.06) |
(2.1) |
|||
t-статистика |
(0.8) |
( |
) |
( |
) |
( |
) |
95%доверительные интервалы |
(−1.88; 4.28) |
( |
) |
( |
) |
( |
) |
Заполните пропуски в скобках. |
|
|
|
|
|
|
|
13.На основе годовых отчетов за1973Ð1992годы о затратах на продукты питания Q,располагаемом доходе Y ,индексе цен на продукты питания P F и индексе цен на непродовольственные товары P N F ,группа исследователей получила различные регрессионные уравнения для функции спроса на продукты питания:
ln Q = 3.87 |
− 1.34 ln P F |
|
|||
|
|
(1.45) |
(−4.54) |
|
|
R2 |
= |
0.56 |
|
|
|
ln Q = 2.83 |
− 0.92 ln P F + 1.23 ln Y |
||||
|
|
(1.25) |
(−2.70) |
(2.99) |
|
R2 |
= |
0.76 |
|
|
|
ln Q = |
2.35 |
− 0.52 ln P F + 0.95 ln Y + 1.54 ln P N F |
||
|
(1.54) |
(−1.80) |
(0.79) |
(2.45) |
R2 = |
0.84 |
|
|
|
В скобках приведены значения t-статистики.
Прокомментируйте полученные оценкикоэффициентов и t-статистики,объ- ясните,почему значения могут различаться в трех уравнениях.Можете ли вы предложить решение проблемы статистической незначимости коэффициентов в последнем уравнении?