
- •ОГЛАВЛЕНИЕ
- •ПРЕДИСЛОВИЕ
- •МЕТОДИЧЕСКИЕ МАТЕРИАЛЫ
- •РАБОЧАЯ ПРОГРАММА ДИСЦИПЛИНЫ
- •РЕКОМЕНДАЦИИ ПО САМОСТОЯТЕЛЬНОЙ РАБОТЕ СТУДЕНТА
- •ТЕОРЕТИЧЕСКИЕ МАТЕРИАЛЫ
- •ГЛАВА 1. СТАТИСТИЧЕСКИЕ ПОНЯТИЯ И РАСПРЕДЕЛЕНИЯ
- •§ 1. Введение
- •§ 2. Суть регрессионного анализа
- •§ 3. Некоторые статистические определения
- •§ 4. Нормальное (гауссовское) распределение
- •§ 5. (хи-квадрат)-распределение
- •§ 6. Распределение Стьюдента (t-распределение)
- •§ 7. F-распределение (распределение дисперсионного отношения)
- •§ 8. Статистическая проверка гипотез
- •§ 9. Определение критических значений распределений Стьюдента и Фишера с использованием программы Microsoft Office Excel
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 2. ПАРНАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ. УСЛОВИЯ ГАУССА–МАРКОВА
- •§ 1. Основные понятия
- •§ 2. Метод наименьших квадратов
- •§ 3. Предпосылки метода наименьших квадратов
- •§ 4. Анализ точности определения оценок коэффициентов регрессии
- •§ 5. Проверка статистической значимости коэффициентов парной линейной регрессии
- •§ 6. Интервальные оценки коэффициентов линейного уравнения регрессии
- •§ 7. Доверительные интервалы для зависимой переменной
- •§ 8. Проверка общего качества уравнения регрессии. Коэффициент детерминации
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 3. МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ
- •§ 1. Определение параметров уравнения регрессии
- •§ 2. Расчет коэффициентов множественной линейной регрессии
- •§ 3. Дисперсии и стандартные ошибки коэффициентов
- •§ 4. Проверка статистической значимости коэффициентов уравнения регрессии
- •§ 5. Интервальные оценки коэффициентов теоретического уравнения регрессии
- •§ 6. Проверка общего качества уравнения регрессии
- •§ 7. Проверка равенства двух коэффициентов детерминации
- •§ 8. Проверка гипотезы о совпадении уравнений регрессии для двух выборок
- •§ 10. Частные уравнения регрессии
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 4. АВТОКОРРЕЛЯЦИЯ СЛУЧАЙНЫХ ВОЗМУЩЕНИЙ
- •§ 1. Суть и причины автокорреляции
- •§ 2. Последствия автокорреляции
- •§ 3. Обнаружение автокорреляции. Критерий Дарбина–Уотсона
- •§ 4. Методы устранения автокорреляции
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 5. ГЕТЕРОСКЕДАСТИЧНОСТЬ СЛУЧАЙНЫХ ВОЗМУЩЕНИЙ
- •§ 1. Общие понятия
- •§ 2. Последствия гетероскедастичности
- •§ 3. Обнаружение гетероскедастичности
- •§ 4. Методы смягчения проблемы гетероскедастичности
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 6. МУЛЬТИКОЛЛИНЕАРНОСТЬ
- •§ 1. Общие понятия и последствия мультиколлнеарности
- •§ 2. Определение мультиколлинеарности
- •§ 3. Методы устранения мультиколлинеарности
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 7. ФИКТИВНЫЕ ПЕРЕМЕННЫЕ В РЕГРЕССИОННЫХ МОДЕЛЯХ
- •§ 1. Модель с одной фиктивной (бинарной) переменной
- •§ 3. Сравнение двух регрессий
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 8. НЕЛИНЕЙНАЯ РЕГРЕССИЯ
- •§ 1. Общие понятия
- •§ 2. Степенные модели (логарифмические)
- •§ 3. Обратная модель (гиперболическая)
- •§ 4. Полиномиальная модель
- •§ 5. Показательная модель (лог-линейная)
- •§ 6. Выбор формы модели
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 9. ВРЕМЕННЫЕ РЯДЫ
- •§ 1. Общие понятия
- •§ 2. Моделирование тренда временного ряда
- •§ 4. Стационарные ряды
- •§ 5. Процесс авторегрессии AR(p)
- •§ 6. Процессы скользящего среднего MA(q)
- •§ 7. Комбинированные процессы авторегрессии-скользящего среднего ARMA(p, q)
- •§ 8. Модели ARMA, учитывающие наличие сезонности
- •§ 9. Нестационарные временные ряды. Процессы авторегрессии и проинтегрированного скользящего среднего ARIMA(p, k, q)
- •§ 10. Регрессионные модели с распределенными лагами
- •§ 11. Полиномиально распределенные лаги Ш. Алмон
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 10. СИСТЕМЫ ОДНОВРЕМЕННЫХ УРАВНЕНИЙ
- •§ 1. Общие понятия
- •§ 2. Идентификация структурной формы модели
- •§ 3. Косвенный метод наименьших квадратов
- •§ 4. Двухшаговый метод наименьших квадратов
- •§ 5. Трехшаговый метод наименьших квадратов
- •Резюме
- •Вопросы для самопроверки
- •ЗАКЛЮЧЕНИЕ
- •ЗАДАНИЯ ДЛЯ КОНТРОЛЯ
- •Тесты для самоконтроля
- •Ключи к тестам для самоконтроля
- •Контрольная работа
- •Вопросы к зачету (экзамену)
- •ГЛОССАРИЙ
- •СПИСОК ЛИТЕРАТУРЫ

Рассчитаем статистику Дарбина–Уотсона (табл. 4.2):
Таблица 4.2
Расчетная таблица
xt |
yt |
ˆ |
ˆ |
2 |
et - et−1 |
(et - et−1) |
2 |
yt |
et = yt −yt |
et |
|
||||
1 |
3 |
4,104 |
-1,104 |
1,218816 |
- |
- |
|
2 |
8 |
6,118 |
1,882 |
3,541924 |
2,986 |
8,916196 |
|
3 |
6 |
8,132 |
-2,132 |
4,545424 |
-4,014 |
16,1122 |
|
4 |
12 |
10,146 |
1,854 |
3,437316 |
3,986 |
15,8882 |
|
5 |
11 |
12,16 |
-1,16 |
1,3456 |
-3,014 |
9,084196 |
|
6 |
17 |
14,174 |
2,826 |
7,986276 |
3,986 |
15,8882 |
|
7 |
15 |
16,188 |
-1,188 |
1,411344 |
-4,014 |
16,1122 |
|
8 |
20 |
18,202 |
1,798 |
3,232804 |
2,986 |
8,916196 |
|
9 |
16 |
20,216 |
-4,216 |
17,77466 |
-6,014 |
36,1682 |
|
10 |
24 |
22,23 |
1,77 |
3,1329 |
5,986 |
35,8322 |
|
11 |
22 |
24,244 |
-2,244 |
5,035536 |
-4,014 |
16,1122 |
|
12 |
28 |
26,258 |
1,742 |
3,034564 |
3,986 |
15,8882 |
|
13 |
26 |
28,272 |
-2,272 |
5,161984 |
-4,014 |
16,1122 |
|
14 |
34 |
30,286 |
3,714 |
13,7938 |
5,986 |
35,8322 |
|
15 |
31 |
32,3 |
-1,3 |
1,69 |
-5,014 |
25,1402 |
|
∑ |
273 |
273,03 |
-0,03 |
76,34294 |
|
272,0027 |
Значение статистики Дарбина–Уотсона равно:
DW = 272,0027 ≈3,56 . 76,34294
Поскольку при 5%-м уровне значимости 4−dl =4−1,077=2,923 и при 1% уровне значимости 4−d l =4−0,811=3,189 , то при обо-
их уровнях значимости имеется отрицательная автокорреляция остатков.
§ 4. Методы устранения автокорреляции
96

Основной причиной наличия случайного члена в модели являются несовершенные знания о причинах и взаимосвязях, определяющих то или иное значение зависимой переменной. Поэтому свойства случайных отклонений, в том числе и автокорреляция, в первую очередь зависят от выбора формулы зависимости и состава объясняющих переменных. Так как автокорреляция чаще всего вызывается неправильной спецификацией модели, то необходимо, прежде всего, скорректировать саму модель. Возможно, автокорреляция вызвана отсутствием в модели некоторой важной объясняющей переменной. Следует попытаться определить данный фактор и учесть его в уравнении регрессии. Также можно попробовать изменить формулу зависимости (например, линейную на лог-линейную, линейную на гиперболическую и т. д.).
Однако если все разумные процедуры изменения спецификации модели исчерпаны, а автокорреляция имеет место, то можно предположить, что она обусловлена какими-то внутренними свойства-
ми ряда {et}. В этом случае можно воспользоваться авторегресси-
онным преобразованием. В линейной регрессионной модели либо в моделях, сводящихся к линейной, наиболее целесообразным и про-
стым преобразованием является авторегрессионная схема первого порядка AR(1).
Для простоты изложения AR(1) рассмотрим модель парной линейной регрессии:
Y = β0 +β1X +ε. |
(4.7) |
Тогда наблюдениям t и (t – 1) соответствуют формулы: |
|
yt = β0 +β1xt +εt , |
(4.8) |
yt−1 = β0 +β1xt−1+εt−1 . |
(4.9) |
Пусть случайные отклонения подвержены воздействию авторегрессии первого порядка:
εt = ρεt−1+νt ,
97

где νt , t =2, 3, ..., T — случайные отклонения, удовлетворяющие всем предпосылкам МНК, а коэффициент ρ известен. Вычтем из (4.8) соотношение (4.9), умноженное на ρ:
yt − ρyt−1 = β0 (1− ρ)+β1(xt − ρxt−1)+(εt − ρεt−1). (4.10)
Положив
yt = yt − ρyt−1, xt =(xt − ρxt−1), β0 = β0 (1− ρ), получим:
y*t = β0 +β1x*t +νt .
Так как по предположению коэффициент ρ известен, то очевидно, yt* , x*t , νt вычисляются достаточно просто. В силу того что случайные отклонения νt удовлетворяют предпосылкам МНК, оценки параметров β0 и β1 будут обладать свойствами наилучших линейных несмещенных оценок.
Способ вычисления y*t , x*t приводит к потере первого наблю-
дения (если мы не обладаем предшествующим ему наблюдением). Число степеней свободы уменьшится на единицу, что при больших выборках не так существенно, но при малых может привести к потере эффективности. Эта проблема обычно преодолевается с по-
мощью поправки Прайса–Винстена:
x*1 =x1 1− ρ2 , y*1 = y1 1− ρ2 .
Отметим, что авторегрессионное преобразование может быть обобщено на произвольное число объясняющих переменных, т. е. использовано для уравнения множественной регрессии.
Авторегрессионное преобразование первого порядка АR(1) может быть обобщено на преобразования более высоких порядков
АR(2), АR(3) и т. д.:
εt = ρ1εt−1+ ρ2εt−2 +νt ,
εt = ρ1εt−1+ ρ2εt−2 + ρ3εt−3 +νt .
Можно показать, что в случае автокорреляции остатков ковариационная матрица вектора случайных отклонений имеет вид:
98

|
|
|
1 |
ρ |
ρ2 |
ρ3 ... |
|
|
|
|
1 |
|
ρ2 ... |
|
|
ρ |
ρ |
|||
M |
T = |
|
ρ2 |
ρ |
1 |
ρ ... |
2 |
||||||
ε ε |
|
σε |
ρ3 |
ρ2 |
ρ |
1 ... |
|
|
|
|
|
|
|
|
|
... |
... |
... |
... ... |
|
|
|
|
ρn−1 |
ρn−2 |
ρn−3 |
ρn−4 ... |
|
|
|
ρn−1 |
|
|
|
ρn−2 |
|
|
|
|
|
||
ρ |
n−3 |
|
|
|
|
2 |
|
ρ |
n−4 |
=σεΩ . (4.11) |
|
|
|
|
|
... |
|
|
|
1 |
|
|
|
|
|
В обобщенном методе наименьших квадратов, если известны элементы матрицы Ω, параметры уравнения регрессии определяются по формуле Эйткена (A. C. Aitken):
B =(X T Ω−1X )−1 X T Ω−1Y . |
(4.12) |
Однако на практике значение коэффициента |
ρ обычно неиз- |
вестно и его необходимо оценивать. Существует несколько методов оценивания. Приведем наиболее употребляемые.
Рассмотрим определение ρ на основе статистики Дарбина–
Уотсона.
Напомним, что статистика Дарбина–Уотсона тесно связана с коэффициентом корреляции между соседними отклонениями через соотношение:
DW ≈2(1−retet−1).
Тогда в качестве оценки коэффициента ρ может быть взят ко-
эффициент r =ret et−1 :
r ≈1- DW2 .
Этот метод оценивания весьма неплох при большом числе наблюдений. Вэтом случаеоценка r параметра ρ будет достаточноточной.
Метод Кохрана–Оркатта
Другим возможным методом оценивания ρ и устранения авто-
корреляции остатков является итеративный процесс, называемый методом Кохрана–Оркатта. Опишем данный метод на примере парной регрессии:
99

Y= β0 + β1 X +ε
иавторегрессионной схемы первого порядка εt = ρεt −1 +νt .
1. |
Оценивается по МНК регрессия Y = β0 + β1 X +ε (находится |
||||
уравнение |
ˆ |
|
определяются |
остатки (оценки |
|
Y =b0 +b1X ) и |
|||||
et = yt −ˆyt , t =1, 2, ..., T |
отклонений εt). |
|
|||
2. |
Оценивается регрессионная зависимость: |
|
|||
|
|
|
εt = ρεt−1+νt . |
|
|
Пусть ρ — оценка коэффициента ρ. |
|
||||
3. |
На основе данной оценки строится уравнение: |
||||
|
|
~ |
~ |
~ |
~ |
|
yt −ρyt −1 = β0 |
(1− ρ)+ β |
1(xt − ρ xt −1)+ |
(εt − ρεt −1), |
y*t = β*0 + β1 x*t +νt .
Коэффициенты β*0, β1 оцениваются по уравнению регрессии:
|
|
ˆ * |
* |
* |
|
|
|
|
yt |
=b0 +b1xt . |
|
|
|
4. Значения |
* |
(1− ρ),b1 |
подставляются в |
ˆ |
+b1X . |
|
b0 =b0 |
Y =b0 |
|||||
Вновь вычисляются оценки |
|
ˆ |
отклонений εt |
|||
et =yt −yt , t =1, 2, ..., T |
и процесс возвращается к этапу 2.
Чередование этапов осуществляется до тех пор, пока не будет достигнута требуемая точность, т. е. пока разность между предыдущей и последующей оценками ρ не станет меньше любого на-
перед заданного числа.
Вернемся к примеру 4.1. Полагая, что остаток et линейно зависит от предыдущего значения остатка et-1, и оценивая коэффициент ρ, получим:
Таблица 4.3
Расчетная таблица
t |
et |
et2 |
et et −1 |
1 |
-1,104 |
1,218816 |
- |
2 |
1,882 |
3,541924 |
-2,07773 |
3 |
-2,132 |
4,545424 |
-4,01242 |
100

4 |
|
|
|
1,854 |
|
|
3,437316 |
|
|
-3,95273 |
|||||
5 |
|
|
|
-1,16 |
|
|
1,3456 |
|
|
-2,15064 |
|||||
6 |
|
|
|
2,826 |
|
|
7,986276 |
|
|
-3,27816 |
|||||
7 |
|
|
|
-1,188 |
|
|
1,411344 |
|
|
-3,35729 |
|||||
8 |
|
|
|
1,798 |
|
|
3,232804 |
|
|
-2,13602 |
|||||
9 |
|
|
|
-4,216 |
|
|
17,77466 |
|
|
-7,58037 |
|||||
10 |
|
|
|
1,77 |
|
|
3,1329 |
|
|
-7,46232 |
|||||
11 |
|
|
|
-2,244 |
|
|
5,035536 |
|
|
-3,97188 |
|||||
12 |
|
|
|
1,742 |
|
|
3,034564 |
|
|
-3,90905 |
|||||
13 |
|
|
|
-2,272 |
|
|
5,161984 |
|
|
-3,95782 |
|||||
14 |
|
|
|
3,714 |
|
|
13,7938 |
|
|
-8,43821 |
|||||
15 |
|
|
|
-1,3 |
|
|
1,69 |
|
|
|
-4,8282 |
||||
Итого |
|
|
|
-0,03 |
|
|
76,34294 |
|
|
-61,1128 |
|||||
|
|
|
|
|
T |
|
|
T |
T |
|
|
||||
~ |
|
|
(T −1)∑et et−1 |
−∑et∑et−1 |
|
|
|||||||||
|
|
|
t=2 |
|
|
t=2 |
t=2 |
|
|
||||||
|
ρ = |
|
|
|
|
|
|
|
|
|
|
= |
|
||
|
|
T |
|
|
|
T |
|
2 |
|||||||
|
|
|
|
(T −1)∑et2−1 − ∑et |
−1 |
|
|
||||||||
|
|
|
|
|
t=2 |
|
|
t=2 |
|
|
|
||||
|
|
T |
|
T |
|
|
|
T |
|
||||||
|
(T −1)∑et et −1 − |
∑et −e1 |
∑et −eT |
||||||||||||
= |
|
t =2 |
t =1 |
|
|
t =1 |
|
= |
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
(T |
− |
|
|
T |
|
|
|
T |
|
|
|
|
2 |
|
|
1) |
∑et2 −eT2 |
− |
∑et −eT |
|||||||||||
|
|
|
|
t =1 |
|
|
t =1 |
|
|
|
|
= 14 ×(−61,1128)−(−0,03 +1,104)×(−0,03 +1,3)≈ −0,821. 14 ×(76,34294 −1,69)−(−0,03 +1,3)2
При такой оценке ρ рассчитаем по приведенным выше формулам значения x*t , y*t .
Таблица 4.4
Расчетная таблица
101

|
xt |
yt |
x*t |
y*t |
|
|
1 |
3 |
1,294 |
3,881 |
|
|
2 |
8 |
2,821 |
10,463 |
|
|
3 |
6 |
4,642 |
12,568 |
|
|
4 |
12 |
6,463 |
16,926 |
|
|
5 |
11 |
8,284 |
20,852 |
|
|
6 |
17 |
10,105 |
26,031 |
|
|
7 |
15 |
11,926 |
28,957 |
|
|
8 |
20 |
13,747 |
32,315 |
|
|
9 |
16 |
15,568 |
32,42 |
|
|
10 |
24 |
17,389 |
37,136 |
|
|
11 |
22 |
19,21 |
41,704 |
|
|
12 |
28 |
21,031 |
46,062 |
|
|
13 |
26 |
22,852 |
48,988 |
|
|
14 |
34 |
24,673 |
55,346 |
|
|
15 |
31 |
24,494 |
58,914 |
|
|
|
|
|
|
|
Оценим параметры уравнения y*t = β0 + β1 x*t +νt обычным методом наименьших квадратов. Получим:
ˆy*t =b*0 +b1x*t =2,902+2,098x*t ,
тогда исправленные оценки коэффициентов исходного уравнения
yt = β0 +β1xt +εt будут равны b0 = |
b*0 |
= |
|
2,902 |
=1,59, |
b1 =2,098 |
|
1− ρ |
1,821 |
||||||
|
|
|
|
||||
(первоначальные оценки равны b0 =2,09, |
b1 =2,014 ). Мы выпол- |
||||||
нили один цикл процедуры Кохрана–Оркатта. |
|
|
Метод Хилдрета–Лу
По данному методу регрессия (4.10) оценивается для каждого возможного значения ρ из отрезка [-1, 1] с небольшим шагом (на-
пример, 0,001; 0,01 и т. д.). Величина ρ, дающая наименьшую стандартную ошибку регрессии, принимается в качестве оценки
102

коэффициента ρ. И значения β*0, β1 оцениваются из уравнения
регрессии ˆy*t =b*0 +b1x*t именно с данным значением ρ. Этот ме-
тод широко используется в пакетах прикладных программ.
Итак, подведем итог. В силу ряда причин (ошибок спецификации, инерционности рассматриваемых зависимостей и др.) в регрессионных моделях может иметь место корреляционная зависимость между соседними случайными отклонениями. Это нарушает одну из фундаментальных предпосылок МНК. Вследствие этого оценки, полученные на основе МНК, перестают быть эффективными. Это делает ненадежными выводы по значимости коэффициентов регрессии и по качеству самого уравнения. Поэтому достаточно важным является умение определить наличие автокорреляции и устранить это нежелательное явление. При установлении автокорреляции необходимо в первую очередь проанализировать правильность спецификации модели. Если после ряда возможных усовершенствований регрессии (уточнения состава объясняющих переменных либо изменения формы зависимости) автокорреляция по-прежнему имеет место, то, возможно, это связано с внутренни-
ми свойствами ряда отклонений {εt}. В этом случае возможны оп-
ределенные преобразования, устраняющие автокорреляцию. Среди них выделяется авторегрессионная схема первого порядка АR(1), которая, в принципе, может быть обобщена в АR(k), k = 2, 3, …. Для применения указанных схем необходимо оценить коэффициент корреляции между отклонениями. Это может быть сделано различными методами: на основе статистики Дарбина–Уотсона, Кохрана–Оркатта, Хилдрета–Лу и др. В случае наличия среди объясняющих переменных лаговой зависимой переменной наличие автокорреляции устанавливается с помощью h-статистики Дарбина. А для ее устранения в этом случае предпочтителен метод Хилд- рета–Лу.
Рассмотрим применение формулы Эйткена для авторегрессионной схемы первого порядка. В этом случае:
103