- •ОГЛАВЛЕНИЕ
- •ПРЕДИСЛОВИЕ
- •МЕТОДИЧЕСКИЕ МАТЕРИАЛЫ
- •РАБОЧАЯ ПРОГРАММА ДИСЦИПЛИНЫ
- •РЕКОМЕНДАЦИИ ПО САМОСТОЯТЕЛЬНОЙ РАБОТЕ СТУДЕНТА
- •ТЕОРЕТИЧЕСКИЕ МАТЕРИАЛЫ
- •ГЛАВА 1. СТАТИСТИЧЕСКИЕ ПОНЯТИЯ И РАСПРЕДЕЛЕНИЯ
- •§ 1. Введение
- •§ 2. Суть регрессионного анализа
- •§ 3. Некоторые статистические определения
- •§ 4. Нормальное (гауссовское) распределение
- •§ 5. (хи-квадрат)-распределение
- •§ 6. Распределение Стьюдента (t-распределение)
- •§ 7. F-распределение (распределение дисперсионного отношения)
- •§ 8. Статистическая проверка гипотез
- •§ 9. Определение критических значений распределений Стьюдента и Фишера с использованием программы Microsoft Office Excel
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 2. ПАРНАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ. УСЛОВИЯ ГАУССА–МАРКОВА
- •§ 1. Основные понятия
- •§ 2. Метод наименьших квадратов
- •§ 3. Предпосылки метода наименьших квадратов
- •§ 4. Анализ точности определения оценок коэффициентов регрессии
- •§ 5. Проверка статистической значимости коэффициентов парной линейной регрессии
- •§ 6. Интервальные оценки коэффициентов линейного уравнения регрессии
- •§ 7. Доверительные интервалы для зависимой переменной
- •§ 8. Проверка общего качества уравнения регрессии. Коэффициент детерминации
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 3. МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ
- •§ 1. Определение параметров уравнения регрессии
- •§ 2. Расчет коэффициентов множественной линейной регрессии
- •§ 3. Дисперсии и стандартные ошибки коэффициентов
- •§ 4. Проверка статистической значимости коэффициентов уравнения регрессии
- •§ 5. Интервальные оценки коэффициентов теоретического уравнения регрессии
- •§ 6. Проверка общего качества уравнения регрессии
- •§ 7. Проверка равенства двух коэффициентов детерминации
- •§ 8. Проверка гипотезы о совпадении уравнений регрессии для двух выборок
- •§ 10. Частные уравнения регрессии
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 4. АВТОКОРРЕЛЯЦИЯ СЛУЧАЙНЫХ ВОЗМУЩЕНИЙ
- •§ 1. Суть и причины автокорреляции
- •§ 2. Последствия автокорреляции
- •§ 3. Обнаружение автокорреляции. Критерий Дарбина–Уотсона
- •§ 4. Методы устранения автокорреляции
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 5. ГЕТЕРОСКЕДАСТИЧНОСТЬ СЛУЧАЙНЫХ ВОЗМУЩЕНИЙ
- •§ 1. Общие понятия
- •§ 2. Последствия гетероскедастичности
- •§ 3. Обнаружение гетероскедастичности
- •§ 4. Методы смягчения проблемы гетероскедастичности
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 6. МУЛЬТИКОЛЛИНЕАРНОСТЬ
- •§ 1. Общие понятия и последствия мультиколлнеарности
- •§ 2. Определение мультиколлинеарности
- •§ 3. Методы устранения мультиколлинеарности
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 7. ФИКТИВНЫЕ ПЕРЕМЕННЫЕ В РЕГРЕССИОННЫХ МОДЕЛЯХ
- •§ 1. Модель с одной фиктивной (бинарной) переменной
- •§ 3. Сравнение двух регрессий
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 8. НЕЛИНЕЙНАЯ РЕГРЕССИЯ
- •§ 1. Общие понятия
- •§ 2. Степенные модели (логарифмические)
- •§ 3. Обратная модель (гиперболическая)
- •§ 4. Полиномиальная модель
- •§ 5. Показательная модель (лог-линейная)
- •§ 6. Выбор формы модели
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 9. ВРЕМЕННЫЕ РЯДЫ
- •§ 1. Общие понятия
- •§ 2. Моделирование тренда временного ряда
- •§ 4. Стационарные ряды
- •§ 5. Процесс авторегрессии AR(p)
- •§ 6. Процессы скользящего среднего MA(q)
- •§ 7. Комбинированные процессы авторегрессии-скользящего среднего ARMA(p, q)
- •§ 8. Модели ARMA, учитывающие наличие сезонности
- •§ 9. Нестационарные временные ряды. Процессы авторегрессии и проинтегрированного скользящего среднего ARIMA(p, k, q)
- •§ 10. Регрессионные модели с распределенными лагами
- •§ 11. Полиномиально распределенные лаги Ш. Алмон
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 10. СИСТЕМЫ ОДНОВРЕМЕННЫХ УРАВНЕНИЙ
- •§ 1. Общие понятия
- •§ 2. Идентификация структурной формы модели
- •§ 3. Косвенный метод наименьших квадратов
- •§ 4. Двухшаговый метод наименьших квадратов
- •§ 5. Трехшаговый метод наименьших квадратов
- •Резюме
- •Вопросы для самопроверки
- •ЗАКЛЮЧЕНИЕ
- •ЗАДАНИЯ ДЛЯ КОНТРОЛЯ
- •Тесты для самоконтроля
- •Ключи к тестам для самоконтроля
- •Контрольная работа
- •Вопросы к зачету (экзамену)
- •ГЛОССАРИЙ
- •СПИСОК ЛИТЕРАТУРЫ
Стационарный в узком смысле случайный процесс является одновременно и стационарным в широком смысле, если существуют функции двух первых моментов.
Для гауссовских процессов любые конечномерные распределения определяются через функции m(t) и C(s, t). Поэтому гауссовские процессы, стационарные в широком смысле, одновременно являются стационарными и в узком смысле.
§ 5. Процесс авторегрессии AR(p)
Рассмотрим процесс y(t), значения которого в момент времени t формируются как комбинация значений этого процесса в предшествующий момент (t - 1) и некоторой случайной составляющей εt, независимой от значений y(t - 1). Пусть εt — процесс белого шума,
причем M εt = 0, Dεt =σ2 . Часто дополнительно предполагают, что εt распределены по нормальному закону (гауссовский белый шум). На рис. 9.6 приведен пример процесса авторегрессии.
Рис. 9.6. Процесс авторегрессии первого порядка AR(1)
Случайный процесс y(t) называется процессом авторегрессии первого порядка AR(1), если для него выполняется соотношение:
y(t )=φ y(t −1)+ εt , |
(9.13) |
где φ — некоторая константа.
176
Из условия стационарности вытекает, что My(t)= 0 . Доказано, что процесс AR(1) будет стационарным при φ <1.
|
|
|
|
Дисперсия процесса равна Dy(t)= |
|
σ2 |
. Отсюда видно, что ес- |
|
|
|
|
−φ2 |
|||
|
|
|
1 |
|
|||
ли |
|
последовательные значения ряда сильно коррелированны |
|||||
( |
|
φ |
|
близко к 1), то дисперсия процесса будет значительно больше |
|||
|
|
дисперсии случайного фактора. Следовательно, незначительные возмущения будут вызывать значительные колебания.
Автокорреляционная функция r(k )=φk , убывает по абсолютной величине с ростом лага по показательному закону.
Рис. 9.7. Теоретическая коррелограмма процесса AR(1), φ = 0,8
Для процесса AR(1) (φ = 0,8) теоретический частный коэффи-
циент автокорреляции первого порядка равен 0,8. Коэффициенты более высоких порядков равны нулю.
177
Рис. 9.8. Теоретическая коррелограмма процесса AR(1), φ = −0,8
Для процесса AR(1) (φ = −0,8) теоретический частный коэффи-
циент автокорреляции первого порядка равен -0,8. Коэффициенты более высоких порядков равны нулю.
Стационарный процесс авторегрессии первого порядка с ненулевым средним определяется соотношением:
y(t)− μ = φ (y(t −1)− μ)+εt . |
(9.14) |
Здесь My(t)= μ. |
|
Учитывая стационарность процесса, получим следующие формулы для оценки параметров:
|
|
|
μˆ = |
1 |
|
n |
|
|
|
|
|
|
|
|
|
|
∑xi , |
|
|
|
|
|
|||
|
|
|
|
n i=1 |
|
|
|
|
|
|
||
|
|
|
n−1 |
|
|
n−1 |
n−1 |
|
|
|
|
|
φˆ = r(1)= |
(n −1)∑ yi |
yi+1 − ∑ yi ∑ yi+1 |
2 . |
|||||||||
n−1 2 |
n−1 |
2 |
n−1 |
2 n−1 |
||||||||
|
|
|
i=1 |
|
|
|
i=1 |
i=1 |
|
|
|
|
|
(n −1)∑ yi − ∑ yi |
|
× (n −1)∑ yi+1 − ∑ yi+1 |
|
||||||||
|
|
i=1 |
i=1 |
|
|
|
i=1 |
i=1 |
|
|
||
|
|
|
|
|
|
Процесс авторегрессии первого порядка: y(t)=φ y(t −1)+εt
при φ >1 является нестационарным взрывного типа, оценки его автокорреляционнойфункциирастутсувеличением сдвига во времени.
178
При φ =1 процесс AR(1) называется случайным блужданием,
а взятие первой разности приведет к стационарному процессу (см. ниже процессы ARIMA).
х
Рис. 9.9. Процесс случайного блуждания y(t)= y(t −1)+εt
Рассмотрим процесс AR(2). Случайный процесс y(t) называется процессом авторегрессии второго порядка, если выполняется соотношение:
y(t)= φ1 y(t −1)+φ2 y(t − 2)+εt , |
(9.15) |
где φ1,φ2 — некоторые константы.
Из условия стационарности вытекает, что My(t)=0.
Условие стационарности также накладывает ограничения на параметры φ1,φ2 :
φ1 +φ2 <1, φ1 −φ2 > −1, φ2 > −1.
Процесс авторегрессии второго порядка с ненулевым средним определяется соотношением:
y(t)− μ =φ1 (y(t −1)− μ)+φ2 (y(t − 2)− μ)+ εt . |
(9.16) |
Здесь My(t)= μ.
Учитывая стационарность процесса, можно получить следующие формулы для оценки параметров:
μˆ = 1 ∑n xi ,
n i=1
179
|
ˆ |
|
= rˆ(1)− rˆ(1)rˆ(2) |
, |
ˆ |
= |
rˆ(2)− rˆ(1)2 |
, |
|
|
|
|
|||||
|
1− rˆ(1)2 |
|
|
|
|
||||||||||||
|
φ1 |
|
1− rˆ(1)2 |
|
|
φ2 |
|
|
|
|
|
|
|||||
|
|
|
|
|
n−2 |
|
yi+2 |
n−2 |
n−2 |
|
|
|
|
|
|
||
где rˆ(2)= |
|
|
|
(n − 2)∑ yi |
− ∑ yi ∑ yi+2 |
|
|
|
|
|
|||||||
|
|
|
|
i=1 |
|
|
|
i=1 |
i=1 |
|
|
|
|
|
. |
||
|
n−2 |
2 |
n−2 |
2 |
|
|
|
n−2 |
2 |
n−2 |
|
2 |
|||||
|
(n − 2) |
∑ y |
i |
− ∑ y |
|
|
× (n − 2)∑ y |
i+2 |
− ∑ y |
i+2 |
|
|
|||||
|
|
i=1 |
i=1 i |
|
|
|
i=1 |
i=1 |
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Для процесса AR(2) теоретическая автокорреляционная функция плавно убывает по абсолютной величине. Теоретические частные коэффициенты автокорреляции первого и второго порядков отличны от нуля, коэффициенты более высоких порядков равны нулю.
Рассмотрим процесс AR(p). Случайный процесс y(t) со средним значением называется процессом авторегрессии порядка p, если выполняется соотношение:
y(t)− μ =φ1 (y(t −1)− μ)+φ2 (y(t −2)− μ)+... +φp (y(t − p)− μ)+εt .
Если среднее значение процесса равно нулю, тогда имеем:
y(t)=φ1 y(t −1)+φ2 y(t − 2)+... +φ p y(t − p)+εt . |
(9.17) |
В общем случае автокорреляционная функция стационарного AR-процесса является суммой затухающих экспонент и затухающих синусоидальных волн.
Для оценки параметров используют систему уравнений Юла– Уолкера, предварительно определив выборочные автокорреляционные функции:
rˆ(1)=φˆ |
+φˆ |
2 |
rˆ(1)+φˆ |
3 |
rˆ(2)+... +φˆ |
p |
rˆ(p −1); |
|
|
|
1 |
|
|
|
|
|
|||
rˆ(2)=φˆ1rˆ(1) |
+φˆ2 +φˆ3 rˆ(1)+... +φˆp rˆ(p − 2); |
|
|||||||
|
|
|
|
|
|
|
|
|
|
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
|||||||||
|
ˆ |
|
|
ˆ |
|
ˆ |
|
|
ˆ |
rˆ(p)=φ1rˆ(p |
−1)+φ2 rˆ(p − 2)+φ3 rˆ(p −3)+ |
... +φ p . |
180