- •ОГЛАВЛЕНИЕ
- •ПРЕДИСЛОВИЕ
- •МЕТОДИЧЕСКИЕ МАТЕРИАЛЫ
- •РАБОЧАЯ ПРОГРАММА ДИСЦИПЛИНЫ
- •РЕКОМЕНДАЦИИ ПО САМОСТОЯТЕЛЬНОЙ РАБОТЕ СТУДЕНТА
- •ТЕОРЕТИЧЕСКИЕ МАТЕРИАЛЫ
- •ГЛАВА 1. СТАТИСТИЧЕСКИЕ ПОНЯТИЯ И РАСПРЕДЕЛЕНИЯ
- •§ 1. Введение
- •§ 2. Суть регрессионного анализа
- •§ 3. Некоторые статистические определения
- •§ 4. Нормальное (гауссовское) распределение
- •§ 5. (хи-квадрат)-распределение
- •§ 6. Распределение Стьюдента (t-распределение)
- •§ 7. F-распределение (распределение дисперсионного отношения)
- •§ 8. Статистическая проверка гипотез
- •§ 9. Определение критических значений распределений Стьюдента и Фишера с использованием программы Microsoft Office Excel
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 2. ПАРНАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ. УСЛОВИЯ ГАУССА–МАРКОВА
- •§ 1. Основные понятия
- •§ 2. Метод наименьших квадратов
- •§ 3. Предпосылки метода наименьших квадратов
- •§ 4. Анализ точности определения оценок коэффициентов регрессии
- •§ 5. Проверка статистической значимости коэффициентов парной линейной регрессии
- •§ 6. Интервальные оценки коэффициентов линейного уравнения регрессии
- •§ 7. Доверительные интервалы для зависимой переменной
- •§ 8. Проверка общего качества уравнения регрессии. Коэффициент детерминации
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 3. МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ
- •§ 1. Определение параметров уравнения регрессии
- •§ 2. Расчет коэффициентов множественной линейной регрессии
- •§ 3. Дисперсии и стандартные ошибки коэффициентов
- •§ 4. Проверка статистической значимости коэффициентов уравнения регрессии
- •§ 5. Интервальные оценки коэффициентов теоретического уравнения регрессии
- •§ 6. Проверка общего качества уравнения регрессии
- •§ 7. Проверка равенства двух коэффициентов детерминации
- •§ 8. Проверка гипотезы о совпадении уравнений регрессии для двух выборок
- •§ 10. Частные уравнения регрессии
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 4. АВТОКОРРЕЛЯЦИЯ СЛУЧАЙНЫХ ВОЗМУЩЕНИЙ
- •§ 1. Суть и причины автокорреляции
- •§ 2. Последствия автокорреляции
- •§ 3. Обнаружение автокорреляции. Критерий Дарбина–Уотсона
- •§ 4. Методы устранения автокорреляции
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 5. ГЕТЕРОСКЕДАСТИЧНОСТЬ СЛУЧАЙНЫХ ВОЗМУЩЕНИЙ
- •§ 1. Общие понятия
- •§ 2. Последствия гетероскедастичности
- •§ 3. Обнаружение гетероскедастичности
- •§ 4. Методы смягчения проблемы гетероскедастичности
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 6. МУЛЬТИКОЛЛИНЕАРНОСТЬ
- •§ 1. Общие понятия и последствия мультиколлнеарности
- •§ 2. Определение мультиколлинеарности
- •§ 3. Методы устранения мультиколлинеарности
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 7. ФИКТИВНЫЕ ПЕРЕМЕННЫЕ В РЕГРЕССИОННЫХ МОДЕЛЯХ
- •§ 1. Модель с одной фиктивной (бинарной) переменной
- •§ 3. Сравнение двух регрессий
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 8. НЕЛИНЕЙНАЯ РЕГРЕССИЯ
- •§ 1. Общие понятия
- •§ 2. Степенные модели (логарифмические)
- •§ 3. Обратная модель (гиперболическая)
- •§ 4. Полиномиальная модель
- •§ 5. Показательная модель (лог-линейная)
- •§ 6. Выбор формы модели
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 9. ВРЕМЕННЫЕ РЯДЫ
- •§ 1. Общие понятия
- •§ 2. Моделирование тренда временного ряда
- •§ 4. Стационарные ряды
- •§ 5. Процесс авторегрессии AR(p)
- •§ 6. Процессы скользящего среднего MA(q)
- •§ 7. Комбинированные процессы авторегрессии-скользящего среднего ARMA(p, q)
- •§ 8. Модели ARMA, учитывающие наличие сезонности
- •§ 9. Нестационарные временные ряды. Процессы авторегрессии и проинтегрированного скользящего среднего ARIMA(p, k, q)
- •§ 10. Регрессионные модели с распределенными лагами
- •§ 11. Полиномиально распределенные лаги Ш. Алмон
- •Резюме
- •Вопросы для самопроверки
- •ГЛАВА 10. СИСТЕМЫ ОДНОВРЕМЕННЫХ УРАВНЕНИЙ
- •§ 1. Общие понятия
- •§ 2. Идентификация структурной формы модели
- •§ 3. Косвенный метод наименьших квадратов
- •§ 4. Двухшаговый метод наименьших квадратов
- •§ 5. Трехшаговый метод наименьших квадратов
- •Резюме
- •Вопросы для самопроверки
- •ЗАКЛЮЧЕНИЕ
- •ЗАДАНИЯ ДЛЯ КОНТРОЛЯ
- •Тесты для самоконтроля
- •Ключи к тестам для самоконтроля
- •Контрольная работа
- •Вопросы к зачету (экзамену)
- •ГЛОССАРИЙ
- •СПИСОК ЛИТЕРАТУРЫ
§ 4. Анализ точности определения оценок коэффициентов регрессии
В силу случайного отбора элементов в выборку случайными являются также оценки b1 и b0 коэффициентов β1 и β0 теоретического уравнения регрессии. Их математические ожидания при выполнении предпосылок об отклонениях εi равны соответственно
M (b1)= β1, M (b0)= β0 . При этом оценки тем надежнее, чем
меньше их разброс вокруг β1 и β0, т. е. чем меньше дисперсии D(b0) и D(b1) оценок. Надежность получаемых оценок, очевидно, тесно связана с дисперсией D(εi) случайных отклонений εi. Согласно пред-
посылке 2, D(εi)=σ2 =const . Приведем формулы связи дисперсий коэффициентов b1 и b0 с дисперсией σ2ε случайных отклонений εi:
D(b1)= |
σ2ε |
= |
||
n |
|
)2 |
||
|
∑(xi− |
x |
|
|
|
i=1 |
|
|
|
σ2ε |
|
|
|
= |
σ2ε |
, |
|
n |
|
n |
|
|
n Var (x) |
||
|
|
2 |
|
|||||
|
∑ xi2 |
|
∑ xi |
|
|
|
|
|
|
i=1 |
|
i=1 |
|
|
|
|
|
n |
− |
|
|
|
|
|||
n |
n |
|
|
|||||
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
n |
|
||
|
σ2ε |
∑xi2 |
|
||
D(b0)= |
|
i=1 |
= |
||
n |
|
|
)2 |
||
|
n ∑(xi− |
x |
|
||
|
i=1 |
|
|
|
|
|
|
n |
|
|
n |
||
|
σ2ε ∑xi2 |
|
|
σ2ε∑xi2 |
|||
|
|
i=1 |
|
|
i=1 |
||
|
|
|
= |
|
. |
||
n |
n |
2 |
n2 Var (x) |
||||
∑xi2 |
∑xi |
|
|||||
n2 |
i=1 |
− |
i=1 |
|
|
n n
Очевидны следующие выводы.
• Дисперсии b1 и b0 прямо пропорциональны дисперсии случайного отклонения σ2ε . Следовательно, чем больше фактор случайности, тем менее точными будут оценки.
52
•Чем больше число n наблюдений, тем меньше дисперсии оценок. Это вполне логично, так как чем большим числом данных мы располагаем, тем вероятнее получение более точных оценок.
•Чем больше дисперсия (разброс значений) объясняющей переменной, тем меньше дисперсия оценок коэффициентов. Другими словами, чем шире область изменений объясняющей переменной, тем точнее будут оценки (тем меньше доля случайности в их определении).
Случайные отклонения εi не могут быть определены по вы-
борке. Поэтому |
они |
заменяются |
отклонениями |
|
|
(остатками) |
||||||||||||||
ei = yi −ˆyi = yi −b0 −b1xi |
. |
|
Дисперсия |
случайных |
|
|
отклонений |
|||||||||||||
D(εi)=σ2ε заменяется ее несмещенной оценкой: |
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
1 |
n |
|
|
|
|
|
|
|
|
∑ei2 |
|
|
|
|
|
|
|
||
2 |
∑(yi−b0−b1xi) |
2 |
|
|
i=1 |
|
|
|
|
|
|
|
||||||||
S e |
= |
|
|
= |
|
. |
|
|
|
|
|
(2.10) |
||||||||
n−2 |
|
n−2 |
|
|
|
|
|
|||||||||||||
Тогда: |
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
S e2 |
|
|
|
|
|
nS e2 |
|
|
|
|
|
|
|
|||
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
D(b1)≈Sb1 = |
|
= |
|
|
|
|
|
|
|
|
, |
|
(2.11) |
|||||||
n Var (x) |
|
n |
|
|
|
n |
|
2 |
|
|||||||||||
|
|
|
|
|
|
|
|
n∑xi2 |
− ∑x |
i |
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
i=1 |
|
|
|
i=1 |
|
|
|
|
|
||
|
|
|
|
|
n |
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
S e2∑xi2 |
|
|
|
|
|
S e2∑xi2 |
|
|
|
|
|
|
|
||
D(b0)≈S 2 |
= |
i=1 |
= |
|
|
|
|
i=1 |
|
|
|
|
|
. |
(2.12) |
|||||
n2 Var (x) |
|
|
|
|
n |
|
|
|
2 |
|||||||||||
|
|
b |
0 |
|
|
|
|
n |
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
n∑xi2 − ∑x |
i |
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
i=1 |
|
|
i=1 |
|
|
|
|
|
n
∑ei2
S e2 = ni=−1 2 — необъясненная дисперсия (мера разброса зависимой переменной вокруг линии регрессии). Отметим, что корень квадрат-
n
∑ei2
ный из необъясненной дисперсии, т. е. Se = ni=−1 2 , называется
стандартной ошибкойоценки (стандартнойошибкойрегрессии).
53
Sb0 = |
2 |
, Sb1 = |
2 |
— стандартные отклонения случай- |
Sb0 |
Sb1 |
ных величин b0 и b1, называемые стандартными ошибками коэффициентов регрессии.
Вернемся к примеру 2.1 (табл. 2.2). Как показывают расчеты
n
∑i 1 ei2 70,29
n=−2 = 18 =3,91,
тогда стандартная ошибка регрессии равна Se = 1,98. Стандартные ошибки коэффициентов регрессии Sb0 ≈3,9;Sb1 ≈0,03 .
Таблица 2.2
Расчетная таблица (фактически при расчетах использовалось большее количество
знаков после запятой, чем отражено в таблице)
№ |
xi |
yi |
ˆ |
ei |
2 |
п/п |
yi |
ei |
|||
|
|
|
|
|
|
1 |
2 |
3 |
4 |
5 |
6 |
1 |
106 |
102 |
102,8 |
-0,83 |
0,69 |
2 |
107 |
102 |
103,8 |
-1,76 |
3,08 |
3 |
108 |
104 |
104,7 |
-0,68 |
0,47 |
4 |
109 |
106 |
105,6 |
0,39 |
0,15 |
5 |
110 |
108 |
106,5 |
1,46 |
2,13 |
6 |
112 |
108 |
108,4 |
-0,40 |
0,16 |
7 |
113 |
112 |
109,3 |
2,68 |
7,16 |
8 |
118 |
114 |
114,0 |
0,04 |
0,00 |
9 |
120 |
112 |
115,8 |
-3,82 |
14,59 |
10 |
122 |
118 |
117,7 |
0,32 |
0,10 |
11 |
123 |
120 |
118,6 |
1,40 |
1,95 |
12 |
125 |
121 |
120,5 |
0,54 |
0,29 |
13 |
128 |
122 |
123,2 |
-1,24 |
1,55 |
14 |
130 |
127 |
125,1 |
1,90 |
3,61 |
15 |
136 |
131 |
130,7 |
0,33 |
0,11 |
54
Окончание табл. 2.2
1 |
2 |
3 |
4 |
5 |
6 |
16 |
138 |
136 |
132,5 |
3,48 |
12,08 |
|
|
|
|
|
|
17 |
142 |
134 |
136,2 |
-2,24 |
5,00 |
|
|
|
|
|
|
18 |
143 |
139 |
137,2 |
1,84 |
3,37 |
|
|
|
|
|
|
19 |
148 |
143 |
141,8 |
1,20 |
1,43 |
|
|
|
|
|
|
20 |
152 |
142 |
145,5 |
-3,52 |
12,36 |
|
|
|
|
|
|
ИТОГО |
2490 |
2401 |
2399,9 |
1,08 |
70,29 |
|
|
|
|
|
|
§ 5. Проверка статистической значимости коэффициентов парной линейной регрессии
В основе лежит следующее важное утверждение:
случайные переменные tb j = |
b j −βj |
, j =0,1 |
|
Sb j |
|||
|
|
подчиняются центральному распределению Стьюдента (t-распреде- лению) с (n-2) степенями свободы.
При проверке гипотезы H0: bj = 0 против альтернативной гипотезы H1: bj ≠ 0, для коэффициентов b0 и b1 рассчитывается абсолютная величина t-статистики:
|
tb0 |
|
= |
b0 |
|
, |
|
tb1 |
|
= |
b1 |
. |
|
|
|
|
|
|
|||||||||
|
|
|
|||||||||||
|
|
S b0 |
|
|
|
S b1 |
|
||||||
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
При выполнении исходных предпосылок модели эти дроби имеют распределение Стьюдента с числом степеней свободы ν=n−2 , где n — число наблюдений. Рассчитанное значение t-статистики сравнивается с критическим значением tкрит =t α2 , n−2 , где α — тре-
буемый уровень значимости. Напомним, что в данном случае рассматривается двухсторонняя критическая область. Коэффициент полагается статистически значимым, если его t-статистика превос-
ходит t крит =t α2 ,n−2 .
55