Оценка параметров модели с автокоррелированными остатками обобщенным методом наименьших квадратов (методом Эйткена)

Зависимость между остатками описывают с помощью авторегрессионной схемы соответствующего порядка.

Например, рассмотрим эконометрическую модель с двумя переменными

, (5.2)

где будем предполагать, что остатки удовлетворяют схеме линейной авторегрессии первого порядка, т.е. линейно зависят только от остатков предыдущего периода:

(5.3)

где – коэффициент автокорреляции, для которого выполняется условие .

Величина характеризует уровень взаимосвязи каждого последующего значения остатка с предыдущим, т.е. ковариацию остатков и .

– нормально распределенные случайные остатки, значения которых для разных наблюдений независимы между собой.

Таким образом, остаток находится под влиянием остатка из предыдущего периода и текущего значения нормально распределенного случайного остатка .

Тогда, чтобы устранить автокорреляцию остатков необходимо преобразовать модель (5.2) так, чтобы она имела остатки .

Если зависимость между остатками описывается авторегрессионной схемой первого порядка, то для оценивания параметров эконометрической модели с автокорреляцией остатков, можно применить обобщенный метод наименьших квадратов (метод Эйткена), который базируется на скорректированной исходной информации с учетом ковариации остатков.

По методу Эйткена оператор оценивания параметров модели имеет вид:

, (5.4)

где

- вектор-столбец оценок параметров модели;

- матрица значений объясняющих переменных размерности , на основе которых строится модель, представленная в виде (слева дописан вектор единиц):

; (5.5)

- матрица, транспонированная к матрице ;

- матрица, обратная к матрице корреляции остатков ;

- вектор зависимой переменной;

S - симметричная матрица коэффициентов автокорреляции, имеющая вид:

, (5.6)

Каждый элемент матрицы S представляет собой соответствующую s-тую степень коэффициента автокорреляции остатков , характеризующий степень взаимосвязи последовательных членов ряда остатков , .

На практике коэффициент автокорреляции приблизительно можно найти на основе остатков по формуле:

. (5.7)

Несмещенная оценка остаточной дисперсии модели, параметры которой оценены методом Эйткена:

. (5.8)

Матрица ковариаций вектора оценок параметров модели:

, (5.9)

диагональные элементы которой являются оценками дисперсии оценок параметров модели .

Зная вектор и можно воспользоваться Т-тестом Стьюдента для проверки значимости оценок параметров модели и построить доверительные интервалы для параметров модели.

Методические рекомендации по выполнению работы

1. На основе исходного массива наблюдений выполняем построение линейной регрессионной модели обычным методом наименьших квадратов, предположив, что остатки этой модели не коррелированы. Построение модели выполняем с помощью инструмента Анализ Данных/Регрессия пакета MS Excel. При этом должны быть установлены следующие флажки диалогового окна: График остатков, График подбора.

В отчете необходимо:

• привести таблицы регрессионного анализа;

• на основе таблиц результатов проанализировать статистическое качество модели;

• построить график остатков и график подбора;

• выполнить графический анализ остатков на наличие автокорреляции.

Пример.

По исходным данным, которые расположены в ячейках D3:E12 (табл.5.5), с помощью инструмента Анализа Данных/Регрессия построена линейная регрессия. Полученные при этом таблицы регрессионного анализа представлены в табл.5.6.

Обратите внимание на расположение исходных данных в табл.5.5: добавлен единичный вектор-столбец C3:C12, соответствующий переменной при свободном члене .

Следовательно, исходная регрессионная зависимость эконометрической модели, оцененная обычным методом наименьших квадратов, имеет вид:

. (5.10)

Проанализируем статистическое качество исходной эконометрической модели.

Коэффициент детерминации для этой модели (0,997387) статистически значим, и означает, что вариация спроса на 99,74% определяется вариацией доходов (значимость F-статистики 1,28E-11, что значительно меньше допустимого уровня значимости 0,05). Следовательно, модель в целом является статистически достоверной.

Статистически значимой является только оценка параметра при объясняющей переменной Х, т.к. её Р-значение значительно меньше, чем 0,05.

Таблица 5.5 – Тест Дарбина-Уотсона для модели, оцененной по исходным данным обычным МНК

	B	C	D	E	F	G	H	I	J	K
2	Год	X0	X	Y	Y^	ei	ei^2	ei-ei-1	(ei-ei-1)^2	ei*ei-1
3	1	1	27,1	24,0	23,61228	0,3877	0,1503	-	-	-
4	2	1	28,2	25,0	24,56374	0,4363	0,1903	0,0485	0,0024	0,169149
5	3	1	29,3	25,7	25,51519	0,1848	0,0342	-0,2515	0,0632	0,080624
6	4	1	31,3	27,0	27,24512	-0,2451	0,0601	-0,4299	0,1848	-0,0453
7	5	1	34,0	28,8	29,58052	-0,7805	0,6092	-0,5354	0,2867	0,191319
8	6	1	36,0	30,8	31,31044	-0,5104	0,2605	0,2701	0,0729	0,398406
9	7	1	38,7	33,8	33,64584	0,1542	0,0238	0,6646	0,4417	-0,07869
10	8	1	43,7	38,1	37,97065	0,1294	0,0167	-0,0248	0,0006	0,019942
11	9	1	50,0	43,4	43,41991	-0,0199	0,0004	-0,1493	0,0223	-0,00258
12	10	1	52,1	45,5	45,23633	0,2637	0,0695	0,2836	0,0804	-0,00525
13	Сумма	10		322,1	322,1	0,0000	1,4151		1,1550	0,727625
14									DW=	0,81623
15									Ro=	0,77133

Таблица 5.6 – Регрессия, оцененная обычным МНК

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,998693
R-квадрат	0,997387
Нормированный R-квадрат	0,997061
Стандартная ошибка	0,420574
Наблюдения	10
Дисперсионный анализ
	df	SS	MS	F	Значимость F
Регрессия	1	540,1739	540,1739	3053,853	1,28E-11
Остаток	8	1,415062	0,176883
Итого	9	541,589
	Коэффици-енты	Стандартная ошибка	t-статистика	P-Значение	Нижние 95%	Верхние 95%
Y-пересечение	0,17181	0,594814	0,288845	0,780044	-1,19983	1,543452
X	0,86496	0,015652	55,26168	1,28E-11	0,828868	0,901056
ВЫВОД ОСТАТКА
Наблюдение	Предсказанное Y	Остатки
1	23,61228	0,387722
2	24,56374	0,436264
3	25,51519	0,184806
4	27,24512	-0,24512
5	29,58052	-0,78052
6	31,31044	-0,51044
7	33,64584	0,154163
8	37,97065	0,129353
9	43,41991	-0,01991
10	45,23633	0,263673

Рис.5.1. График остатков Рис.5.2. График подбора

Определиться с наличием автокорреляции позволяет использование графического представления остатков регрессии : если остатки часто меняют знак (за положительным отклонением следует отрицательное и наоборот), то говорят об отрицательной автокорреляции, если редко – то о положительной автокорреляции.

На графике остатков, который получен в результатах регрессионного анализа (рис.5.1), наблюдается концентрация положительных и отрицательных отклонений от линии регрессии и можно сомневаться в их случайном характере: остатки редко меняют знак, поэтому нельзя говорить, что отклонения от линии регрессии являются независимыми. Вероятна их положительная автокорреляция. Возможно вид функциональной зависимости выбран неудачно.

В то же время по графику подбора (рис 5.2) этого не скажешь: наблюдаемые и расчетные точки расположены близко друг к другу, но это может быть следствием неудачно выбранного масштаба.

2. Проверяем наличие автокорреляции остатков для модели, оцененной обычным МНК, на основе теста Дарбина-Уотсона.

Пример.

Для этого (табл.5.5) по модели (5.10) находим расчетные значения при наблюдаемых значениях , определяем остатки , сумму квадратов остатков и сумму .

Находим фактическое значение статистики Дарбина-Уотсона: в ячейку K14 вводим формулу =J13/H13, результат применения которой равняется:

.

Фактическое значение статистики Дарбина-Уотсона сравниваем с табличными значениями Дарбина-Уотсона при уровне значимости , количестве наблюдений и количестве объясняющих переменных , которые в данном случае равны (табл.5.3): нижняя граница ; верхняя граница .

Вывод делается в зависимости от того, в какой диапазон попало фактическое значение DW-статистики (табл.5.7).

Таблица 5.7 – Критерии теста Дарбина-Уотсона для модели, оцененной обычным МНК

Зоны для DW-статистики в общем виде	Для данных примера
	Зоны	DW-статистика	Вывод
		0,81623	Есть положительная автокорреляция
			Неопределенность
			Автокорреляция остатков отсутствует
			Неопределенность
			Есть отрицательная автокорреляция

На основе данных табл.5.7 можно утверждать, что при уровне значимости 0,05 (то есть с вероятностью 0,95) остатки , полученные по модели, оцененной обычным методом наименьших квадратов, имеют положительную автокорреляцию.

3. Оценим параметры модели обобщенным методом наименьших квадратов (методом Эйткена), учитывая особенность применения этого метода для случая модели с автокоррелированными остатками в части построения матрицы S.

Пример.

Сформируем матицу S, которая при имеет следующий вид:

. (5.11)

Формирование матрицы S в ячейках B63:K72 выполняем в следующей последовательности (табл.5.8):

• определяем величину , которая характеризует взаимосвязь между последовательными членами ряда остатков модели, оцененной обычным МНК. Предполагая, что остатки описываются автокорреляционной схемой первого порядка , в соответствии с (5.7) в ячейку K15 вводим формулу =C13/(C13-1)*K13/H13+(1+1)/C13, результат применения которой равняется

= 0,77133; (5.12)

• в ячейках B52:K61 строим вспомогательную матрицу, элементы которой – это соответствующие степени величины в матрице S (общий вид матрицы S для данных примера соответствует (5.11));

• в ячейку B63 вводим формулу =$K$15^B52 и копируем ее по строкам и столбцам расположения матрицы S.

Таблица 5.8 – Оценивание параметров модели методом Эйткена

	B	C	D	E	F	G	H	I	J	K
51	Вспомогательная матрица степеней элементов матрицы S
52	0	1	2	3	4	5	6	7	8	9
53	1	0	1	2	3	4	5	6	7	8
54	2	1	0	1	2	3	4	5	6	7
55	3	2	1	0	1	2	3	4	5	6
56	4	3	2	1	0	1	2	3	4	5
57	5	4	3	2	1	0	1	2	3	4
58	6	5	4	3	2	1	0	1	2	3
59	7	6	5	4	3	2	1	0	1	2
60	8	7	6	5	4	3	2	1	0	1
61	9	8	7	6	5	4	3	2	1	0
62	Матрица S
63	1	0,771334	0,594955	0,458909	0,353972	0,27303	0,210598	0,162441	0,125296	0,096645
64	0,771334	1	0,771334	0,594955	0,458909	0,353972	0,27303	0,210598	0,162441	0,125296
65	0,594955	0,771334	1	0,771334	0,594955	0,458909	0,353972	0,27303	0,210598	0,162441
66	0,458909	0,594955	0,771334	1	0,771334	0,594955	0,458909	0,353972	0,27303	0,210598
67	0,353972	0,458909	0,594955	0,771334	1	0,771334	0,594955	0,458909	0,353972	0,27303
68	0,27303	0,353972	0,458909	0,594955	0,771334	1	0,771334	0,594955	0,458909	0,353972
69	0,210598	0,27303	0,353972	0,458909	0,594955	0,771334	1	0,771334	0,594955	0,458909
70	0,162441	0,210598	0,27303	0,353972	0,458909	0,594955	0,771334	1	0,771334	0,594955
71	0,125296	0,162441	0,210598	0,27303	0,353972	0,458909	0,594955	0,771334	1	0,771334
72	0,096645	0,125296	0,162441	0,210598	0,27303	0,353972	0,458909	0,594955	0,771334	1
73
74	Оценки параметров методом Эйткена:
75	b^0=	0,44204
76	b^1=	0,86131

Таким образом, матрица значений объясняющей переменной (с учетом единичного вектора-столбца переменной при свободном члене ) располагается в ячейках C3:D12, вектор-столбец наблюдаемых значений зависимой переменной Y – в ячейках E3:E12, а матрица S – в ячейках B63:K72. Для получения вектора оценок параметров модели методом Эйткена выделяем блок пустых ячеек C75:C76 и для вычисления оператора оценивания (5.4) вводим формулу:

=МУМНОЖ(

МОБР(МУМНОЖ(ТРАНСП(C3:D12);МУМНОЖ(МОБР(B63:K72);C3:D12))); МУМНОЖ(ТРАНСП(C3:D12);МУМНОЖ(МОБР(B63:K72);E3:E12)))

Нажимаем клавишу F2, затем – клавиши Ctrl+Shift+Enter.

В результате в ячейках C75:C76 получим:

.

Тогда регрессионная зависимость эконометрической модели, оцененная методом Эйткена, имеет вид:

. (5.13)

4. Проверяем наличие автокорреляции остатков для модели, оцененной методом Эйткена, на основе теста Дарбина-Уотсона.

Пример.

Массив исходных данных (с метками) копируем в ячейки B79:E89, как это представлено в табл.5.9. Затем в ячейках F80:F89 по модели (5.13) находим расчетные значения при наблюдаемых значениях , расположенных в ячейках D80:D89, определяем остатки , сумму квадратов остатков и сумму .

Находим фактическое значение статистики Дарбина-Уотсона: в ячейку K91 вводим формулу =J90/H90, результат применения которой равняется:

.

Таблица 5.9 – Тест Дарбина-Уотсона для модели, оцененной методом Эйткена

	B	C	D	E	F	G	H	I	J	K
79	Год	X0	X	Y	Y^	ei	ei^2	ei-ei-1	(ei-ei-1)^2	ei*ei-1
80	1	1	27,1	24,0	23,78355	0,2165	0,0469	-	-	-
81	2	1	28,2	25,0	24,73099	0,2690	0,0724	0,0526	0,0028	0,058227
82	3	1	29,3	25,7	25,67843	0,0216	0,0005	-0,2474	0,0612	0,005802
83	4	1	31,3	27,0	27,40105	-0,4011	0,1608	-0,4226	0,1786	-0,00865
84	5	1	34,0	28,8	29,72659	-0,9266	0,8586	-0,5255	0,2762	0,371612
85	6	1	36,0	30,8	31,44921	-0,6492	0,4215	0,2774	0,0769	0,601554
86	7	1	38,7	33,8	33,77475	0,0252	0,0006	0,6745	0,4549	-0,01639
87	8	1	43,7	38,1	38,0813	0,0187	0,0003	-0,0066	0,0000	0,000472
88	9	1	50,0	43,4	43,50756	-0,1076	0,0116	-0,1263	0,0159	-0,00201
89	10	1	52,1	45,5	45,31631	0,1837	0,0337	0,2912	0,0848	-0,01976
90	Сумма	10		322,1	323,4497	-1,3497	1,6069		1,1514	0,990856
91									DW=	0,71657

Фактическое значение статистики Дарбина-Уотсона сравниваем с табличными значениями при , и , которые в данном случае равны (табл.5.3): нижняя граница ; верхняя граница .

Вывод делается в зависимости от того, в какой диапазон попало фактическое значение DW-статистики (табл.5.10).

Таблица 5.10 – Критерии теста Дарбина-Уотсона для модели, оцененной методом Эйткена

Зоны для DW-статистики в общем виде	Для данных примера
	Зоны	DW-статистика	Вывод
		0,71657	Есть положительная автокорреляция
			Неопределенность
			Автокорреляция остатков отсутствует
			Неопределенность
			Есть отрицательная автокорреляция

На основе данных табл.5.10 снова можно утверждать, что при уровне значимости 0,05 остатки имеют положительную автокорреляцию. Следовательно, мы не избавились от автокорреляции остатков. Это означает, что наше предположение о том, что остатки описываются авторегрессионной схемой первого порядка, не правильное. Если остатки модели описываются авторегрессионной схемой высшего порядка, то оценивать параметры модели целесообразно приближенными методами (методом Кохрейна-Оркатта или методом Дарбина).

5. Проанализируем статистическое качество модели, параметры которой оценены обобщенным методом наименьших квадратов (методом Эйткена).

Пример.

5.1. .Исходные данные, на основе которых построена модель, скопируем в ячейки A108:E118, как это представлено в табл.5.11. Теперь матрица значений объясняющей переменной располагается в ячейках C109:D118 (единица соответствует переменной при свободном члене ).

Таблица 5.11 – Статистическое качество модели, оцененной методом Эйткена

	B	C	D	E	F	G	H	I
108	Год	X0	X	Y	Остаточная дисперсия =		0,3044
109	1	1	27,1	24,0
110	2	1	28,2	25,0	Матрица ковариаций оценок параметров:
111	3	1	29,3	25,7	1,21199	-0,02814
112	4	1	31,3	27,0	-0,02814	0,00074
113	5	1	34,0	28,8
114	6	1	36,0	30,8	Ст.откл.b^0=	1,10091	tb0=	0,40152
115	7	1	38,7	33,8	Ст.откл.b^1=	0,02719	tb1=	31,68291
116	8	1	43,7	38,1			tтабл=	2,30601
117	9	1	50,0	43,4	Доверительные интервалы для параметров:
118	10	1	52,1	45,5		Нижние95%	Верхние95%
119	Сумма	10			b0=	-2,09666	2,98073
120					b1=	0,79862	0,92400

5.2. Несмещенная оценка остаточной дисперсии модели (5.8): в ячейку H108 вводим формулу (вектор оценок параметров модели, полученный методом Эйткена, находится в ячейках C75:C76, а матрица S – в ячейках B63:K72)

=МУМНОЖ(ТРАНСП(E109:E118-МУМНОЖ(C109:D118;C75:C76)); МУМНОЖ(МОБР(B63:K72);(E109:E118-МУМНОЖ(C109:D118;C75:C76))))/(10-1-1)

Нажимаем клавишу F2, затем – клавиши Ctrl+Shift+Enter.

В результате получим:

=0,3044.

5.3. Для построения матрицы ковариаций вектора оценок параметров модели в соответствии с (4.10), выделяем блок пустых ячеек F111:G112 и вводим формулу:

=H108*МОБР(МУМНОЖ(ТРАНСП(C109:D118); МУМНОЖ(МОБР(B63:K72);C109:D118)))

Нажимаем клавишу F2, затем – клавиши Ctrl+Shift+Enter.

Диагональные элементы построенной матрицы ковариаций являются оценками дисперсии оценок параметров модели:

• в ячейке F111 – оценка дисперсии оценки параметра :

=1,21199;

• в ячейке G112 – оценка дисперсии оценки параметра :

=0,00074.

5.4. Оценки стандартных ошибок оценок параметров модели:

• в ячейке G114

=1,10091;

• в ячейке G115

=0,02719.

5.5. Проверяем статистическую значимость оценок параметров модели с помощью Т-теста Стьюдента. t-статистики для оценок параметров:

• в ячейке I114

=0,40152;

• в ячейке I115

=31,68291.

Рассчитанные t-статистики сравниваем с табличным критическим значением t-распределения Стьюдента при выбранном уровне значимости и степенях свободы , где k – количество оцененных параметров.

Для определения табличного значения t-критерия при уровне значимости и числе степеней свободы 10-2=8 в ячейку I116 вводим формулу =СТЬЮДРАСПОБР(0,05;(10-2)), результат применения которой равняется 2,30601.

В данном случае:

• . Поэтому с надежностью 0,95 оценка параметра является статистически незначимой. Следовательно, средний эффект всех факторов, которые влияют на спрос за исключением дохода, равен нулю;

• . Поэтому с надежностью 0,95 оценка параметра статистически достоверно отличается от нуля, т.е. являются значимой – её значение формируется под воздействием неслучайных величин.

5.6. Доверительные интервалы для параметров модели строятся по формуле:

или .

Тогда с надежностью 0,95 параметры модели могут находиться в следующих границах:

-2,09666 2,98073;

0,79862 0,92400.

Таким образом, с вероятностью 0,95, увеличение дохода на одну единицу обеспечит увеличение спроса на товар не ниже 0,79862 и не выше 0,92400 тыс.у.е./у.е.

Доверительный интервал для параметра включает нулевое значение, что еще раз подтверждает сделанный ранее вывод о недостоверности его оценки.

6. Выполним экономико-математический анализ характеристик эконометрической модели.

Пример.

1.Регрессионная зависимость эконометрической модели имеет вид (в скобках указаны оценки стандартных ошибок оценок параметров):

	0,44204	+	0,86131·Х
	(1,10091)		(0,02719)

Оценка параметра модели с надежностью 0,95 является статистически значимой. Увеличение дохода на единицу с надежностью 0,95 содействует предельному увеличению спроса на величину от 0,79862 до 0,92400 тыс.у.е./у.е.

Незначимость оценки свободного члена указывает на то, что спрос на данный товар формируется только при наличии дохода, что не противоречит экономическому смыслу: если доход равен нулю, то спрос на данный товар отсутствует.

2.Эконометрическая модель, параметры которой оценены по исходным данным обычным МНК, имеет вид:

	0,17181	+	0,86496·Х
	(0,59481)		(0,01565)

Сравнив характеристики этой модели с моделью, параметры которой оценены методом Эйткена, можно утверждать следующее. Использование метода Эйткена не привело к устранению автокорреляции остатков. Тем не менее, в модели, оцененной методом Эйткена, остаточная (необъясненная) дисперсия и оценки стандартных ошибок (отклонений) оценок параметров выше, чем в модели, оцененной обычным МНК, что подтверждает то, что применение обычного МНК для оценивания модели с автокоррелированными остатками приводит к занижению оценок дисперсии по сравнению с их действительными значениями.