19. Взвешенный и обобщенный мнк

Предположим, что в регрессионной модели

Y = βx + ε (19.1)

или, что тоже

y = β₀ + ∑β_i x_i +ε_i (19.2)

остатки ε_i -имеют разные дисперсии σ_i , но не коррелированы между собой. Это означает, что при оценке точности оценок вместо ранее использовавшейся матрицы σ² I

теперь мы имеем дело с (19.3)

Согласно теореме Айткена оптимальные оценки вектора b в общем случае произвольной матрицы Ω

(19.4)

Для матрицы Ω вида (19.3) обратная матрица получается заменой каждого диагонального элемента на обратный, т.е. 1/σ_i . Это означает, что ОСК, из минимума которой находят оценки вектора b, приобретает вид

, т.е.меньшим отклонениям придается больший вес, чем большим.

Такой подход получил название взвешенного МНК.

В общем случае ковариационная матрица ошибок имеет вид

(19.5)

и тогда оценки (19.4) называют полученными по обобщенному МНК.

Реально для получения оценок cov(ε_k,ε_m) нужен огромный объем эмпирических данных, получить который, как правило, не представляется возможным. Практически возможны два варианта выхода из этой тупиковой ситуации. Либо пересмотреть модель путем включения дополнительных факторов или функций от них, переходу к другому результирующему признаку и т.п. так, чтобы остатки стали отвечать условиям МНК, либо сделать какие-то предположения относительно структуры матрицы Ω, например, связать остаток с величиной фактора или результирующего признака какой-то функциональной зависимостью, позволяющей определить эту матрицу.

Ранее нами был рассмотрен 2-х шаговый МНК. Если на первом шаге этого метода получения оценок ПФМ нарушены условия применимости обычного МНК следует перейти к обобщенному, связанному с преобразованием исходных данных. В таком варианте метод получил название 3-х шагового.

20. Автокорреляция в остатках.

Термин автокорреляция относится в основном к временным рядам, поскольку в них остатки упорядочены во времени.

Для проверки отсутствия автокорреляции остатков разработан ряд тестов, среди которых наибольшую известность получил критерий Дарбина – Уотсона. Фактически он использует проверку значимости отличия от нуля коэффициента корреляции 1-го порядка. Более эффективным представляется тест Бреуша – Годфри, где исследуется значимость параметров регрессии

E_t = b₁ε_t-1 + b₂ε_t-2 + ... (20.1)

Например, дан временной ряд курса ценной бумаги за 8 недель Табл. 20.1

t	1	2	3	4	5	6	7	8
yt	213	171	291	309	317	362	351	361
Yt	207	232	258	284	310	335	361	387
εt	6	-61	33	25	7	27	-10	-26

Линейная тенденция получился в виде Yt = 181,3 + 25,7 t. Регрессия остатков (17.2) до 3-го лага включительно Et = 0,56 ε_t-1 – 0,12 ε_t-2 – 0,01 ε_t-3. Проверка значимости по частному критерию Фишера показала значимость b1 = 0,56 и незначимость остальных коэффициентов. Следовательно, имеет место автокорреляция остатков 1-го порядка и полученное уравнение для тенденции ненадежно!

Представим модель поведения остатков в данном примере как авторегрессионный процесс 1-го порядка

ε_t = ρ ε_t-1 +v_t, (20.3)

где v_t – «белый шум» - классический случайный процесс с нулевым средним и постоянной дисперсией ,

ρ – параметр, называемый коэффициентом авторегрессии.

В силу независимости ε_t и v_t дисперсия

D[ε_t] = ρ² D[ε_t-1] + D[v_t] (20.4)

Полагая D[ε_t] = D[ε_t-1] = σ² , приходим к соотношению

σ² = ρ² σ² + = /(1- ρ²) (20.5)

Поскольку дисперсия – величина положительная, очевидно, что | ρ | < 1.

Это, кстати, является одним из признаков стационарного случайного процесса, т.е. процесса, параметры которого (среднее, дисперсия) не зависят от времени. Домножив равенство (20.3) на ε_t-1 и взяв операцию математического ожидания, получим с учетом независимости ε_t-1 и v_t

E[ε_t ε_t-1] = cov(ε_t ε_t-1) = ρD[ε_t-1] = ρσ²,

откуда коэффициент корреляции согласно (2.6)

.

Аналогично для процесса авторегрессии m-го порядка можно получить

. (20.6)

Учитывая (20.3) и (20.6), ковариационную матрицу (19.5) можно представить в виде

Если параметр ρ известен, по формуле (19.4) можно получить оценки вектора β и его точности. Существуют несколько способов получения оценки параметра ρ, а затем и β в (20.1), (20.2). Простейший из них заключается в следующем.

Записав уравнение (20.2) с подстановкой (20.3) для моментов t и t-1, а затем, вычитая одно из другого, получим регрессионную модель

оценки параметров которой, в том числе ρ находятся с помощью обычного МНК. Далее, зная оценки ρ, β₀ (1-ρ) и βρ, находим искомую оценку β₀ и β. Для данных таблицы 20.1 таким образом были получены оценки ρ =0.5, β₀ = 23.7 β = 0.7, при этом остаток v_t отвечает условиям применимости МНК