5.1. Обобщенный метод наименьших квадратов

Напомним (см. п. 3.1), что классический МНК предполагает минимизацию по вектору параметров  функционала ошибок

F= EE = (X–Y)(X–Y),

которая дает оценку (3.9) вектора В параметров модели, наилучшую в классе линейных несмещенных оценок при выполнении гипотез 3.3.1. Переход к корреляционной матрице  общего вида, как доказано в [1] (теорема Айткена), требует для получения наилучшей оценки минимизации взвешенного функционала ошибок

F= E ^-1E = (X–Y) ^-1 (X–Y) = X ^-1X  – Y ^-1X  – – X^-1Y + + Y^-1Y  = X^-1X  – 2X ^-1Y + Y ^-1Y.

Дифференцируя этот функционал по  и приравнивая производную 0, с учетом симметричности матрицы ^-1 получим уравнение для оценки

Отсюда оптимальная ОМНК оценка параметров

В^* = Y ^-1Х [ X ^-1X ]^-1. (5.4)

В частном случае при  = ²I она совпадает с оценкой В МНК (3.9). Как видим, коррекция вектора В^* по сравнению с вектором В тем существенней, чем неоднородней структура корреляционной матрицы .

По аналогии с получением формулы (3.18) можно показать, что корреляционная матрица оценок параметров

D[В^*] = M[(В^* –  ) (В^* – )] = [ X ^-1X ]^-1. (5.5)

При  = ²I она совпадает с корреляционной матрицей (3.18).

Доказано (теорема Айткена [1]), что оценка ОМНК (5.4) является несмещенной, состоятельной и эффективной. Последнее свойство означает, что корреляционная матрица оценок (5.5) минимальна в классе несмещенных линейных оценок, т.е. оценки параметров являются наиболее точными.

Условия применения ОМНК требуют априорного знания корреляционной матрицы ошибок . Обычно эта матрица неизвестна, и её оценка вызывает необходимость дополнительных исследований. В данной главе мы рассмотрим лишь один из аспектов – автокорреляцию во времени.

5.2. Авторегрессионый процесс первого порядка

Будем рассматривать последовательность ошибок _i, i = 0, 1, 2,… как случайный процесс с временными отсчетами i. Простейшей моделью стационарного случайного процесса с коррелированными по времени значениями является авторегрессионный процесс первого порядка

 _i =  _{i – 1} + u_i ,  < 1, (5.6)

где u_i – независимые случайные возмущения, порождающие процесс, а постоянный параметр процесса, называемый коэффициентом авторегрессии, меньше 1 (по абсолютной величине). Рекуррентная формула (5.6) описывает случайный процесс _i, если известны вероятностные свойства начальной ошибки ₀ и возмущений {u_i}. Будем полагать все эти случайные величины независимыми нормальными величинами с нулевыми средними и известными дисперсиями, т.е. ₀  N(0, ) , u_i  N(0, ). Так как _i образуется как линейная комбинация независимых слагаемых, то её дисперсия равна сумме дисперсий, т.е.

Соотношение справа записано с учетом стационарности процесса. Отсюда

(5.7)

Из этого выражения становится понятным ограничение на коэффициент авторегрессии . Далее, умножая (5.6) на  _i–1, затем на  _i–2 и т. д. и усредняя, нетрудно получить другие элементы корреляционной матрицы ошибок

…………………………………………………..

Таким образом, корреляционная матрица ошибок стационарного авторегрессионного процесса первого порядка имеет вид

(5.8)

Она, как видим, полностью определяется дисперсией возмущений и коэффициентом авторегрессии . Их также необходимо оценить на основе информации, содержащейся в выборке ограниченного объема.

Если объем выборки n велик (порядка сотен и более), обращение матрицы (5.8) размерности nn становится вычислительно сложной задачей. В этом случае проще преобразовать линейную систему уравнений относительно параметров модели _i к виду, эквивалентному системе уравнений с независимыми ошибками. Такая система уравнений имеет вид [1]:

(5.10)

В этой системе из n уравнений все возмущения u_i (i  2) и независимы и имеют одинаковую дисперсию . Следовательно, систему (5.10) можно решить с помощью классического МНК, преобразовав соответствующим образом матрицу Х и вектор Y в выражении (3.9) для оценки В. В результате отпадает необходимость обращения матрицы , остается лишь обратить матрицу ХХ размерности [k  k].

Практически для решения системы уравнений (5.10) или определения ОМНК оценок параметров (5.4) необходимо знать коэффициент авторегрессии . Так как обычно он неизвестен, требуется его оценить с помощью остатков e_i и (5.1). Однако остатки регрессии вычисляются для уже построенной модели с известным вектором В. С другой стороны, вектор В надо определить с учетом коррекции на автокорреляцию. Выход из этого замкнутого круга можно найти с помощью итерационных процедур. Одна из них предложена Кохрейном и Оркоттом (Cochrane-Orcutt). Суть её состоит в следующем.

На первом этапе с помощью классического МНК определяются параметры В модели, вычисляются остатки e_i и находится первое приближение r₁ для коэффициента авторегрессии . Затем с помощью r₁ вычисляются параметры В^* скорректированной модели и вновь определяются остатки регрессии, после чего находится второе приближение r₂. Итерации продолжаются, пока разность между смежными приближениями  r_k – r_k–1  не станет меньше заданной.