5.3. Рекуррентный метод наименьших квадратов
Прежде чем рассмотреть адаптивные многофакторные модели, приведем схемы рекуррентного метода наименьших квадратов (РМНК), лежащих в основе построения этих моделей. Благодаря совместному использованию рекуррентной схемы оценивания и процедуры экспоненциального сглаживания удается построить прогнозные модели, в которых, по сути, реализованы основные принципы адаптации.
Изложим сначала одношаговую схему РМНК. Для этого введем следующие обозначения:
n – объем выборочной совокупности;
–
число независимых
переменных моделей;
–
-я
вектор-строка
независимых переменных;
–(
n
x
(m+1))-матрица
из независимых переменных.
Чтобы понять, как формируется матрица системы нормальных уравнений, запишем выражение для произведения вектора-столбца на вектор-строку
.
Используя данное представление, можно записать схему вычисления матрицы системы нормальных уравнений следующим образом:
.
Такая схема
формирования матрицы
делает понятным запись
.
Аналогично можно записать
,
где
–
вектор-столбец из n
зависимых переменных.
Рассмотрим линейную регрессионную модель
,
(5.33)
где
– вектор-столбец коэффициентов модели,
–
вектор-столбец
ненаблюдаемых случайных составляющих.
Предположим, что
уже получены оценки ее коэффициентов
по
данным выборочной совокупности из (
)
наблюдения. Требуется в ситуации, когда
в выборочную совокупность добавлено
новое наблюдение
,
пересчитать оценки коэффициентов
регрессии, используя для этого ранее
полученные оценки
.
Такие ситуации возникают при обработке
очень больших массивов данных, когда
их хранение вызывает определенные
затруднения, а также, как уже отмечалось,
в тех случаях, когда по смыслу решаемой
задачи требуется последовательная
обработка вновь поступающих наблюдений.
В рассматриваемой ситуации формулу для вычисления вектора оценок коэффициентов регрессионной модели можно записать следующим образом:
.
(5.34)
Для удобства обозначим
.
Далее будем использовать формулу Шермана – Моррисона для рекуррентного обращения матриц
.
(5.35)
Используя формулу (5.35), выражение (5.34) можно переписать в виде
Перегруппируем члены полученного выражения
Объединив второй
и третий члены и вынеся общие множители
и
,
а также, выполнив умножение в последнем
члене выражения, получаем
Окончательно, выполнив приведение к общему знаменателю в квадратных скобках, получаем
.
(5.36)
Полученная формула позволяет осуществлять пересчет оценок рекуррентно по мере появления новых наблюдений. С ее помощью реализуются основные идеи построения адаптивных многофакторных регрессионных моделей.
Перейдем к изложению схемы многошагового РМНК. Применение многошаговой процедуры возникает в тех ситуациях, когда выборочная совокупность пополняется одновременно несколькими наблюдениями. В принципе эти наблюдения можно обработать последовательно с помощью рассмотренной выше одношагового РМНК. Однако не всегда такой подход удобен. Кроме того, при настройке параметров адаптивной модели в некоторых случаях возникает необходимость учитывать информацию, полученную в результате нескольких одновременно проведенных измерений. Поэтому имеет смысл обратиться к многошаговой процедуре.
Введем дополнительные обозначения:
–
матрица из
k
последних строк независимых переменных
выборочной совокупности;
–
вектор-столбец,
компонентами которого являются k
последних наблюдений зависимой
переменной;
– (k
x
k)-единичная
матрица.
Используя прием, аналогичный рассмотренному выше, запишем формулу для расчета вектора оценок коэффициентов регрессионной модели следующим образом:
.
(5.37)
Для удобства обозначим
.
Используя формулу Шермана – Моррисона – Вутбери
,
(5.38)
перепишем выражение (5.37), заменив в нем обратную матрицу на (5.38), и проведем ряд очевидных преобразований полученного выражения
Результат перемножения в третьем члене взаимоуничтожается со вторым членом, а вынесение общего множителя из четвертого и пятого членов приводит к рекуррентной форме
.
(5.39)
С помощью полученной формулы осуществляется рекуррентный пересчет оценок в тех случаях, когда новые наблюдения появляются не по одному, а целыми группами сразу.