Исходная формулировка алгоритма наименьших квадратов

В методе наименьших квадратов (МНК) и его вариантах, рассмотренных в предыдущих лекциях курса, цель работы АФ заключается в минимизации среднеквадратичной ошибки фильтра .

При этом новые значения коэффициентов адаптивного КИХ – фильтра вычисляются по выражению

.

Другой подход лежит в основе второго популярного метода адаптивной фильтрации сигналов - рекурсивного алгоритма наименьших квадратов (РМНК, англ. RLS). В этом подходе в любой момент времени k > 0 параметры адаптивного фильтра вычисляются таким образом, чтобы минимизировать величину суммы квадратов ошибок

,

в которой - это значения ошибки фильтра для моментов времениs=1,2,…,k,

- весовые коэффициенты ошибки, предназначенные для уменьшения влияния прошлых значений ошибок по сравнению с текущими.

При этом сама структура фильтра остается прежней, изменяется только алгоритм адаптации

Для большей ясности методу РМНК можно дать такую интерпретацию.

Предположим, что желаемый сигнал d на основном входе фильтра представляет собой некоторую желаемую кривую (функцию). Значения (отсчеты) на выходе адаптивного фильтраy_k- это другая последовательность, связанная с входным сигналомx_k регрессионной зависимостью (уравнением)

,

в которой X- входной сигнал фильтра ,h[i]– оцениваемые по уравнению регрессии коэффициенты фильтра H,e_k-значения случайной ошибки фильтра, независимые (важное предположение!) от входного сигнала.

В таком подходе задача выбора коэффициентов фильтра h[i]может рассматриваться как типичная задача метода наименьших квадратов или задача сглаживания методом наименьших квадратов. Наилучшим приближением сигналаd на выходе фильтра будет такая функцияy , которая минимизирует сумму квадратов разностей (ошибок) между кривымиdиy.

Вектор значений ошибок

,

Здесь Xk – матрица входного сигнала размером [k+1]xN,т.е..

Это разреженная матрица, в которой элементы выше главной диагонали – нули.

При этом сумма квадратов ошибок

Для минимизации ошибки нужно найти её производную поHи приравнять нулю для получения оптимальных значений коэффициентовHopt. При этом получим известное уравнение линейной регрессии в матричной форме

В принципе по этому выражению можно на каждом очередном шаге пересчитывать коэффициенты фильтра H_opt, но размер матрицына каждом новом шагеkувеличивается, т.к. поступают новые значения (точки) сигналаx. При этом каждый раз нужно заново вычислять обратную матрицу. Напомним, что вычисление обратной матрицы очень трудоемкая в вычислительном отношении процедура с порядком числа операцийN³.

Поэтому в адаптивной фильтрации этот метод не применяется. Используется специальный рекурсивный алгоритм вычисления . В результате предыдущие значения коэффициентов фильтра рекурсивно уточняются на очередном шаге.

Эта разновидность алгоритма называется рекурсивным МНК (РМНК).