Книга по ЦОС в формате pdf

Воспользовавшись (21.6) получаем, что hAX, Xi = 0, что противоречит положительной определенности матрицы A.

Заметим, что в подавляющем большинстве практических случаев кор• реляционная матрица наблюдаемого сигнала Ryy положительно определе• на.

Как и в случае корреляционной матрицы можно получить оценку для кросс-корреляционыого вектора входного и опорного сигналов. Аналогично (21.4)

Обозначим средний квадрат ошибки в (21.2) через ζ. Если считать что входной Ym и опорный xm сигналы являются стационарными случайными величинами, то функция ζ = ζ(W ) есть квадратичная функция компонен• тов вектора весовых коэффициентов. Вычислим градиент функции ζ(W )

Если матрица Ryy положительно определена, то квадратичная функция ζ(W ) является сильно выпуклой функцией и ее минимальное значение достигается в стационарной точке W , в которой градиет равен нулю. Тогда из (21.9) получаем

Полагая, что Ryy неособенная матрица, из (21.10) находим вектор W , ино• гда называемый винеровским вектором весовых коэффициентов

Равенство (21.11) называют уравнением Винера–Хопфа, записанным в мат• ричной форме. Подставляя теперь (21.11) в (21.2) получаем минимальное значение ζ(W )

61

Действительно, так как Ryy симметрическая матрица, то для любых векторов X и Y справедливо

hRyy X, Y i = hRyy Y , Xi.

Тогда

= hRyy W , W i − 2hW, ryxi + rxx.

Справедливость представления (21.13) установлена.

Квадратичную форму в (21.13) можно привести к более удобному ви• ду, если ввести вектор отклонения весовых коэффициентов

Тогда выражение (21.13) принимает вид

Вектор V отклонение вектора весовых коэффициентов от винеровского оптимального вектора весовых коэффициентов. Если Ryy – положительно определена, то из (21.16) очевидно, что любое отклонение W от W вызыва• ет увеличение функции ζ. Заметим, что градиент функции ζ относительно V такой же, как в (21.9), так как оба вектора V и W отличаются только на константу. Таким образом

При W = W имеет место полезное и важное соотношение между сигналом ошибки и компонентами вектора входного сигнала. Умножим обе части скалярного равенства (20.2) на Ym. Тогда

62

Подставим в (21.19) оптимальное значение W = W . Тогда

Равенство (21.20) дает хорошо известный результат теории фильтрации: если импульсная характеристика адаптивного фильтра оптимальна т. е. W = W , то сигнал ошибки не коррелирован (ортогонален) со входным сигналом, взятым с весовыми коэффициентами.

Вернемся к поиску минимума функции ζ(W ). Умножая векторное ра•

венство для градиента (21.17) слева на Ryy−1 и используя (21.11) имеем

2

Равенство (21.23) описывает метод Ньютона. Если функция ошибки явля• ется квадратичной, то этот метод, как и (21.22) приводит к оптимальному решению за один шаг.

Для функции ζ(W ) оценка корреляционной матрицы Ryy изменяется на каждой итерации, поэтому, для того, чтобы использовать соотношение (21.23), на каждой итерации нужно пересчитывать оценку Ryy и соответ• ственно Ryy−1. Используем для пересчета Ryy оценку с экспоненциальным окном забывания (21.5).

Справедливо следующее утверждение.

Лемма 21.1 (об обратной матрице). Пусть A и B положительно определенные L × L матрицы, связанные соотношением

где D – положительно определенная N × N матрицa и C некоторая

63

Применим формулу (21.25) для пересчета оценки Ryy−1, где Ryy вычис• ляется по схеме (21.5). Тогда в обозначениях леммы об обратной матрице

C учетом соотношений (21.29) и (21.30) получим теперь формулы для рекурсивного метода наименьших квадратов. Запишем один шаг метода

Используем для оценки ryx формулу (21.8) с экспоненциальным окном за• бывания. Тогда для (21.31) получим

Wm = Φyy (m) [λryx(m − 1) + Ymxm] = λΦyy (m)ryx(m − 1) + Φyy (m)Ymxm.

= Φyy (m − 1)ryx(m − 1) − mYmT Φyy (m − 1)ryx(m − 1) + mxm.

(21.33)

64

Заметим, что согласно (21.31)

Wm−1 = Φyy (m − 1)ryx(m − 1).

Подставляя последнее равенство в (21.33) и учитывая (20.2) имеем

Запишем теперь получившийся алгоритм по шагам. Входными данными для него являются наблюдаемый и опорный сигналы Ym и xm.

Инициализация (m = 0).

Полагаем Φyy (0) = δI, W0 = Winit.

Очередной шаг (m = 1, 2, . . . ,).

3.Вычисляем текущий вектор коэффициентов адаптивного фильтра со• гласно (21.34)

Wm = Wm−1 − mǫm.

4.Вычисляем текущую оценку обратной корреляционной матрицы со• гласно (21.29)

Φyy (m) = λ1 Φyy (m − 1) − λ1 mYmT Φyy (m − 1).

22.Метод наискорейшего спуска

Рассмотрим еще один метод поиска минимума функции ζ(W ). Быст• рая сходимость метода Ньютона (в случае, когда ζ(W ) – квадрадичная функция) является достоинством при численном анализе процессов, когда нужно уменьшить число итераций при поиске минимума. Однако, алгорит• мы с меньшей скоростью сходимости также имеют свои достоинства. При

65

медленной адаптации имеет место процесс фильтрации, который снижа• ет влияние шума, связанного с измерением градиента. Поэтому градиент• ные методы (в частности, метод наискорейшего спуска) находят достаточно широкое применение.

Метод наискорейшего спуска для поиска минимума функции ζ(W ) можно записать следующим образом

где параметр µ является константой, определяющей размер шага, а век• тор m−1 градиент функции ζ в точке Wm−1, определенный в (21.9). Подставим в (22.1) сначала (21.9), а затем (21.10). При этом

Wm = Wm−1 + 2µRyy (W − Wm−1) = (I − 2µRyy )Wm−1 + 2µRyy W . (22.2)

Рассмотрим вектор смещения весовых коэффициентов Vm = Wm −W , введенный в (21.15). Тогда равенство (22.2) примет вид

Пусть {λ0, λ1, . . . , λL} собственные числа матрицы Ryy без учета кратности. Рассмотрим ортонормированный базис соответствующих соб• ственных векторов {Q0, Q1, . . . , QL}

Обозначим через Q матрицу из столбцов собственных векторов Qi

Q= [Q0 Q1 . . . QL] ,

ачерез Λ диагональную матрицу собственных чисел. Тогда равенство (22.5) можно переписать в виде

Равенство (22.6) называется нормальной формой матрицы Ryy . Так как {Q0, Q1, . . . , QL} ортонормированный базис, то очевидно, что матрица Q также ортонормированная, т. е.

QQT = I и следовательно Q−1 = QT .

66

Из (22.13) очевидно, что алгоритм наискорейшего спуска сходится, если

67

Из (22.15) очевидно, что условие сходимости выполняется, если

где λmax максимальное собственное число матрицы Ryy . При выполнении условия (22.16)

ˆ

lim Vm = 0. (22.17)

m→∞

Подставляя в (22.17)

ˆ −1 −1

V = Q V = Q (W − W ),

получаем

lim Wm = W .

m→∞

Замечание 22.2. Из (22.15) видно, что собственное число λi опреде• ляет скорость сходимости вектора коэффициентов W по i-й компонен• те. Таким образом общая скорость сходимости определяется размахом корреляционной матрицы λmax/λmin.

23.Метод минимальной среднеквадра• тичной ошибки (LMS)

Согласно (20.2) сигнал ошибки фильтра в момент времени m определя• ется как

Процесс адаптации основан на минимизации мгновенного значения квадрата ошибки. Из (23.1) имеем

Если считать что входной Ym и опорный xm сигналы являются стацио• нарными случайными величинами, то функция ζ = ζ(W ) есть квадратич• ная функция компонентов вектора весовых коэффициентов.

Замечание 23.1. Как и в случае критерия среднего квадрата ошиб• ки имеет место следующее свойство функции ζ. Если матрица YmYmT положительно определена, то квадратичная функция ζ(W ) являет• ся сильно выпуклой функцией и ее минимальное значение достигается в стационарной точке W , в которой градиет равен нулю.

68

Заметим, что

hYmYmT X, Xi = hYm, Xi2 > 0, для любого вектора X,

следовательно матрица YmYmT всегда неотрицательно определена и явля• ется вырожденной только когда kYmk = 0, т. е. сигнал Ym тождествен• ный ноль.

Вычислим градиент функции ζ(W ) в точке Wm. Используя (23.1) по• лучаем

= 2YmYmT Wm − 2xmYm = −2Ym(xm − WmT Ym) =

= −2ǫmYm.

Имея такую простую оценку для градиента m определим адаптивный алгоритм, аналогичный формуле метода наискорейшего спуска. Из (22.1) имеем формулу алгоритма:

Здесь, как и для метода наискорейшего спуска параметр µ определяет ско• рость и устойчивость процесса адаптации.

Замечание 23.2. Поскольку, изменения весовых коэффициентов на каждой итерации происходят по неточным оценкам градиента (23.3) и в отличие от ранее рассмотренных методов мы не проводим усреднение, следует ожидать, что компоненты градиента будут содержать доста• точно большую составляющую шума. Однако этот шум уменьшается самим процессом адаптации с течением времени, действие которого, в этом отношении эквивалентно действию низкочастотного фильтра.

Основными преимуществами алгоритма LMS является простота вы• числений и небольшие требования по памяти. Легко убедится в том, что вычислительная сложность алгоритма есть O(L), где L - длина фильтра.

Как и в предудущих случаях легко показать, что процесс вычислений (23.4) будет устойчивым, если

69

где tr[ ] обозначает след матрицы (сумму ее диагональных элементов). Для трансверсального адаптивного фильтра

tr[Ryy ] = (L + 1)E [ym2 ],

или мощности наблюдаемого сигнала, умноженной на L + 1. Тогда из (23.6) справедливо

Обычно на практике применяется оценка (23.7). Она строже, чем (23.5), но ее проще использовать, так как вычислить можность сигнала существенно легче, чем найти оценку Ryy и определить ее собственные числа.

24.Модификации классического LMS алгоритма

•Leaky LMS фильтр. Минимизируемая функция (функция стоимо• сти) имеет вид:

ζ(Wm) = ǫ2m + γkWmk2.

Пересчет вектора коэффициентов адаптивного фильтра ведется по формуле

При этом γ и µ согласованы условием

0 < 1 − µγ < 1, т. е. 0 < µγ < 1.

•VS LMS LMS алгоритм с переменным шагом. Для вычисле• ния величины очередного шага используется последнее значение сигна•

ла ошибки ǫm. Пересчет вектора коэффициентов адаптивного фильтра ведется по следующей схеме

70