Адаптивные линейные фильтры
Адаптивные линейные фильтры (адаптивные линейные сети, ADALINE) похожи на персептроны, однако используют линейную функцию передачи, благодаря чему их выход не ограничен только значениями 0 и 1.
Как и персептроны, адаптивные линейные фильтры могут применяться только к линейно разделимым проблемам. Увеличение вычислительной мощности сети ADALINE за счет наращивания числа слоев невозможно, так как умножение матриц ассоциативно и можно показать, что многослойная линейная сеть эквивалентна однослойной сети с весовой матрицей равной произведению весовых матриц всех слоев.
Модель сети ADALINE представлена на следующем рисунке:
a= purelin(Wp + b)
Рисунок 20. Сеть ADALINE
Создание сети ADALINE осуществляется с помощью функции newlin, пример использования которой для создания сети из одного нейрона с двумя входами показан ниже:
net = newlin([-1 1; -1 1], 1);
Первый аргумент этой функции – матрица, содержащая диапазоны входных значений по каждому из входов сети, а второй аргумент показывает число выходов сети.
Вычисление выхода сети, как и у сетей других типов, производится с помощью функции sim.:
p = [5; 6];
ans = sim(net, p);
Специфической особенностью сетей ADALINE является возможность создания инициализированной для конкретной задачи сети на базе обучающего множества, осуществляемого с помощью функции newlind.
P = [1 2 3];
T = [2.0 4.1 5.9];
net = newlind(P, T);
Главным преимуществом сетей ADALINE перед персептронами является возможность использования обучающего правила Уидроу–Хоффа, минимизирующего средний квадрат ошибки и значительно более мощного, чем обучающее правило персептрона.
Как и алгоритм обучения персептрона, обучающее правило Уидроу–Хоффа реализует алгоритм обучения с учителем. На вход алгоритма подается последовательность – обучающая выборка, состоящая из пар «вход/выход». Ошибка сети вычисляется как разность между желаемым выходом и действительным выходом сети, после чего минимизируется среднеквадратическая ошибка по всему обучающему множеству.
Опуская процедуру вывода, обучающее правило Уидроу–Хоффа выглядит следующим образом:
где W – матрици весов,
p – вектор входов,
b – вектор смещений,
k – номер итерации,
е – ошибка,
– скорость обучения, выбор больших значений приводит к более быстрой сходимости, однако уменьшает стабильность.
Сети ADALINE на сегодняшний день являются одним из наиболее широко используемых архитектур, в основном благодаря применению для адаптивной фильтрации. Такое их применение возможно благодаря введению элемента задержки.
В качестве примера использования сетей ADALINE рассмотрим архитектуры, реализующие фильтрацию и предсказание значений сигнала. Введем сначала новый объект, необходимый для их реализации – линию задержки:
Каждый элемент, обозначенный символом D, передаетна выход сигнал, поступивший на него в предыдущий момент времени.
Комбинируя линию задержки с сетью ADALINE,получаем элемент, называемый в цифровой обработке сигналов фильтром с конечной импульсной характеристикой (КИХ фильтром).
Рисунок 21. КИХ фильтр на основе ADALINE
Установка задержек сигнала для входов нейрона ADALINEосуществляется с помощью свойства:
net.inputWeights{1, 1}.delays = [0 1 2];
Внеся небольшое изменение в архитектуру сети, можно получить систему, реализующую предсказание значений сигнала, представленную ниже:
Рисунок 22. Предсказывающий фильтр (a(t)аппроксимирует p(t))
К сожалению, в рамках этой статьи сложно остановиться подробнее на объяснении процедур создания и функционирования этой сети. Заинтересованный читатель сможет найти больше информации в [1] .
Посмотреть на практике работу сети, реализующей адаптивное предсказание значений сигнала, можно на примере «Adaptive noise cancellation in airplane». При этом вы сможете, варьируя параметры сети, посмотреть на ее поведение в различных условиях.
Рисунок 23. Адаптивная фильтрация (Adaptive noise cancellation in airplane)
Существует много других применений сетей ADALINE, однако всегда следует помнить, что спектр решаемых ими проблем ограничен линейно разделимыми множествами. В случае, когда согласно условиям задачи, это неприемлемо, следует обратиться к более мощным сетям и использовать нелинейные функции передачи и процедуру обратного распространения, описанную в следующем разделе.