31. Сигмоидальный нейрон

Нейрон сигмоидального типа (рис. 2) имеет структуру, подобную модели МакКаллока-Питса, с той разницей, что функция активации является непрерывной и может быть выражена в виде сигмоидальной униполярной или биполярной функции. Униполярная функция, как правило, представляется формулой

тогда как биполярная функция задается в виде

Рис. 2. Модель сигмоидального нейрона

В этих формулах параметр β подбирается пользователем. Его значение влияет на форму функции активации. На рис. 3 представлены графики сигмоидальной функции от переменной х для различных значений β, причем на рис. 3а) показана униполярная, а на рис. 3б) – биполярная функция.

Графики обеих функций сильно зависят от значения β. При малых величинах β график функции достаточно пологий, но по мере роста значения β крутизна графика увеличивается. При β→∞ сигмоидальная функция превращается в функцию ступенчатого типа, идентичную функции активации персептрона.

На практике чаще всего для упрощения используется значение β =1.

Рис. 3. Графики сигмоидальной функции при различных значениях параметра β

Важным свойством сигмоидальной функции является ее дифференцируемость. Для униполярной функции имеем а для биполярной

И в первом, и во втором случае график изменения производной относительно переменной х имеет колоколообразную форму, а его максимум соответствует значению x=0 (рис. 4).

Рис. 4. Графики изменения производной сигмоидальной функции

Сигмоидальный нейрон, как правило, обучается с учителем по принципу минимизации целевой функции, которая для единичного обучающего кортежа <x,d> i-го нейрона определяется в виде:

,

где

Функция f(u_i) является сигмоидальной, x – это входной вектор x=[x₀, x₁, …, x_N]^T со значением x₀=1 при наличии поляризации и x₀=0 при ее отсутствии, а d_i – соответствующее ему ожидаемое значение на выходе i-го нейрона. Применение непрерывной функции активации позволяет использовать при обучении градиентные методы.

Проще всего реализовать метод наискорейшего спуска, в соответствии с которым уточнение вектора весов w=[w_i0, w_i1, …w_iN]^T проводится в направлении отрицательного градиента целевой функции.

32. Нейрон типа «адалайн»

Модель нейрона типа “адалайн” (англ.: ADAptive LInear NEuron - адаптивный линейный нейрон) была предложена Б. Видроу. Ее структурная схема, демонстрирующая адаптивный способ подбора весовых коэффициентов, изображена на рис. 5. По методу весового суммирования сигналов нейрон типа “адалайн” аналогичен представленным ранее моделям нейронов. Функция активации имеет тип signum, т.е.

Рис. 5. Структурная схема нейрона типа “адалайн”

Адаптивный подбор весовых коэффициентов осуществляется в процессе минимизации квадратичной ошибки, определяемой как

Несмотря на нелинейный характер модели, в целевой функции присутствуют только линейные члены, представляющие собой сумму взвешенных входных сигналов. В связи с выполнением условия непрерывности целевой функции стало возможным применение алгоритма градиентного обучения. Как и в ситуации с сигмоидальным нейроном, в алгоритме Видроу для минимизации целевой функции применяется метод наискорейшего спуска. Значения весовых коэффициентов могут уточняться либо дискретным способом:

либо аналоговым способом - путем решения дифференциальных 

уравнений вида:

Несмотря на то, что адалайн имеет на выходе нелинейный блок типа signum, он все же считается линейным элементом, поскольку в определении целевой функции нелинейности отсутствуют, а подбор весов происходит так, как будто никакой нелинейности не существует.

Нейрон типа “адалайн” имеет относительно простую практическую реализацию как в случае аналогового подхода на основе уравнения

так и в дискретном варианте на базе выражения

Основные компоненты модели в первом случае - это вычислительные элементы (интеграторы и сумматоры), тогда как во втором случае - это элементы задержки, описываемые оператором запаздывания z^-1, и также интеграторы и сумматоры. Обе адалайн-модели могут служить базой для компьютерного моделирования нейрона этого типа.