3.2. Сигмоидальный нейрон
Нейрон сигмоидального типа имеет структуру, подобную модели МакКаллока-Питса, с той разницей, что функция активации является непрерывной и может быть выражена в виде сигмоидальной униполярной или биполярной функции [10,17] (рис.11).
Рисунок 11 – Структурная схема сигмоидального нейрона
Униполярная функция представляется формулой
,
(7)
биполярная функция задается в виде
.
(8)
В
этих формулах параметр
подбирается пользователем. Его значение
влияет на форму функции активации. На
рисунках12,13 представлены графики
сигмоидальной функции от переменной
для различных значений
,
на рисунке 12 показана униполярная, а на
рисунке 13 - биполярная. Графики обеих
функций сильно зависят от значения
.
При малых величинах
график функции достаточно пологий, но
по мере роста значения
крутизна графика увеличивается. При
сигмоидальная функция превращается в
функцию ступенчатого типа, идентичную
функции активации персептрона. На
практике чаще всего для упрощения
используется значение
.
Важным свойством сигмоидальной функции является ее дифференцируемость. Для униполярной функции имеем
,
(9)
для биполярной функции
.
(10)
Рисунок 12 – График униполярной сигмоидальной функции
Рисунок 13 – График биполярной сигмоидальной функции
И
в первом и во втором случае график
изменения производной относительно
переменной xимеет
колоколообразную форму, а его максимум
соответствует значению
.
Сигмоидальный
нейрон, как правило, обучается с учителем
по принципу минимизации целевой функции,
которая для единичного обучающего
кортежа
i-го
нейрона определяется в виде
,
(11)
где
.
(12)
Функция
является сигмоидальной, где
– это входной вектор, а
–соответствующее
ему ожидаемое значение на выходе i-го
нейрона.
3.3. Нейрон типа «адалайн»
Модель нейрона типа «адалайн» (AdaptiveLinearNeuron – адаптивный линейный нейрон) была предложена Б. Видроу [23]. Её структурная схема, демонстрирующая адаптивный способ подбора весовых коэффициентов представлена на рисунке14.
Рисунок 14 – Структурная схема нейрона типа «адалайн»
По методу весового суммирования сигналов нейрон типа «адалайн» аналогичен представленным ранее моделям нейронов. Функция активации имеет вид
(13)
Адаптивный подбор весовых коэффициентов осуществляется в процессе минимизации квадратичной ошибки, определяемой как
.
(14)
Несмотря на нелинейный характер модели, в целевой функции присутствуют только линейные элементы, представляющие собой сумму взвешенных входных сигналов. В связи с выполнением условия непрерывности целевой функции, стало возможно применение алгоритма градиентного обучения. Значения весовых коэффициентов могут утоняться либо дискретным способом:
,
(15)
либо аналоговым:
,
(16)
в
которых
.
В практических приложениях нейроны типа «адалайн» всегда используется группами, образуя слои, называемые «мадалайн» (Manyadaline–много адалайн). Каждый входящий в слой нейрон обучается по правилу адалайн. Б. Видроу [23] предложил три базовых типа межнейронных соединений: OR, AND, мажоритарное (рис.15).
Рисунок 15 – Структурная схема базового межнейронного соединения
Сигналы суммируются с учетом порогового значения, установленного раздельно для каждого типа связи. Для схемы OR порог имеет значение (n-1), для AND – (1-n), для мажориторной схемы – нулевое значение.
В связи с используемой функцией активации выходной сигналy принимает значение +1, когда хотя бы один из входных сигналов имеет значение +1(OR), когда все входные сигналы имеют значение +1(AND), либо когда большинство сигналов имеет значение +1 (мажоритарное соединение).