Различные виды искусственных нейронов

Искусственным нейроном (рис. 12.1) называется простой элемент, снача­ла вычисляющий взвешенную сумму V входных величин Xj

N __

у= ∑ W_ix_i =W_ix_i

i=l

Здесь N- размерность пространства входных сигналов.

Затем полученная сумма сравнивается с пороговой величиной (или bias)

wo, вслед за чем вступает в действие нелинейная функция активации f (ее можно также охарактеризовать как «решающую функцию»). Коэффициенты {W,} во взвешенной сумме (1) обычно называют синаптическими коэффи­циентами или весами. Саму же взвешенную сумму V мы будем называть потенциалом нейрона i. Выходной сигнал тогда имеет вид f(v)

Величину порогового барьера можно рассматривать как еще один весо­вой коэффициент при постоянном входном сигнале. В этом случае мы гово­рим о расширенном входном пространстве: нейрон с N -мерным входом имеет N+ I весовой коэффициент. Если ввести в уравнение пороговую вели­чину WO, оно перепишется так:

в зависимости от способа преобразования сигнала и характера функции активации возникают различные виды нейронных структур. Мы будем рас­сматривать только детерминированные нейроны (в противоположность ве­роятностным нейронам, состояние которых в момент t есть случайная функция потенциала и состояния в момент (t-l). Далее, мы будем различать статические нейроны - такие, в которых сигнал передается без задержки,- и динамические, где учитывается возможность таких задержек, учиты­вается (<<синапсы с запаздыванием»).

Входы Синапсы Ячейка Аксон Выход

нейрона

у

Рис.13.1.Искусственный нейрон

Различные виды функции активации

Функции активации f могут быть различных видов:

1. линейная: выходной сигнал нейрона равен его потенциалу,

2. ступенчатая: нейрон принимает решение, выбирая один из двух вариан­тов (активен/неактивен),

3. линейная с насыщением: нейрон выдает значения, промежуточные между двумя предельными значениями А и В

4. многопороговая: выходной сигнал может принимать одно из q значений, определяемых (q -1) порогом внутри предельных значений А и В,

5. сигмоидная: рассматриваются два вида сигмоидных функций:

1________

s = f(V) = 1 +ехр(-bУ)

с выходными значениями в промежутке (0,1) и

s = f(V) = exp(bY)-1

ехр(by) + 1

с выходными значениями от -1 до 1.

Коэффициент Ь определяет крутизну сигмоида. Поскольку сигмоидная функция является гладким отображением (∞; +∞)~(0,I), крутизну b можно учесть через величины весов и порогов, и без ограничения общности можно полагать ее равной единице.

Возможно, также определить нейроны без насыщения, принимающие на выходе непрерывное множество значений. В задачах классификации выход­ное значение может определяться порогом - при принятии единственного решения,- или быть вероятностным - при определении принадлежности к классу. Чтобы учесть особенности конкретной задачи, могут быть выбраны различные другие виды функции активации - гауссова, синусоидальная, всплески (wavelets) и т.д.