8.2. Модель искусственного нейрона.

Нейрон является составной частью нейронной сети. На рис. 2. показана его структура. Он состоит из элементов трех типов: умножителей (синапсов), сумматора и нелинейного преобразователя. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи, (вес синапса). Сумматор выполняет сложение сигналов, поступающих по синоптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора. Эта функция называется функцией активации или передаточной функцией нейрона.

w_{1 ….} w _{i …………} w_n

wwwww



f

s

y

x₁

x_i

b

x_n

Рисунок 2. Структура искусственного нейрона.

Нейрон в целом реализует скалярную функцию векторного аргумента. Математическая модель нейрона:

s w_ix_i+b (1), y = f(s) (2).

где w_i - вес (weight) синапса, i=1,…….,n; b - значение смещения (bias); s - результат суммирования (sum); x_i - компонент входного вектора (входной сигнал), i=1,…….,n;

у – выходной сигнал нейрона; n - число входов нейрона; f - нелинейное преобразование (функция активации). В общем случае входной сигнал, весовые коэффициенты и смещение могут принимать действительные значения, а во многих практических задачах - лишь некоторые фиксированные значения. Выход (у) определяется видом функции активации и может быть как действительным, так и целым. Синоптические связи с положительными весами называют возбуждающими, с отрицательными весами – тормозящими.

Описанный вычислительный элемент можно считать упрощенной математической моделью биологических нейронов. Чтобы подчеркнуть различие нейронов биологических и искусственных, вторые иногда называют нейроноподобными элементами или формальными нейронами. На входной сигнал (s) нелинейный преобразователь отвечает выходным сигналом f(s), который представляет собой выход (у) нейрона. На рис.3 представлены примеры активационных функций.

пороговая полулинейная

y1 y

1

0  s 0  s

0, s < 

f(s)= 1, s =>  1, s > 

f(s)= ks, s > 0, s < 

0, s =< 0

логистическая

(сигмоид)

y

гиперболический тангес (сигмоид)

y

1 1

0,5

0 s 0 s

-1

1 e^as - e^-as

f(s) = ; f(s) = ;

1 + e^-as e^as + e^-as

Рисунок 3 Примеры активационных функций.

Одной из наиболее распространенных является нелинейная функция активации с насыщением, так называемая логистическая функция или сигмоид (функция S-образного вида): 1

f(s) =

1 + e^-as

При уменьшении а сигмоид становится более пологим, в пределе при а = 0 вырождаясь в горизонтальную линию на уровне 0,5, при увеличении а сигмоид приближается к виду функции единичного скачка с порогом . Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне (0, 1). Одно из ценных свойств сигмоидальной функции - простое выражение для её производной, вида:

f ^ = af(s)  [1-f(s)].

Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.