3. Функционирование формального нейрона

В общем случае работа формального нейрона заключается в следующем (см. рис. 2.10). Перед началом работы на блок сумматора подают сигнал начального состояния (начального возбуждения, пороговое значение) w₀ или θ. На каждый i-й вход нейрона поступают сигналы x_i. Для рассмотрения работы нейрона неважно, приходит сигнал к нейрону из внешнего мира или с другого нейрона, и неважно, куда отправляется сигнал с нейрона. Каждый i-й входной сигнал x_i умно­жается на коэффициент межнейронной связи (синаптический коэффициент) w_i. В зависимости от веса, сигнал может быть усилен (модуль веса > 1) или ослаблен (модуль веса < 1) по амплитуде. Сигналы от всех синапсов, ведущих к данному нейрону, принимает сумматор.

В блоке сумматора взвешенные вход­ные сигналы и начальное возбужде­ние w₀ алгебраически складываются. Получается одно число. Величина этого числа будет зависеть как от величин исходных сигналов, так и от весов синапсов.

Результат суммирования (взвешенная сумма) S подается на блок функцио­нального преобразования f(S), который преобразует его согласно своей функции. В результате получается другое число – выход нейрона. Функциональный преобразователь отправляет его по аксону всем остальным нейронам через точку ветвления. Последующие нейроны производят с полученными сигналами такие же операции, лишь с тем различием, что, во-первых, веса их синапсов могут быть уже другими, во-вторых, другие нейроны могут иметь другой вид функции преобразования.

4. Модели формальных нейронов

4.1. Обобщенная модель

Рассмотрим модель формального нейрона, которая является общим случаем всех частных моделей, и описывается аппаратом теории множеств.

Формальный нейрон описывается следующими параметрами

, (2.6)

где – набор входных сигналов;

–набор выходных сигналов;

–множество состояний нейрона;

–множество значений порога нейрона.;

–функция переходов нейрона;

–функция выхода.;

–начальное значение порога нейрона;

–начальное состояние нейрона.

Структура обобщенного формального нейрона представлена на рис. 2.13.

Функция носит название активационной (пороговой, характеристической или сжимающей) функции. Как правило, эта функция ограничивает амплитуду выходного сигнала нейрона. Т.е. сужает диапазон изменения величиныS так, что при любых значениях S значения U принадлежат некоторому конечному интервалу. Обычно нормализованный диапазон амплитуд выхода нейрона лежит в интервале [0,1] или [-1,1]

Перечислим основные функции активации.

1) линейная функция, эквивалентная отсутствию порогового элемента (рис. 2.15, а)

. (2.7)

2) кусочно-линейная функция, получаемая из линейной ограничением диапазона ее изменения в пределах диапазона {-t, t}. Симметричная кусочно-линейная функция (рис. 2.15, б)

. (2.8)

Смещенная кусочно-линейная функции (рис. 2.15, в)

. (2.9)

3) ступенчатая пороговая функция или функция единичного скачка (рис. 2.15, г)

. (2.10)

4) рациональная сигмоида (упрощенная сигмоида) относится к классу сигмоидальных функций (график которых напоминает букву S), и является самой распространенной функцией, используемой для создания ИНС. Она имеет два выражения (рис. 2.15, д,е)

; (2.11)

. (2.12)

5) логистическая функция (рис. 2.15, ж)

, (2.13)

где  - параметр наклона. Изменяя этот параметр, можно построить функции с различной крутизной.

6) гиперболический тангенс (рис. 2.15, з)

. (2.14)

Следующие функции относятся к «иным» и применяется в специальных случаях.

7) квадратичная функция

. (2.17)

8) модульная функция

. (2.18)

9) экспонента

. (2.19)

10) участки синусоиды

. (2.20)

11) степенная функция

, (2.21)

где n=2,3,4,5 … - показатель степени.

12) Гауссова кривая (радиальная базисная функция RBF) (рис. 2.15, и)

. (2.22)

13) SoftMax–функция

. (2.23)

Здесь суммирование производится по всем нейронам данного слоя сети (n). Такой выбор функции обеспечивает сумму выходов слоя, равную единице при любых значениях сигналов х_i данного слоя.

Перечисленные функции относятся в большей степени к однопараметрическим. Приведем пример трехпараметрической функции

. (2.24)

По аналогии с электронными системами активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления вычисляется как отношение приращения величины U к вызвавшему его небольшому приращению величины S. Он выражается наклоном кривой при определенном уровне возбуждения и изменяется от малых значений при больших отрицательных возбуждениях (кривая почти горизонтальна) до максимального значения при нулевом возбуждении и снова уменьшается, когда возбуждение становится большим положительным.

Слабые сигналы нуждаются в большом сетевом усилении, чтобы дать пригодный к использованию выходной сигнал. Однако усилительные каскады с большими коэффициентами усиления могут привести к насыщению выхода шумами усилителей (случайными флуктуациями), которые присутствуют в любой физически реализованной сети. Сильные входные сигналы в свою очередь также будут приводить к насыщению усилительных каскадов, исключая возможность полезного использования выхода. Центральная область S-образной функции, имеющая большой коэффициент усиления, решает проблему обработки слабых сигналов, в то время как области с падающим усилением на положительном и отрицательном концах подходят для больших возбуждений. Таким образом, нейрон функционирует с большим усилением в широком диапазоне уровня входного сигнала.

Параметрами нейрона, определяющими его работу, являются: вектор весов w, пороговый уровень  и вид активационной функции f.