2.3. Устройство инс

2.3.1. Искусственный нейрон

Основу каждой ИНС составляют относительно простые, в большинстве случаев однотипные, элементы, имитирующие работу нейронов головного мозга, называемые искусственными нейронами.

И скусственный нейрон по своей сути является упрощенной моделью биологического нейрона, который,

Рис. 1. Биологический нейрон

как известно, состоит из тела клетки, или сомы, и двух типов внешних древоподобных ветвей: аксона и дендритов. Тело клетки включает ядро, которое содержит информацию о наследственных свойствах, и плазму, обладающую молекулярными средствами для производства необходимых нейрону материалов. Нейрон получает сигналы (импульсы) от других нейронов через дендриты (приемники) и передает сигналы, сгенерированные телом клетки, вдоль аксона (передатчик), который в конце разветвляется на волокна. На окончаниях обоих типов ветвей находятся синапсы. Синапс является элементарной структурой и функциональным узлом между двумя нейронами (волокно аксона одного нейрона и дендрит другого). Когда импульс достигает синаптического окончания, высвобождаются определенные химические вещества, называемые нейротрансмиттерами. Нейротрансмиттеры диффундируют через синаптическую щель, возбуждая или затормаживая, в зависимости от синапса, способность нейрона-приемника генерировать электрические импульсы. Проводимость синапса может настраиваться проходящими через него сигналами, так что синапсы могут обучаться в зависимости от активности процессов, в которых они участвуют. Эта зависимость от предыстории действует как память, которая, возможно, ответственна за память человека.

Искусственный нейрон также обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон – выходную связь данного нейрона, с которой сигнал поступает на синапсы следующих нейронов. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены.

Рис. 2. Искусственный нейрон

Каждый синапс характеризуется весовым коэффициентом , определяющим уровень синаптической связи.

Текущее состояние нейрона определяется, как взвешенная сумма его входов:

, (2.1)

где  – входной сигнал, – смещение.

Выход нейрона есть функция его состояния . Нелинейная функция называется функцией активации и может иметь различный вид.

С математической точки зрения искусственный нейрон — это сумматор всех входящих сигналов, применяющий к полученной сумме некоторую простую, в общем случае, нелинейную функцию.

Одной из наиболее распространенных функций активации является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида): (2.2) . Одно из ценных свойств сигмоидной функции – простое выражение для ее производной:

,

что удобно для реализации некоторых алгоритмов обучения.

На практике также применяются и другие функции (см. Рис 3 а, б, в), однако они менее распространены.

а) функция единичного скачка;

б) линейный порог (гистерезис);

в) сигмоид – гиперболический тангенс;

г) сигмоид – формула (2)

Рис. 3. Функции активации

Таким образом, нейрон полностью описывается своими весами Wi и функцией активации f(x).