2.1.Персептрон

Простой персептрон – это ФН МакКаллока–Питтса со структурой рис. 2.1 и соответствующей стратегией обучения. Функция активации – пороговая, вследствие чего выходные сигналы могут принимать только два значения

(2.3)

где для выходного сигнала сумматора

(2.4)

входной вектор дополнен нулевым членом х₀=1, формирующим сигнал поляризации, т.е. =(х₀, х₁, х₂, …, х_N).

Обучение – с учителем по правилу персептрона в соответствии с алгоритмом:

1. при начальных значениях w_ij (выбранных, как правило, случайным образом) на вход подается обучающий , рассчитывается y_i и по результатам сравнения y_i с известным d_i уточняются значения весов;

2. если y_i = d_i, то w_ij = const;

3. если y_i = 0, а d_i = 1, то w_ij(t+1) = w_ij(t)+x_j, где t – номер итерации;

4. если y_i = 1, а d_i = 0, то w_ij(t+1) = w_ij(t)–x_j.

После уточнения весовых коэффициентов подается следующая обучающая пара и значения w_ij уточняются заново. Процесс повторяется многократно на всех обучающих выборках до минимизации разницы между всеми y_i и d_i. Вообще говоря, правило персептрона является частным случаем предложенного позднее правила Видроу–Хоффа

(2.5)

где d_i, y_i могут принимать любые значения.

Минимизация различий между фактическими y_i и ожидаемыми d_i выходными сигналами нейрона может быть представлена как минимизация некоторой (целевой) функции погрешности E(w), чаще всего определяемой как

(2.6)

где р – количество обучающих выборок. Оптимизация E(w) по правилу персептрона является безградиентной, при большом р количество циклов обучения и его длительность быстро возрастают без всякой гарантии достижения минимума целевой функции. Устранить эти недостатки можно только при использовании непрерывных f(u) и E(w).

2.2.Сигмоидальный нейрон

Структура – ФН МакКаллока–Питтса (рис. 2.1).

Функции активации – униполярный f₁ (табл. 2.1, рис. 2.2 в) или биполярный f₂ (табл. 2.1, рис. 2.2 г) сигмоиды, непрерывно дифференцируемые во всей области определения, причем как , так и имеют практически одинаковую колоколообразную форму с максимумом при u=0 (рис. 2.3).

Обучение – с учителем путем минимизации целевой функции (2.6) с использованием градиентных методов оптимизации, чаще всего алгоритма наискорейшего спуска (АНС). Для одной обучающей пары (р=1) j–я составляющая градиента согласно (2.4), (2.6) имеет вид:

(2.7)

где . При этом значения w_ij уточняются либо дискретным

(2.8)

либо аналоговым способом из решения разностного уравнения

(2.9)

где ,   (0,1) играют роль коэффициентов обучения, от которых сильно зависит его эффективность. Наиболее быстрым (но одновременно наиболее трудоемким) считается метод направленной минимизации с адаптивным выбором значений , .

Следует отметить, что применение градиентных методов обучения нейрона гарантирует достижение только локального экстремума, который для полимодальной E(w) может быть достаточно далек от глобального минимума. В этом случае результативным может оказаться обучение с моментом (ММ)

(2.10)

где 0<<1 – коэффициент момента, или использование стохастических методов оптимизации.