3.7. Стохастическая модель нейрона

В отличие от ранее рассмотренных детерминированных моделей в стохастической модели [13] выходное состояние нейрона зависит не только от взвешенной суммы входных сигналов, но и от некоторой случайной переменной, значение которой выбирается при каждой реализации из интервала (0, 1).

В стохастической модели нейрона выходной сигнал принимают значения с вероятностью:

(24)

где обозначена взвешенная сумма входных сигналов i–го нейрона, а - это положительная константа, чаще всего равная 1. Алгоритм обучения стохастической модели нейрона состоит из следующих этапов:

1. Расчет взвешенной суммы для каждого нейрона сети:

. (25)

2. Расчет вероятности того, что принимает значение в соответствии с формулой (24);

3. Генерация значения следующей переменной и формирование выходного сигнала :

   1. Если , то

   2. Если , то ;

4. Определенный таким образом процесс осуществляется на случайно выбранной группе нейронов вследствие чего их состояние модифицируется в соответствии с предложенным правилом;

5. После фиксации состояния нейрона их коэффициенты модифицируются по применяемому правилу уточнения весов, например, при обучении с учителем по правилу Видроу-Хоффа:

. (26)

Доказано, что такой способ подбора весов приводит в результате к минимизации целевой функции:

(27)

рассчитываемая по всем n нейронам и p обучающим выборкам.

4.Алгоритмы обучения искусственных нейронных сетей

Объединенные между собой нейроны образуют систему, которая в дальнейшем будет называться искусственной нейронной сетью (ИНС). В зависимости от способа объединения нейронов они могут быть сетями однонаправленными либо рекуррентными (с обратной связью).

Среди различных известных видов ИНС наибольший интерес вызывает однонаправленная многослойная сеть, состоящая из нейронов сигмоидального типа, называемого многослойным персептроном [10,19]. Передача сигналов в таких сетях происходит только в одном направлении от входа к выходу. Обучение многослойного персептрона проводится с учителем путем подбора кортежей , в которых x – входной вектор, d – соответствующий ему ожидаемый выходной вектор сети. Если векторы x и d не равны между собой, сеть называется гетероассоциативной. В случае, когда x = d, сеть называется автоассоциативной.

В данном разделе рассмотрим базовые математические зависимости, определяющие многослойные сигмоидальные сети, обсудим основные методы обучения подобных сетей.

1. Многослойный персептрон

Многослойная сеть состоит из нейронов, расположенных на разных уровнях, причем, помимо входного и выходного слоев, имеется еще, как минимум, один внутренний, т.е. скрытый слой.

Рисунок 20 – Обобщенная структура многослойного персептрона

На рисунке 20 представлена сеть с одним скрытым слоем. Веса нейронов скрытого слоя обозначим , а выходного слоя . Выходные сигналы нейронов скрытого слоя пометим , выходного слоя - . Примем, что функция активации нейронов задана в сигмоидальной униполярной или биполярной форме.

Цель обучения состоит в подборе таких значений весов и для всех слоев сети, чтобы при заданном входном векторе x получить на выходе значения сигналов , которые будут совпадать с ожидаемыми значениями . При таком подходе выходной сигнал j-го нейрона скрытого слоя удается описать функцией

(28)

В выходном слое k-й нейрон вырабатывает выходной сигнал, определяемый как

Из приведенной формулы следует, что на значение выходного сигнала влияют веса обоих слоев, тогда как сигналы, вырабатываемые в скрытом слое, не зависят от весов выходного слоя.