9.Однослойные сети прямого распространения

Однослойная сеть прямого распространения представляет собой частный случай многослойной сети. Такая сеть состоит из узлов источника информации и одного слоя нейронов, который является одновременно входным слоем и выходным (рис. 7.7.).

Сеть, в которой все входные элементы соединены непосредственно с выходными элементами, называется однослойной нейронной сетью, или сетью персептрона. Поскольку каждый выходной элемент является независимым от других (каждый вес влияет только на один из выходов), можно ограничиться в нашем исследовании рассмотрением персептронов с единственным выходным элементом, как показано на рис. 20.19, а.

Рис. 7.7. Однослойная сеть прямого распространения

Такие сети называют сетями прямого распространения или ациклическими сетями.

10.Многослойные сети прямого распространения

Более крупные и сложные нейронные сети обладают, как правило, и большими вычислительными возможностями. Хотя созданы сети всех конфигураций, какие только можно себе представить, послойная организация нейронов копирует слоистые структуры определенных отделов мозга. Оказалось, что такие многослойные сети обладают большими возможностями, чем однослойные, и в последние годы были разработаны алгоритмы для их обучения. Многослойные сети могут строиться из каскадов слоев. Выход одного слоя является входом для последующего слоя. Подобная сеть показана на рис. 1.6 и снова изображена со всеми соединениями. Многослойные сети не могут привести к увеличению вычислительной мощности по сравнению с однослойной сетью, если активационная функция между слоями линейна. Вычисление выхода слоя заключается в умножении входного вектора на первую весовую матрицу с последующим умножением (если отсутствует нелинейная активационная функция) результирующего вектора на вторую весовую матрицу.

Многослойные сети прямого распространения характеризуются наличием одного или нескольких скрытых слоев (рис. 7.8).

Рис. 7.8. Многослойная сеть прямого распространения

Узлы скрытых слоев называются скрытыми нейронами. Добавляя один или несколько скрытых слоев можно выделить глобальные закономерности в данных, что особенно существенно при большой размерности входных данных.

В многослойных сетях прямого распространения сигнал распространяется послойно: узлы источника формируют входной сигнал для первого (входного) слоя нейронов, выходной сигнал первого слоя нейронов используется в качестве входного сигнала для второго (скрытого) слоя нейронов и т.д. вплоть до последнего (выходного) слоя нейронов.

Сеть, в которой каждый нейрон скрытого слоя соединяется со всеми нейронами соседних слоев, называется полносвязной. Если некоторые синаптические связи отсутствуют, сеть называется неполносвязной.

11.Рекуррентные сети

Многослойные рекуррентные сети представляют собой развитие однонаправленных сетей персептронного типа за счет добавления в них соответствующих обратных связей. Обратная связь может исходить либо из выходного, либо из скрытого слоя нейронов. В каждом контуре такой связи присутствует элемент единичной задержки, благодаря которому поток сигналов может считаться однонаправленным (выходной сигнал предыдущего временного цикла рассматривается как априори заданный, который просто увеличивает размерность входного вектора сети). Представленная подобным образом рекуррентная сеть, с учетом способа формирования выходного сигнала, функционирует как однонаправленная персептронная сеть. Тем не менее, алгоритм обучения такой сети, адаптирующий значения синаптических весов, является более сложным из-за зависимости сигналов в момент времени от их значений в предыдущие моменты и соответственно из-за более громоздкой формулы для расчета вектора градиента.

При обсуждении рекуррентных сетей, в которых в качестве выходного элемента используется многослойный персептрон, рассмотрим наиболее известные структуры сетей RMLP, RTRN, Эльмана.

Рекуррентные сети отличаются от сетей прямого распространения наличием, по крайней мере, одной обратной связи. На рис 7.9 показана архитектура простейшей рекуррентной сети.

Рис. 7.9.Рекуррентная сеть

Здесь - это оператор единичной задержки. В общем случае оператор

задержки определяется следующим образом:

, (7.13)

где и - значения на и шаге соответственно.