Нейронные сети с прямой связью

Мы будем рассматривать два вида нейронных сетей: статические, кото­рые также часто называют сетями с прямой связью (feed-forward), и динами­ческие, или рекуррентные сети. В этом разделе мы займемся статическими сетями. Сети других видов будут кратко рассмотрены позднее.

Нейронные сети с прямой связью состоят из статических нейронов, так что сигнал на выходе сети появляется в тот же момент, когда подаются сиг­налы на вход. Организация (топология) сети может быть различной. Если не все составляющие ее нейроны являются выходными, говорят, что сеть со­держит скрытые нейроны. Наиболее общий тип архитектуры сети получает­ся в случае, когда все нейроны связаны друг с другом (но без обратных свя­зей). В конкретных задачах нейроны обычно бывают сгруппированы в слои.

На рис. 13.2 показана типовая схема нейронной сети с прямой связью с од­ним скрытым слоем.

Выходные элементы

Скрытые элементы

Входные элементы

Рис. 13.2.Нейронная сеть с прямой связью с одним скрытым слоем (пopoгu не отмечены)

Интересно отметить, что, согласно теоретическим результатам, нейрон­ные сети с прямой связью и с сигмоидными функциями являются универ­сальным средством для приближения (аппроксимации) функций. Говоря точнее, любую вещественнозначную функцию нескольких переменных на компактной области определения можно сколь угодно точно приблизить с помощью трехслойной сети. При этом правда, мы не знаем ни размеров се­ти, которая для этого потребуется, ни значений весов. Более того, из доказа­тельства этих результатов видно, что число скрытых элементов неограни­ченно возрастает при увеличении точности приближения. Сети с прямой связью, действительно, могут служить универсальным средством для ап­проксимации, но нет никакого правила, позволяющего найти оптимальную топологию сети для данной задачи.

Таким образом, задача построения нейронной сети является нетривиальной. Вопросы о том, сколько нужно взять скрытых слоев, сколько элементов в каждом из них, сколько связей и какие обучающие параметры, в имеющей­ся литературе, как правило, трактуются облегченно.

13.2. Алгоритмы обучения нейронных сетей

На этапе обучения происходит вычисление синаптических коэффициентов в процессе решения нейронной сетью задач (классификации, предсказания временных рядов и др.), в которых нужный ответ определяется не по прави­лам, а с помощью примеров, сгруппированных в обучающие множества. Та­кое множество состоит из ряда примеров с указанным для каждого из них зна­чением выходного параметра, которое было бы желательно получить. Дейст­вия, которые при этом происходят, можно назвать контролируемым обучени­ем: «учитель» подает на вход сети вектор исходных данных, а на выходной узел сообщает желаемое значение результата вычислений. Контролируемое обучение нейронной сети можно рассматривать как решение оптимизацион­ной задачи. Ее целью является минимизация функции ошибок, или невязки, она данном множестве примеров путем выбора значений весов W