Обучение с учителем.

Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход (решение задачи). Вместе он называются обучающей парой. Обычно сеть обучается на некотором числе таких обучающих пар.

Когда в сети один слой, алгоритм ее обучения с учителем довольно очевиден, так как правильные выходные состояния нейронов единственного слоя заведомо известны, и подстройка синаптических связей идет в направлении, минимизирующем ошибку на выходе сети.

В многослойных сетях оптимальные выходные значения нейронов всех слоев, кроме последнего, как правило, не известны, и двух или более слойную НС уже невозможно обучить, руководствуясь только величинами ошибок на выходах сети. Один из вариантов решения этой проблемы – разработка наборов выходных сигналов, соответствующих входным, для каждого слоя НС, что конечно является трудоемкой операцией и не всегда осуществимо. Второй вариант – динамическая подстройка весовых коэффициентов синапсов, в ходе которой выбираются наиболее слабые связи, которые изменяются на малую величину в ту или другую сторону. Сохраняются же только те изменения, которые повлекли уменьшение ошибки на выходе сети. Очевидно, что данный метод «проб» требует громоздких рутинных вычислений.

Третий более приемлемый вариант – распространение сигналов ошибки от выходов НС к ее входам, в направлении обратном прямому распространению сигналов в обычном режиме работы. Этот алгоритм обучения НС получил название процедуры обратного распространения и является наиболее широко распространенным.

Обучение без учителя.

Обучение без учителя является более правдоподобной моделью обучения в биологической системе. Процесс обучения, как и в случае обучения с учителем, заключается в подстраивании весов синапсов. Некоторые алгоритмы предусматривают изменение и структуры сети, т.е. количества нейронов и их взаимосвязи, такие преобразования называют – самоорганизацией. Очевидно, что подстройка синапсов может проводиться только на основании информации, доступной нейрону, то есть его состояния и уже имеющихся весовых коэффициентов. Исходя из этого соображения и по аналогии с известными принципами самоорганизации нервных клеток, построены алгоритмы обучения Хебба. Существуют и другие алгоритмы обучения НС без учителя: обучение методом соревнования, проекции Саммона, анализ главных компонентов.