Классификация нейронных сетей
В зависимости от различных характеристик нейронные сети можно классифицировать по-разному [2]:
1. По типу входной информации различают:
а) аналоговые нейронные сети, использующие в качестве исходных данных действительные числа;
б) дискретные сети, оперирующие с данными, представленными в двоичной системе счисления.
2. По характеру обучения различают сети:
а) с учителем, когда известно выходное пространство решений нейронной сети;
б) без учителя, когда сеть формирует выходное пространство решений только на основе векторов входа. Такие сети называются самоорганизующимися.
3. По характеру настройки связей различают:
а) сети с фиксированными связями, когда весовые коэффициенты сети выбираются сразу из условия задачи;
б) сети с динамическими связями, для которых настройка связей осуществляется в процессе обучения.
4. По направлению информационных потоков различают:
а) сети прямой передачи сигнала (feed-forward), в которых информация распространяется от слоя к слою (рис. 17):
Рис.. Схема сети прямой передачи сигнала,
W – матрица весов, F – оператор нелинейного преобразования сети
б) сети с обратным распространением информации (feed-back), характеризующиеся как прямым, так и обратным распространением данных между слоями сети. К таким сетям относятся релаксационные и многослойные сети, в которых процесс релаксации отсутствует.
Релаксационные сети – это сети, в которых обработка данных осуществляется до тех пор, пока не перестанут изменяться выходные значения сети (при заданной точности), это состояние называют состоянием равновесия. К таким сетям относятся сети Хопфилда, двунаправленная ассоциативная память. Сеть Хопфилда характеризуется единичной обратной связью (рис. 18).
Рис.. Схема сети Хопфилда
Двунаправленная ассоциативная память представляется структурой с неединичной обратной связью (рис. 19).
Рис.. Схема двунаправленной ассоциативной памяти
Нерелаксационные многослойные сети базируются на многослойных персептронах, а в основе их обучения лежит метод обратного распространения ошибки. Они делятся на рекуррентные (рис. 20) и рециркуляционные сети (рис. 21).
К рециркуляционным сетям относятся сети Елмана, применяемые для обработки временных рядов.
Рис.. Схема рекуррентной сети
Рис. Схема рециркуляционной нейронной сети
В рекуррентных нейронных сетях выходные значения определяются в зависимости как от входных, так и предшествующих выходных значений сети. Рециркуляционные нейронные сети характеризуются как прямым, так и обратным преобразованием информации, а обучение осуществляется без учителя (сети, самоорганизующиеся в процессе работы). К самоорганизующимся в процессе работы сетям относятся также сети встречного распространения.
5. По методам обучения различают:
а) сети, обучающиеся по методу обратного распространения ошибки;
б) сети с конкурентным обучением;
в) сети, самоорганизующиеся в процессе работы.
Рассмотрим алгоритмы обучения, а также особенности организации и функционирования многослойных нейронных сетей.