x2 |
x1 |
W1 |
W0 |
W(0)= (2,-3); X(0)= (- 3,-3);
Y=1;
S=0
W(1)= (3,-2)
Рис. 7. Обучение нейрона по дельта-правилу
В случае нормализации векторов W и X геометрическая интерпретация процесса обучения согласно дельта-правилу, заключается в подстройке направления вектора W в направлении некоторого эталонного вектора W.
W |
W |
W(1)
W(0)
Рис. 8. Геометрическая интерпретация задачи, решаемой нейроном
Нейронная сеть. Слой, типология слоёв. Типология нейронных сетей. Основные классы задач, решаемых нейронными сетями.
Объединенные между собой, связанные структурно, нейроны образуют систему, которая называется искусственной нейронной сетью. По своей организации и функциональному назначению искусственная нейронная сеть с несколькими входами и выходами выполняет некоторое преобразование входных стимулов – сенсорной информации о внешнем мире – в выходные управляющие сигналы. Число преобразуемых стимулов равно n – числу входов сети, а число выходных сигналов соответствует числу выходов m. Совокупность всевозможных входных векторов размерности n образует векторное пространство X. Аналогично, выходные вектора также формируют векторное пространство Y. Таким образом нейронная сеть задаёт некоторую многомерную функцию F: X → Y , аргумент которой принадлежит пространству X входов, а значение – выходному пространству Y. При произвольном значении синаптических весовых коэффициентов нейронов сети функция, реализуемая сетью также произвольна. Для получения требуемой функции необходим специфический выбор весов. Упорядоченная совокупность всех весовых коэффициентов всех нейронов может быть представлена, как вектор W. Множество всех таких векторов также формирует векторное пространство W.
Нейроны в сети организуется в слои. Слоем нейронной сети называется множество узлов нейронной сети, нейронов, которые могут обрабатывать один и тот же сигнал (приходящий из одного источника) одновременно. Поэтому
расположенные на одном слое нейроны функционируют независимо друг от друга (параллельно). Обычно на изображениях нейроны одного слоя расположенные в одной плоскости.
Многослойные сети могут образовываться каскадами слоев. Выход одного слоя является входом для последующего слоя. Многослойные сети могут привести к увеличению мощности класса решаемых задач по сравнению с однослойной сетью лишь в том случае, если активационная функция между слоями будет нелинейной.
гомогенные гетерогенные
однонаправленные |
гомогенные |
|
|
|
гетерогенные |
|
|
|
|
|
|
|
|
персептроны
двунаправленные 
рециркуляционные 
рекуррентные 
нерекуррентные
Рассмотрим типологию нейронных сетей. Сети делятся на гомогенные (содержащие однотипные нейроны) и гетерогенные. Сети только с прямым распространением информации (однонаправленные) и сети с обратным распространением информации (двунаправленные). Сети с наличием обратных связей (реккурентные) – соединений, идущих от выходов некоторого слоя к входам этого же слоя или предшествующих слоев – и с их отсутствием. У сетей без обратных связей нет памяти, их выход полностью определяется текущими входами и значениями весов. Среди двунаправленных сетей выделяют класс рециркуляционных, а среди сетей с обратными связями – класс релаксационных сетей. Такие сети обрабатывают информацию до тех пор, пока сеть не достигнет стабильного состояния, состояния релаксации. Примером релаксационной сети является сеть Хопфилда. По количеству слоёв сети делят на однослойные, двуслойные сети и т.д. Кроме того сети могут быть классифицированы по механизму их обучения либо его отсутствию (сети с фиксированными связями). Нейроны в сетях делят на рецепторы эффекторы и нейроны скрытых слоёв.
задачи
классификация
образов
последовательностей
распознавание (образов)
обобщение (образов)
прогнозирование (последовательностей)
преобразование (восстановление)
выявление основных характеристик (синтез решения)