7. Функция активации. Виды нейронных сетей. Функция активации.

Особенности структуры НС составляют:

1. вид связей,

2. функции активации,

3. постсинаптические элементы:

• Линейный элемент вычисляет взвешенную сумму входов, что эквивалентно скалярному произведению векторов входов и весов, и сравнивает результат с порогом. Линейные ПСЭ раз­деляют пространство образцов с помощью пересекающихся гиперплоскостей.

• Нелинейный элемент;

• Радиальный элемент вычисляют квадрат расстояния между 2 точками пространства, представляющими вектор весов и входов. Радиальные ПСЭ эквивалентны гиперсферам в про­странстве образцов.

• Элемент деления специально разработаны исключительно для сетей регрессии. Сегодня многослойный перцептрон (МП) — это самая популярная архитектура, которая имеет ли­нейные ПСЭ и нелинейные ФА.

Функция активации	Формула функции активации	Комментарий
Линейная		Сигнал проходит без преоб­разования непосредственно на выход
Логистическая		S-образная кривая с выходом в диапазоне [0,1]
Гиперболическая		Гиперболический тангенс (tank): кривая, подобная логистической функции, но с диапазоном [-1, +1]
Экспонента		Гауссовская колоколообразная кривая
Мягкий максимум		Нормализованная экспонен­циальная функция
Квадратный корень		Используется для преобразо­вания квадрата расстояния в сетях Кохонена в расстояние на выходе
Синус		Используется вместе с РБФ
Кусочно-линейная	Нет	Кусочно-линейная аппрок­симация сигмоиды
Пороговая	Нет	Выход 1,0 или 0,0 в зависимости от результата

Виды нейронных сетей.

Классификация нейронных сетей связана с характером передачи сигнала, т.е. с наличием или отсутствием обратных связей. Среди нейронных сетей разделяют сети с прямым распределением сигнала и сети с обратными связями.

1. Сети прямого распространения сигнала называют слоистыми сетями или персептронами (от англ. perception – восприятие).

Персептроновым слоем называют не совокупность нейронов, а совокупность связей одного уровня.

Перцептрон – математическая модель фрагмента нейронной системы головного мозга, осуществляющего восприятие внешнего объекта. Первые перцептроны создавались как модель искусственного глаза. В настоящее время перцептрон представляет собой многослойную нейронную сеть прямого распространения сигнала, способную к обучению.

2. Сети с обратными связями или сети прямого и обратного распространения сигнала. Для сетей с обратными связями моделирование прохождения сигнала осложняется тем, что необходимо учитывать возврат сигнала. Обычно такое моделирование требует введение внутреннего времени (внутренних тактов срабатывания).

Виды нейронных сетей