Виды функций активации
Вид функции активации во многом определяет функциональные возможности нейронной сети. В таблице приведены некоторые виды функций активации, применяемые при конструировании нейронных сетей.
№ п/п |
Название |
Формула |
Область применения |
1 |
линейная |
|
(-∞; +∞) |
2 |
полулинейная |
|
(0; +∞) |
3 |
логистическая (сигмоидальная) |
|
(0; 1) |
4 |
гиперболический тангенс |
|
(-1; 1) |
5 |
экспоненциальная |
|
(0; +∞) |
7 |
пороговая |
|
(-1; 1) |
8 |
линейная с насыщением |
|
(-1; 1) |
Классификация нейронных сетей
Классификация нейронных сетей по виду топологии (по виду распространения сигнала в процессе функционирования НС):
Под топологией нейронной сети понимается графическая иллюстрация соединения нейронов между собой в этой сети.
|
Однослойная НС (персептрон) |
Многослойная НС |
НС с прямыми связями |
|
|
НС с перекрёстными связями. |
NONE |
|
НС с обратными связями (рекуррентные). |
|
|
НС с латеральными связями (с латеральным торможением) |
NONE |
|
В нейронных сетях с перекрёстными связями обеспечивается более тонкое влияние каждого из слоёв на выход сети. Структура является более оптимальной (минимизированной) по сравнению с НС с последовательными связями, что увеличивает скорость работы сети.
Рекуррентные нейронные сети используются для моделирования динамических процессов.
Классификация нейронных сетей по типу связи:
Полносвязные нейронные сети:
Нейронные сети с последовательными связями:
Слабосвязанные структуры:
а) прямоугольная б) гексагональная???
Классификация нейронных сетей по способу решения задачи:
Формируемые сети: проектируются для формализуемых задач, имеющих чётко сформулированный в нейросетевом базисе алгоритм решения конкретной задачи.
Сети с формируемой матрицей связей: применяются для трудно формализуемых задач. Как правило, имеют одинаковую структуру и различаются лишь матрицей связей (сеть Хопфилда). Достоинство: наглядность в работе.
Обучаемые сети: используются для решения неформализуемых задач. В процессе обучения сети автоматически изменяются такие её параметры, как коэффициенты синаптической связи, а в некоторых случаях и топология. Недостаток: большое время обучения сети.
Комбинированные (смешанные) сети: сочетают в себе признаки двух, а то и трёх видов. Как правило, сети многослойные, каждый слой которых представляется различной топологией и обучается по определённому алгоритму. Получают наибольшее распространение, так как дают широкие возможности разработчику.