Статичні одно- та багатошаровінейроннімережі.
Одношарові штучні нейронні мережі
Хоч один нейрон і здатний виконувати найпростіші процедури розпізнавання, сила нейронних обчислень виникає від з'єднань нейронів в мережах. Найпростіша мережа складається з групи нейронів, що створюють прошарок, як показано в правій частині рис. Зазначимо, що вершини-кола зліва служать лише для розподілу вхідних сигналів. Вони не виконують ніяких обчислень, і тому не будуть вважатися прошарком. З цієї причини вони позначені колами, щоб відрізняти їх від обчислювальних нейронів, позначених квадратами. Кожний елемент з множини входів Х окремою вагою сполучений з кожним штучним нейроном. А кожний нейрон видає зважену суму входів в мережу. У штучних і біологічних мережах багато які з'єднання можуть бути відсутнім, всі з'єднання показані з метою спільності. Можуть мати місце також з'єднання між виходами і входами елементів в шарі. Такі конфігурації розглядаються в розділі 6.
Зручно вважати ваги елементами матриці W. Матриця має m рядків і n стовпців, де m - число входів, а n - число нейронів. Наприклад, w23 - це вага, що зв'язує третій вхід з другим нейроном. Таким чином, обчислення вихідного вектора N, компонентами якого є виходи OUT нейронів, зводиться до матричного множення N = XW, де N і Х - вектори-рядки.
Багатошарові штучні нейронні мережі
Більш великі і складні нейронні мережі мають, як правило, і великі обчислювальні можливості. Хоч створені мережі всіх конфігурацій, які тільки можна собі представити, пошарова організація нейронів копіює прошаркові структури певних відділів мозку. Виявилося, що такі багатошарові мережі володіють більшими можливостями, і в останні роки були розроблені алгоритми для їх навчання.
Багатошарові мережі можуть утворюватися каскадами прошарків. Вихід одного прошарку є входом для подальшого прошарку.
Нейромережі з радіально-базовимифункціямиактивації.
Искусственные нейронные сети, использующие в качестве активационных функций радиально-базисные функции (такие сети сокращённо называются RBF-сетями).
Мережі з радіальними базисними функціями
Є представником класу мереж прямого поширення.
Мотивуються математичними проблемами апроксимації.
Також застосовуються для моделювання/передбачення локальніх залежностей.
В найпростішому випадку 3 шари:
1. Вхідний - кількість елементів шару дорівнює розмірності
вхідного простору ознак. Кожен нейрон першого шару зв'язується з усіма нейронами наступного шару.
2. Схований (радіальний) - функція стану визначає відсань вхідного вектора від вагових коефіцієнтів:
Функція активації є функцією з локалною поведінкою (відрізняється від о на обмеженій ділянці)
Общий вид радиально-базисной функции:
,
например, 
где x — вектор входных сигналов нейрона, σ — ширина окна функции, φ(y) — убывающая функция (чаще всего, равная нулю вне некоторого отрезка).
3. Вихідний - утворюється сигма-елементами з лінійною функцією активації.
Задача апроксимації функції з використанням мереж RBF
Недолік - наявність провалів
Перевага - швидкість навчання
Недоліки:
ресурсоємність
для моделювання функції, вона повинна мати на всьому діапазоні функці, яку намагаються апроксимувати