8.3.1. Елементи нейронних мереж

Штучний нейрон (формальний нейрон) – елемент штучних ней­ронних мереж, що моделює певні функції біологічного нейрона.

Головна функція штучного нейрона – формувати вихідний сигнал залежно від сигналів, які надходять на його входи.

У найпоширенішій конфігурації вхідні сигнали обробляються адап­тивним суматором, потім вихідний сигнал суматора надходить до не­лінійного перетворювача, де він перетвориться функцією активації, а результат буде подано на вихід (у точку галуження). Загальний вигляд штучного нейрона показано на рис. 4.4.

Нейрон характеризується поточним станом і має групу синапсів – однонаправлених вхідних зв’язків, сполучених з виходами інших ней­ронів.

Нейрон має аксон – вихідний зв’язок даного нейрона, з якого сиг­нал (збудження або гальмування) надходить на синапси наступних ней­ронів. Кожен синапс характеризується величиною синаптичного зв’язку (її вагою w_i). Поточний стан нейрона визначається як зважена сума його входів:

Виходом нейрона є функція його стану:

y = f(s).

Активаційна функція, яку ще називають характеристичною функ­цією, – це нелінійна функція, що обчислює вихідний сигнал фор­маль­ного нейрона.

Рис. 4.4. Штучний нейрон

Активаційні функції, які використовуються найчастіше:

• жорстка порогова функція;

• лінійний поріг;

• сигмоїдальна функція.

Вибір активаційної функції визначається специфікою поставленої задачі або обмеженнями, що накладаються, певними алгоритмами нав­чання.

Нелінійний перетворювач – це елемент штучного нейрона, що пе­ретворює поточний стан нейрона (вихідний сигнал адаптивного сума­тора) у вихідний сигнал нейрона за певним нелінійним законом (ак­тиваційної функції).

Точка галуження (вихід) – це елемент формального нейрона, що посилає його вихідний сигнал за декількома адресами і має один вхід та декілька виходів. На вхід точки галуження зазвичай подається ви­хідний сигнал нелінійного перетворювача, який потім посилається на входи інших нейронів.

8.3.2. Архітектура нейронних мереж

Нейронні мережі можуть бути синхронними і асинхронними. В синхронних нейронних мережах у кожен момент часу свій стан змінює лише один нейрон. В асинхронних – стан змінюється відразу в цілої групи нейронів, як правило – в усього шару.

Можна виділити дві базові архітектури – шаруваті та повнозв’язні мережі. Ключовим у шаруватих мережах є поняття шару. Шар – один або декілька нейронів, на входи яких подається один і той же за­галь­ний сигнал.

Шаруваті нейронні мережі – нейронні мережі, в яких нейрони роз­биті на окремі групи (шари) так, що обробка інформації здійснюється пошарово.

У шаруватих мережах нейрони i-го шару отримують вхідні сигна­ли, перетвоюють їх і через точки галуження передають нейронам (i + 1) шару. І так до k-го шару, який видає вихідні сигнали для інтер­пре­татора і користувача. Число нейронів у кожному шарі не пов’язане з кількістю нейронів в інших шарах і може бути довільним.

У межах одного шару дані обробляються паралельно, а в мас­шта­бах всієї мережі обробка здійснюється послідовно – від шару до шару. До шаруватих нейронних мереж належать, наприклад, багатошарові персептрони, мережі радіальних базисних функцій, когнитрон, неког­нитрон, мережі асоціативної пам’яті.

Проте сигнал не завжди подається на всі нейрони шару. В когни­троні, наприклад, кожен нейрон поточного шару отримує сигнали тільки від близьких йому нейронів попереднього шару.

Шаруваті мережі, у свою чергу, можуть бути одношаровими і ба­гатошаровими.

Одношарова мережа – мережа, що складається з одного шару.

Багатошарова мережа – мережа, що має декілька шарів.

У багатошаровій мережі перший шар називається вхідним, по­даль­ші – внутрішніми або прихованими, останній шар – вихідним. Отже, проміжні шари – це всі шари в багатошаровій нейронній мережі, крім вхідного і вихідного.

Вхідний шар мережі реалізовує зв’язок з вхідними даними, ви­хід­ний – з вихідними. Таким чином, нейрони можуть бути вхідними, вихідними і прихованими. Вхідний шар організований з вхідних ней­ронів (input neuron), які отримують дані та поширюють їх на входи нейронів прихованого шару мережі. Прихований нейрон (hidden neuron) – це нейрон, що знаходиться в прихованому шарі нейронної мережі. Вихідні нейрони (output neuron), з яких організований ви­хід­ний шар мережі, видає результати роботи нейронної мережі.

У повнозв’язних мережах кожен нейрон передає свій вихідний сигнал решті нейронів, включаючи самого себе. Вихідними сигналами мережі можуть бути всі або деякі вихідні сигнали нейронів після де­кількох тактів функціонування мережі. Всі вхідні сигнали подаються всім нейронам.