9.4.5. Архітектура нейромереж

У процесі розроблення нейромереж автори наділяють штучні нейрони різноманітними властивостями з тим, щоб комп'ютерні нейромережі адекватно відображали можливості біологічних нейромереж стосовно розв'язання певного типу про­блем, що зумовило появу великого різноманіття підходів до ал­горитмів нейромереж, зокрема штучні нейрони можуть бути з різ­ними передавальними функціями, з різними функціями стану, двійковими, цілочисельними, дійсними та іншими числовими значеннями входів і ваг. Тому в термінах нейронних мереж мож­на описувати алгоритми розв'язання як добре формалізованих задач, наприклад задач математичної фізики, так і задач розпізна­вання, що погано формалізуються, класифікації, узагальнення і асоціативного запам'ятовування.

Мережі можуть бути такими, що конструюються або що на­вчаються. У мережі, що конструюється, кількість і тип нейро­нів, граф міжнейронних зв'язків, ваги входів нейронів визнача­ються за створення мережі, виходячи із задачі, що розв'язується. Наприклад, за конструювання мережі Хопфілда, що функціонує як асоціативна пам'ять, кожна вхідна послідовність із заздалегідь визначеного певного ряду бере участь у визначенні ваги входів нейронів мережі. Після етапу конструювання функціонування мережі полягає в наступному. За подачі на входи часткової або помилкової вхідної послідовності мережа через якийсь час пере­ходить в один зі стійких станів, передбачених за її конструюван­ня. При цьому на входах мережі з'являється послідовність, що визнається мережею як найближча до спочатку поданої. Кіль­кість вхідних послідовностей — М, що запам'ятовуються, пов'язана з кількістю нейронів у мережі співвідношенням: M<N/41ogN, де N — кількість нейронів.

У мережах, що навчаються, графи міжнейронних зв'язків і ва­ги входів змінюються за виконання алгоритму навчання. За алго-

429

ритмом навчання мережі поділяться на ті, що спостерігаються, ті що не спостерігаються і змішані (комбіновані). Перші у разі на­вчання порівнюють заздалегідь відоме значення виходу із фактич­ним вихідним значенням. Якщо відмінність між виходом мережі і відомим значенням суттєва, то виконується корегування ваг ме­режі. Такий алгоритм називається зворотним розповсюдженням {Back Propagation) помилки в зворотному напрямку по мережі.

Другі навчаються, не знаючи заздалегідь правильних вихідних значень, але групуючи «близькі» вхідні вектори так, щоб вони формували той самий вихід мережі. Навчання, що не спостеріга­ється, використовується, зокрема, для розв'язання задач класте-ризації. За змішаного алгоритму навчання частина ваг визнача­ється методом навчання, що спостерігається, а решта — за навчання, що не спостерігається.

На даний час використовується кілька типів архітектур ней-ромереж. Найчастіше в дейтамайнінгу використовується бага­тошаровий персептрон, як об'єднання простих нейронів у бага­тошарову штучну нейромережу. Всередині кожного ввідні вер­шини з'єднуються з вивідними вершинами через один або більше невидимих шарів (рівнів). Ввідні вершини графа нейромережі утворюють нейрони вхідного рівня, які за аналогією з біологіч­ною нейромережею назвемо рецепторними нейронами (або прос­то — рецепторами), а вихідні вершини утворюють вершини ви­хідного рівня — ефекторні нейрони (ефектори).

Найбільшу популярність отримали трьохшарові персептрони, що включають вхідний рівень, кількість нейронів якого дорівнює кількості параметрів, що вводяться в нейромережу (наприклад, за прогнозування це число спостережень у певному ряді даних), ви­хідний рівень, кількість нейронів якого дорівнює кількості пока­зників на виході (якщо прогнозуємо скалярну величину, то це одиниця) та середній (внутрішній) рівень (приховані, невидимі нейрони).

Кількість прихованих нейронів може бути довільною, проте є обґрунтовані рекомендації щодо вибору даного числа: кількість нейронів внутрішнього рівня має дорівнювати півсумі кількостей вхідних і вихідних нейронів. Кожний внутрішній нейрон має бу­ти зв'язаним з виходами всіх вхідних нейронів, а кожний вихід­ний нейрон — з виходами всіх нейронів внутрішнього шару.

У практиці дейтамайнінгу використовуються й інші типи ней-ромереж, зокрема, ймовірнісні нейромережі PPN (Probabilistic Neural Network), докладні описи яких можна знайти у спеціальній літературі.

430