Радіально-базисні нейронні мережі

Мета роботи – вивчити модель радіально-базисної мережі та методи її навчання; порівняти радіально-базисну мережу з багатошаровим персептроном за швидкістю навчання і точностю класифікації; ознайомитися з програмними продуктами, що моделюють радіально-базисні мережі.

1 Короткі теоретичні відомості

Радіально-базисна НМ (РБНМ) складається з двох шарів. Сполучні вагові вектори шарів будемо позначати w^(μ,j), де μ – номер шару (μ = 1, 2), j – номер нейрона (вузла) у шарі.

Базисні (або ядерні) функції в першому шарі виробляють локалізовану реакцію на вхідний стимул. Вихідні вузли мережі формують зважену лінійну комбінацію з базисних функцій, обчислених вузлами першого шару.

Вихідні вузли відповідають вихідним класам, у той час, як вузли першого шару представляють собою кластери (кількість кластерів m задається користувачем), на які розбивається вхідний простір. Позначимо x = (x₁, ..., x_i, ..., x_N) і y = (y₁, ..., y_i, ..., y_K) – вхід і вихід мережі, відповідно. Тут N – кількість ознак, а K – число класів.

Вихід u_j j-го вузла першого шару, використовуючи ядерну функцію Гауссіан як базисну, визначається за формулою:

, j=1, 2, ..., m,

де x – вхідний образ (екземпляр);

w^(1,j) – його вхідний ваговий вектор (тобто центр Гауссіана для вузла j);

σ²_j – параметр нормалізації j-го вузла, такий що 0 < u_j < 1 (чим ближче вхід до центра Гауссіана, тим сильніше реакція вузла).

Вихід y_j j-го вузла другого шару визначається з виразу:

y_j = w^(2,j)Tu, j =1, 2, ..., K;

де w^(2,j) – ваговий вектор для j-го вузла другого шару і u – вектор виходів першого шару.

Мережа виконує лінійну комбінацію нелінійних базисних функцій.

Задача навчання мережі складається в мінімізації помилки:

,

де y^s*_j і y^s_j – бажане і розрахункове значення виходу j-го вузла вихідного шару для s-го екземпляра; S – розмір набору даних (кількість екземплярів); K – число вихідних вузлів (число класів). Далі для наочності верхній індекс s опущений.

Навчання РБНМ може виконуватися двома різними способами.

Перший спосіб полягає в тому, що алгоритмом кластеризації формується фіксована множина центрів кластерів. Потім мінімізацією квадратичної помилки, тобто мінімізацією E, одержують асоціації центрів кластерів з виходом.

Другий спосіб полягає в тому, що центри кластерів можуть бути також навчені поряд з вагами від першого шару до вихідного шару методом градієнтного спуска. Однак, навчання центрів поряд з вагами може привести до влучення мережі в локальні мінімуми.

Нехай центри кластерів будуть позначені w^(1,j), j = 1, ..., m. Параметр нормалізації σ_j представляє міру розподілу даних, що асоціюються з кожним вузлом.

Навчання у вихідному шарі виконується після того, як визначені параметри базисних функцій. Ваги звичайно навчають, використовуючи алгоритм середньоквадратичних відхилень:

,

де e_j = y_j – y*_j; η – коефіцієнт швидкості (крок) навчання.

2 Домашнє завдання

Використовуючи конспект лекцій і рекомендовану літературу, вивчити модель радіально-базисної мережі та алгоритми її навчання.

Використовуючи документацію рекомендованого викладачем програмного засобу, вивчити його архітектуру і компоненти, призначені для моделювання і навчання РБНМ, вводу і виводу даних, підготовки звітів (виводу і відображення результатів роботи).

Ознайомитися зі складом і порядком виконання роботи.