10.2. Неконтрольоване навчання мережі вк

Існує кілька підходів до навчання мережі ВК. У найпростішому, початковому варіанті під час навчання відбувалася зміна ваг тіль­ки нейрона-переможця відповідно до правила

тут а – коефіцієнт навчання.

Якщо сума ваг для кожного нейрона є величиною постійною й , а вхідні вектори нормалізовані|, то, як показав Когонен, час визначення нейрона-переможця може бути скорочено. При цьому нейрон-переможець с визначається шляхом мінімізації евклідової норми

aбо

При виконанні зазначених вище умов щодо норм вхідних і ва­гових векторів

величина

може використовувався як критерій подібності образів х й

У дискретному випадку при поданні на кожному такті навчан­ня нового вхідного образу відбувається корекція ваг нейрона-пере­можця за формулою

Як і в (10.3), коефіцієнт навчання a може бути обраний постій­ним або зменшуваним у процесі навчання. Як випливає з (10.8), вектор ваг нейрона-переможця зміщується в напрямку вектора вхідного образух. Процес корекції ваг цього нейрона зображено на рис. 10.3.

При векторкорегується на величину і має нове розміщення. Видно, що навчання поля­гає в обертанні вагового вектора в напрямку вектора входівх(k) без істотної зміни його довжини.

Процес, відображений виразами (10.4), (10.5) і (10.8), описує послідовну корекцію векторів вагових коефіцієнтів, які в асимптотиці забезпечують практично оптимальне розбивання просто­ру вхідних образів на кластери. Оптимальність тут розуміється в тому значенні, що внаслідок віднесення поданого образу до най­ближчого опорного представника при даному розбиванні кількість неправильно класифікованих образів буде мінімальною.

Рис. 10.3. Корекція ваг нейрона-переможця

Основним недоліком цього виду навчання є те, що якщо по­чаткові розподіли векторів ваг і вхідних образів не є приблизно однаковими, то може виникнути ситуація, коли деякі з нейронів ніколи не стануть переможцями, тобто їхні вектори ваг не змінюва­тимуться. Для виключення подібної ситуації в алгоритм навчання вводять деякий механізм «пам’яті», що штрафує часто кореговані ваги нейронів-переможців. Як алгоритм навчання з «пам’яттю» може бути використаний, наприклад, такий:

де

= — коефіцієнт штрафу;

— часовий інтервал, на якому і-й нейрон є переможцем

;

b є (0,1] — постійний параметр;

с — постійний параметр, що впливає на величину штрафу.

Цей алгоритм навчання є більш ефективним, ніж (10.8). Однак сьогодні значного поширення отримали алгоритми корекції пара­метрів, в основі яких лежить контрольоване навчання.

10.3. Контрольоване навчання мережі вк

Основною відмінністю контрольованого навчання мережі ВК (Learning Vector Quantization, LVQ) від розглянутого вище є ви­користання для кожного вхідного образу x бажаного відповідного вихідного сигналу. Цей вид навчання реалізується різними спо­собами.

10.3.1. Lvq1

Як і в описаному вище методі, переможцем у мережі є той ней­рон, вектор ваг якого найближчий до вхідного образу х, тобто нейрон с визначається як

Значення всіх ваг що мінімізують помилку класифікації, обчислюютьсяLVQ1-методом асимптотично. При цьому корекція ваг відбувається за правилом

де є (0, 1]. Параметрможе залишатися постійним або мо­нотонно зменшуватися.

Таким чином, вектор ваг нейрона-переможця и)_с, що найближ­че розташований до поданого вхідного вектора, зміщується в на­прямку останнього, якщо вхідний вектор відноситься до одного з ним класу, і віддаляється від нього в іншому випадку. Ваги інших нейронів не змінюються. Зміну ваг нейрона Когонена зобра­жено на рис. 10.4. На рис. 10.4, а наведено випадок, коли вектори івідносяться до одного класу, на рис. 10.4,б — до різ­ного.

Приклад 10.1. Розглянемо роботу методу LVQ1 на прикладі на­вчання мережі, що складається з двох нейронів і класифікує вісім векторів, які відносяться до двох різних класів:

Рис. 10.4. Зміна ваг нейронів Когонена

Як початкові значення векторів ваг й, асоційованих із класами 1 й 2, приймемо відповідно векториіНавчання мережі здійснюватимемо за алгоритмом (10.10) з а = 0,1.

Розглянемо перший цикл навчання.

При надходженні вектора (з урахуванням того, що0) =й(0) =) маємо

Оскільки переможцем виявився перший нейрон, то настроюємо його ваги, беручи до уваги, що відноситься до класу 1, тобто

При надходженні вектора маємо

Тому корегуємо ваги (0) з урахуванням того, що (0) і відносяться до різних класів

Аналогічно отримуємо для :

для :

для :

для :

Перший цикл навчання завершено. Отримані значення векто­рів ваг

призводять до того, що мережа відносить до другого класу, а — до першого. Продовжуючи навчання мережі, робимо висновок, що правильна класифікація буде досягнута після 12 циклу. При цьому

Після 500 циклів навчання з a = 0,1 отримаємо такі значення шуканих векторів ваг:

Неважко перевірити, що при даних вагах всі подані мережі век­тори будуть класифіковані правильно.