Алгоритм нейронної мережі Кохонена.

1. Ініціалізація мережі. Ваговим коефіцієнтам мережі надаються малі випадкові значення. Початкова зона сусідства показана на рис. 4.2.

2. Пред'явлення мережі нового вхідного сигналу.

3. Обчислення відстані до всіх нейронів мережі:

Відстані d_j від вхідного сигналу до кожного нейрона j визначаються за формулою:

де x_i - i-ий елемент вхідного сигналу в момент часу t, w_ij(t) - вага зв'язку від i-го елемента вхідного сигналу до нейрона j у момент часу t.

4. Вибрати нейрон з найменшою відстанню:

Вибирається нейрон-переможець j^*, для якого відстань d_j найменше.

5. Налаштування ваг нейрона j^* і його сусідів:

Здійснити налаштування ваг для нейрона j^* і всіх нейронів з його околу NE. Нові значення ваг:

де r(t) - швидкість навчання, що зменшується з часом (додатне число, менше одиниці).

6. Повернення до кроку 2.

Тема 9. Нейронна мережа art. Теорія адаптивного резонансу.

Теорія адаптивного резонансу. Мабуть, одна із самих розвитих і продуманих з біологічної точки зору концепцій нейромережної обробки інформації запропонована в роботах Гроссберга. Її стержень є модель нейроної мережі й алгоритми теорії адаптивного резонансу, що була розроблена на початку 70-х років.

Нейромережна система теорії адаптивного резонансу здатна самонавчатися розпізнаванню образів різного ступеня складності. Вона відносить вхідний образ до одного з класів у залежності від того, на який із запам’ятованих образів він більш усього схожий. Якщо вхідний образ не відповідає жодному з запам’ятованих, створюється новий клас шляхом його запам'ятовування. Якщо знайдений образ, з визначеним «допуском» відповідний вхідному, то він модифікується так, щоб стати ще більше схожим на вхідний.

І снуючі варіанти системи дозволяють працювати як з бінарними, так і з безупинними вхідними образами. Розглянемо структуру і функціонування моделі, що оперує бінарними вхідними сигналами і складається з двох підсистем: уваги й орієнтації (Рисунок 1.14).

Рисунок 1.14

Основою підсистеми уваги є два нейроних поля: F1 і F2. Поля з'єднані матрицею зв'язків М, що містить сліди адаптивної довгострокової пам’яті (ДВП). Активність нейронів полів F1 і F2 є аналогом короткочасної пам'яті (КВП). Підсистема орієнтації при розбіжності вхідного образа з паттерном активності в КВП F1 генерує сигнал, що приводить до довгострокового гальмування нейронів, що у цей момент були активні в F2. Таке гальмування тримається доти, поки не відбудеться зміна вхідного образа. Розглянемо більш докладне функціонування цих підсистем, а також інших частин схеми, що керують процесами в КВП і ДВП, на прикладі обробки системою деякого вхідного образа I.

Передбачається, що вхідний образ надходить на поле F1 з виходу деякої системи передобробки. Його наявність приводить до генерації сигналу керування посиленням G, що підзбуджує усі нейрони поля F1. Для поля F1 діє правило «2 із З», відповідно до якого нейрон стає активним тільки тоді, коли він підзбуджується одночасно сигналами від двох джерел. Тому після подачі вхідного образа в КВП F1 з'явиться паттерн активних нейронів X, що збігається з I. Через ідентичність I і Х підсистемою орієнтації не генерується сигнал гальмування КВП F2.

При проходженні Х по зв'язках т_ij здійснюється його трансформація у вхідний вектор S поля F2, кожен компонент якого являє собою зважену слідами ДВП суму компонент Х (3.1). Між нейронами F2 існує взаємодія, що приводить до посилення контрасту S, у результаті чого в КВП F2 утвориться новий паттерн Y, що складається в найпростішому випадку з одного збудженого нейрона на місці максимального компонента S. Така обробка паттерна Х відповідає процесу формування «пухирця» вихідної активності в картах ознак Кохонена (п. 1.4.3, підп. 1) для випадку, коли пухирець зосереджений в одному нейроні. Більш складна структура F2, де вхідний образ може активувати декілька нейроних груп, і її функції розглянуті в.

Активований у КВП F2 паттерн Y являє собою гіпотезу системи щодо того, на який з відомих систем і закодованих у слідах ДВП класів більш усього схожий вхідний образ I. Паттерн Y зчитує зверху вниз через зв'язки m_ji паттерн-шаблон V. Останній являє собою декодований слід пам'яті, що відповідає еталонному образу класу, до якого система віднесла вхідний образ I.

Тепер у поле F1 надходять два паттерна: I (знизу) і V (зверху). Наявність активності КВП F2 блокує генерацію сигналу керування посиленням G. Тому відповідно до правила «2 із З» у F1 залишаться активними тільки ті нейрони, що одержують збудження і від I, і від V. Якщо прочитаний зверху паттерн-шаблон V не відповідає вхідному паттерну I, активність КВП F1 значно гальмується. У результаті в F1 залишиться паттерн X*, що містить мало активних нейронів. Якщо відношення розміру паттернов | X* | і | I | стане менше «порога пильності» з підсистеми орієнтації, вона згенерує сигнал, що на тривалий час загальмує активні нейрони (нейрон) F2.

Це приведе до зняття еталона V, і в F1 відновиться первісний паттерн активності X. Знову пройшовши через m_ij, він уже не зможе активувати (через гальмування в F2) первісний паттерн Y. Тому в КВП F2 виникає новий паттерн Y*, що зчитує новий паттерн-еталон V*. При повторній розбіжності знову запускається підсистема орієнтації, що приводить до скидання короткочасної пам'яті в F2.

Така швидка послідовність пошуку в довгостроковій пам'яті повторюється доти, поки не наступить одна з двох подій. Або в КВП F2 активується паттерн Y, що збудить еталон, що відповідає I (ступінь подібності регулюється порогом пильності с ), або там активується новий, до цього не задіяний паттерн (нейрон) Y. В обох випадках паттерн у КВП F1 виявляється досить схожим на вхідний образ, підсистема орієнтації не генерує сигнал скидання, і стан системи стабілізується.

У стійкому стані відбувається навчання системи. Якщо процес пошуку привів до активації вже наявного еталона, навчання може рафінувати критерій допуску до нього, що міститься в т_ij, а також уточнити сам еталон (m_ji) так, що в слідах ДВП збережуться тільки загальні з вхідним образом ознаки. Якщо пошук привів до незайнятого нейрона в F2, навчання додасть до вже існуючих кодів новий еталон, що збігається з I. Таким чином, у процесі функціонування системи формуються асоційовані з нейронами F2 паттерни критичних ознак, чи прототипи, різних класів вхідних образів.

Сліди довгострокової пам'яті підкоряються правилу навчання

, (1.26)

де: x_i — вихідний сигнал нейрону в F1;

у_j — вихідний сигнал ней­рону в F2;

k=const.

Перед початком навчання вагам m_ij, присвоюються невеликі випадкові значення, а вагам m_ji,— значення, близькі до максимального. На відміну від хеббовського правила навчання (1.5) цей алгоритм включає забування (у більш складній формі, чим у Кохонена (1.23)). Унаслідок забування сліди ДВП між активними в F2 і неактивними в F1 нейронами зникають, що і приводить до їхнього уточнення вхідним образом,

Для зв'язків зверху вниз E_ij = 1, а для зв'язків знизу нагору , L = const, що забезпечує виконання правила Вебера. Це правило вимагає, щоб при навчанні знизу нагору сліди при запам'ятовуванні паттерну Х с меншою кількістю активних нейронів були більш, ніж у паттерна з великою кількістю активних нейронів, за інших рівних умов. Така залежність може бути досягнута шляхом конкуренції між слідами довгострокової пам'яті за синоптичні ресурси нейронів F2, що і описує Е_ij.

Виконання правила Вебера необхідно для того, щоб після самостабілізації процесу навчання довільні вхідні образи різного ступеня складності могли активувати індивідуально «відведені» їм нейрони поля F2. Дійсно, нехай у нас маються два вхідних образи, один із яких є підмножиною іншого. Якщо образи досить розрізняються, вони повинні бути представлені різними категоріями, тобто активувати різні нейрони в F2. Однак при запам'ятовуванні без правила Вебера величини слідів ДВП були б незалежні від розмірів вхідного образа, тому при розпізнаванні обидва образа зовсім однаково збуджували б не тільки свій, але і чужий нейрон.

У деяких роботах доведена серія теорем, що аналізує глобальну динаміку системи адаптивного резонансу. У теоремах розглянутий випадок бінарних вхідних образів і «швидкого навчання», коли сліди ДВП досягають рівноважних значень при обробці кожного вхідного образа. Показано, наприклад, що при цих умовах самостабілізується процес навчання, тобто після кінцевого числа спроб прототипи, асоційовані з кожним вузлом F2, залишаються незмінними. Після цього кожен вхідний образ безпосередньо активує прототип, з яким він має найбільшу подібність. При цьому пластичність у системі не відключається. Час, що вимагається для самостабілізації прототипів, залежить тільки від складності множини вхідних образів.

Рисунок 1.15

На рисунку 1.15 наведений приклад стабілізації прототипів при періодичному пред'явленні бінарних вхідних образів — зображень букв Е, F і С. Ліворуч приведені вхідні образи, послідовно що подані на мережу, праворуч —запамятовані еталони: активований вхідним образом еталон узятий у рамку. (Нумерація відповідає порядку подачі образів.) Спочатку ненавченій системі пред'явили зображення букви Е, і в ній запам'ятався відповідний образ. Потім була подана буква F, дуже схожа на Е, тому активувався еталон Е, система стабілізувалася, і відбулася модифікація еталона, що перетворився в F. Наступною пред'являлася буква З, досить не схожа на F, щоб сформувати новий еталон. Потім знову сформувався еталон Е, і після цього в мережі стабілізувалися еталони кожної з букв.

Історія навчання мережі визначає порядок пошуку вхідним образом свого прототипу, а рішення припинити пошук залежить від критерію подібності, що визначається порогом пильності ρ. При фіксованому порозі пильності мережа автоматично маштабує свою чутливість до образів різної складності. Якщо вхідний образ складний, то вона зневажає невеликою неузгодженістю між ним і образом-шаблоном, а якщо вхідний образ містить мало активних нейронів, то така ж розбіжність може привести до генерації сигналу скидання подсистемної орієнтації. Таке поведінка системи представлене на рисунку 1.16. Різні вхідні образи у верхній частині рисунка кодуються різними еталонами. Відмінні один від одного більш складні образи в нижній частині рисунка кодуються одним еталоном при тім же порозі пильності. Зміна порога пильності (наприклад, за результатами діяльності системи) дозволяє регулювати рівень деталізації створюваних еталонів.

Теорія адаптивного резонансу використовувалася для аналізу даних про сприйняття мови, розпізнаванні візуальних образів, кодуванні запахів, викликаних потенціалах, таламокортикальних взаємодіях, механізмах уваги, амнезіях і т.д. І хоча не цілком зрозуміло, як забезпечити в моделі розподілене збереження внутрішніх уявлень, як буде будуватися ієрархія й у якому ступені для цього придатне запропоноване як базовий блок мережі «маскувальне поле», концепція Гроссберга є дуже цікавою і містить багато важливих і конструктивних ідей.