2.2. Шнм ffCounterPropagation(зустрічного поширення)

ШНМ Зустрічного поширення

ШНМ ЗП теж відноситься до багатошарових мереж однак на відміну від ШНМ FFBP , у яких окремі прошарки є однотипними, у мережах ЗП 2 прошарки різного типу. Такі мережі переважно застосовують для вирішення інтелектуальних задач класифікації, тобто розділення деякої множини на групи або класи подібних між собою. Задача класифікацій часто передує задачу ідентифікації.

1.Структура ШНМ ЗП

Традиційно у мережах ЗП використовуються 2 прошарки:

1-ий прошарок носить назву Коххонена, 2-ий прошарок – прошарок Гросберга

x₁W_ij 1 V_jk 1 out₁

x₂ 2 2 out₂

x_N M N out_N

Тут позначено x₁,x₂,…,x_L – вхідні сигнали

w_ij – вагові коефіцієнти ШН прошарку Коххонена

v_jk – вагові коефіцієнти ШН прошарку Гросберга.

Кількість вхідних сигналів L, кількість ШН Коххонена M, та кількість ШН Гросберга N, в загальному випадку не пов’язані між собою.

Кількість ШН коххонена М повинна бути не меншою, ніж кількість різних класів подібних між собою образів.

Кількість ШН Гросберга N повинна відповідати розміру вихідного образу, якій представляє цілий клас подібних між собою вхідних образів.

Функціонування прошарку Коххонена

Прошарок Коххонена в прошарках прямого поширення сигналу вільно функціонує за принцип переможець забирає усе. Це означає, що лише один із нейронів Коххонена має найбільше значення сумавтора та генерує на виході одиничний сигнал усі решта нейронни Коххонена на виході дають нульовий сигнал. Якщо декілька нейронів мають однакове максимальне значення, то в якості переможця довільно обирається якийсь один із них.

Таким чином на виході прошарку Коххонена може формуватися один із векторів сигналів

(0, 0, …, 0, 1, 0, …, 0) (1)

j= j

Функціонування прошарку Гроссберга

Прошарок Гросберга, який називається зіркою Гросберга теж є прошарком, прямого поширення сигналу. Він працює як прошарок ШН. При цьому, враховуючи формат, для цього прошарку сигналів(1). Кожен із нейронів Гросберга на виході формує сигнал величина якого рівна ваговому коефіцієнтув зв’язку між j нейроном Коххонена та відповідним нейроном Гросберга. Це пов’язано із тим що нейрон Гросберга використовує передатну функцію у вигляді поточної функції f(x)=x

Таким чином вихідний сигнал нейрону Гросберга обчислюється так :

= (2)

Оскількі лише 1 нейрон дає одиничний сигнал на виході то із всієї суми скалярного добуку двох, залишеться лише 1 доданок, тому

= (3)

де j – номер нейрону Коххонена переможця.

Навчання прошарку Коххонена

Прошарок Коххонена, виконує функцію класифікацій вхідного векторів по группах подібних між собою. Це реалізується таким налаштуванням прошарку Коххонена, при якому подібні між собою вхідні вектори аткивують один і той же нейрон Коххонена.

Враховуючи вигляд скалярно добутку векторів та його еквівалентного представлення

· = X₁W₁+X₂W₂+…+X_nW_n= | | cos( )

Зрозуміло, що максимальне значення скалярний добуток для фіксованих за довжиною векторів набуває у випадку, по між ними прямує до 0. Таким чином подібні між собою вектори вхідних образів розміщиватимуться у деякому N – вимірному секторі. У двовимірному видку це можна позначити так

Х ₂

Х₁

Для кожної групи подібних векторів вектор ваг має обернутися так щоб, знайти положення близьке до бісектриси відповідного N - вимірного сектора, це дасть максимум суматор у відповідний нейрон Коххонена для кожного із подібних вхідних векторів. При цьому якщо відповідні подібні вектори мають різну довжину то вектор вагових коефіцієнтів повинен бути ближчим до короких із таких векторів. Алгоритм навчання прошарку Коххонена можна описати так:

1)Попередня нормалізація вхідних номерів.

Бажано хоча це і необов’язково провести попередню нормалізацію усіх вхідних векторів

= = (4)

k – номер чергового образу

Нормалізація приводить усі вектори вхідних образів до спільної одиничної множини.

2) Налаштування ваг прошарку Коххонена для одного образу.

Початково вагові коефіцієнти кожного нейрона Коххонена обираються довільним чином, так щоб їх вектор теж був нормалізованим. Сама корекція ваг передбачає поворот вектора ваг так, щоб він максимально наблизився до усі векторів подібних між собою областей, у двох вимірному видку схем це можна зообразити так :

= Δ

= + ɣ( - ) (5)

ɣ - коефіцієнт швидкості навчання цей коефіцієнт може змінюватися у процесі навчання: на перших етапах він може бути більшим, а на останніх зменшуватися.

3)Налаштування ваг для усіх образів

Алгоритми навчання виду (5) застосовуються для усієї сукупності вхідних образів. При цьому окремі з подібних векторів можуть повертати у вектор в одному напрямі, а інші у протилежному. Процес навчання для однієї групи продовжується поки відповідний вектор ваг не забезпечив активацію одного і тогож нейрона Коххонена для деякої групи подібних образів

4) Особливості вибору початкових, значень вагових коефіцієнтів.

У 2му пункті зазначалось, що початкові ваги обираються двільно. Проте у ряді випадків є свої особливості:

• кількість нейронів Коххонена, повинна бути не меншою, від кількості груп подібних між собою образів. Проте недоцільно використовувати занадто багато нейронів Коххонена тому що надлишкові «розірвати» деякі з груп подібних образів. Надлишкові нейрони які мають віддалений вектор вагових коефіцієнтів від групи подібних образів можуть ніколи не активуватися.

• в ряді випадків доцільно обирати початкові значення ваг нівними одній і тій самій величині

W_i= , такий спосыб вибору є ефективний, оскількі всі вектори ваг початково одинаковоиї довжини і однакового напрямку. При цьому в процесі навчання потрібно постійно модифікувати вектори вхідних сигналів

Х_і=β·х_і+

β – є змінним числовим коефіцієнтом , який початково обирається близьким до 0.

На наступних етапах коефіцієнт β збільшується і поступово прямує до 1

β→1 х_і→

Такий спосіб навчання початково зводить в один напрямок усі вектори вхідних образів і вектори вагових коефіцієнтів нейрона Коххонена. А потім вектори образів повертаються до своїх початкових значень, та «відтягують» за собою вектори відповідних вагових коефіцієнтівпри навчанні нейрона Коххонена використовується принцип «справедливості» який полягає у наступному:

якщо деякий з нейронів Коххонена активується занадто часто наприклад , де К – кількість різних груп подібних образів, то цьому нейрону тимчасово збільшується поріг активації тим самим збільшуючи «шанси» на активацію інших нейронів.

Навчання прошарку Гросберга

Прошарок Гросберга навчається з учителем адже для кожного нейрона Гросберга відомий очікуваний еталонний вихід. Враховуючи те, що лише один нейрон Коххонена на виході формує одиничний сигнал (переможець), то корекція ваг нейронів Гросберга буде здійснюватись лише в тих, які пов’язані із переможцем у прошарку Коххонена.

Математично процес навчання можна записати натупним чином :

= + ɣ (t_k - (6)

Тут ____ - новий ваговий коефіцієнт зв’язку між j-тим нейроном Коххонена та k-тим нейроном Гросберга;

____ - старий ваговий коефіцієнт зв’язку між нейронами Коххонена та гросберга;

t_k - очікуваний еталонний вихід k- ого нейрона Гросберга;

– вихід j – ого нейрона Кох, лише один нейрона Кох дає одиничний вихід, решта – нуль 0.

ɣ - коефіцієнт швидкості навчання який початково обирається ≈0.1. В подальшому ɣ зменьшується до

ɣ = 0.1,…,0.0001 0.01