1.3. Перцептрон Розенблатта

Однією із прямих моделей ШН був так званий перцептрон Розеблатта, цю модель почали досліджувати у кінці 40хх років ХХст. Дана модель базується на спрощеній моделі штучного нейрона.Схематично перцептрон можна зообразити так :

X₁

X₂ Ʃ= · F(Ʃ)= S out

X_n

Усі компоненти перцептрона аналогічні компонентам базової моделі ШН.

Передатна функція

Поріг активації нейрона р, обертається в залежності від реалізованої задачі, на виході формується бінарний сигнал(1 із 2 можливих значень).Часто це 0 або 1, істинна або хибність, -1 та 1, тощо.

Дослідження перцептронів на перших етапах сформували ілюзію можливого їх застосування для вирішення широкого кола інтелектуальних задач.Проте в короткому часі детальні теоретичні досліди показали омбеження дослідження перцептронів.

Перцептрони з успіхами можуть використовуватися з задачею класифікації образів за двома виключними ознаками.Комбінуванням перцептрона у мережі дозволили розширити клас задач.

Функціонування перцептрона

Перцептрон працює наступним чином:

1.На виході подається деякій векторний образ

2.Суматор обчислює зважений сигнал як добуток *

3.В залежності від значення суматораƩ,та величини порогу відбувається активація ерцептрона:

якщо Ʃ≥р, то(перцептрон) активується і на виході формується відповідний сигна

якщоƩ<р , то перцептрон пасивний і на виході сигнал відсутній

Out=

Перццептронне представлення

При досліджені перцептронів було введено поняття перцептронного представлення деякого явища чи процесу .При цьому розуміння що функціонування перцептрона адекватно представлено моделює, це явище чи процес .З’ясувалось що перцептрон може представити багато задач однак значно більша кількість задач недопускає перцептронге представлення.

Така проблема пов’язана із особливістю функціонуванням перцептронів, зокрема із вибором передатної функції у вигляді порогової функції стрибки.Таку властивість назвали лінійною розділністю перцептрона для розуміння лінійного розділу розглянемо спрощений випадок перцептрона з 2 входами x₁ та х₂

x₁w₁

Ʃ= · F(Ʃ)=Ʒ out

x₂w₂

Запишемо рівняння яке визначає стан нейрона

Ʃ=p=>x₂w₁+x₂w₂=P (1)

Рівняння (1)у двовимірному просторі вхідних сигналів (х₁,х₂) є рівнянням прямої що поділяє весь простір на 2 підпростори.

I

II

Один із підпросторів I, відповідає активному стану нейрона

I:x₁w₁+x₂w₂≥P

II-із підпросторів відповідає пасивному стану нейрона

II:x₁w₁+x₂w₂<P

Рівняння (I) лінійно розділяєвесь простір станів на 2 рівно великих підпростори активного та пасивного станів.

В залежності від значень вагових коефіцієнтів W₁W₂,порогу активації Р, лінія розділу виду (I) можей займати довільне положення у просторі.

По аналогії у випадку довільної кількості каналів nрівняння виду

X₁W₁+X₂W₂+…+X_nW_n=P (2)

Є рівнянням особливої гіперплощини яка лінійно розділяєn-вимірний простір станів, на підпростори активності та пасивності.

Розглянемо для 2 вимірного випадку перцептронне представлення основних логічних операцій(кон’юнкції, диз’юнкції,та виключної диз’юнкції)

Для цих операцій у просторі можна виділити 4 основних точки

X₂

B(0,1) C(1,1)

true

A(0,0) D(1.0)

false X₁

(OK!)

X₂

B (0,1) C(1,1)

true

A(0,0) D(1.0)

false X₁

X₂

B(0,1) C(1,1)

true

A(0,0) D(1.0)

false X₁ not ok!

Як видно з прикладу функції XOR навітьтака проста функція виключна дизю’нкція неможе бути представленою перцептроном, саме через властивість його лінійно роздільності.Адже неможна побудувати жодну пряму якаб розділила площини на 2 частини так щоб у 1 потрапили точки (А і С), які відповідають хибноcті або пасивному стану перцептрона а у іншому, які відповідають істинні або активному стану перцептрона.

Алгоритм навчання перцептронна

Перцептрон є прикладом ШН прямого поширення сигнала,тому для його навчання використовується алгоритм навчання з учителем, для цього має бути навчальна множина із деякої кількості К навчальних карт. Кожна карта поєднує n, компонентний вхідний обраp, та відповідний йому еталонний очікуваний вихід T_i

=(x₁,x₂,…,x_n); T_i={0;1}

Незменшуючи загальності розгляду моделі перцептронна з бінарними виходами {о або 1}

Навчання перцептронна здійснюється за таким алгоритмом:

1.Із емпіричних міркувань обирається поріг активації нейрона р, у випадку 0 чи 1, р може бути бране 0.5

2.Задається початкове значення вагового коефіцієнту вхідних каналів W_j, j=

Вибір із діапазону що є околом значення

+ )

Головне щоб вагові коефіцієнти були різні.

3.Уточнення вагових коефіцієнтів виконується шляхом повторюваного аналізу усіх навчальних карт

а) якщо для деякої карти очікується на виході значення Т=0, і дійсно отримано значення out=0, то корекція ваг непотрібна

б) якщо для деякої карти на виході очікується значення Т=0, а потримаємо значення out=1,то нейрон перезбуджений і проводиться корекція ваг, у напрямку зменшення тих вагових коефіцієнтів що відповідають одиночним вхідним сигналам

в)якщо для деякої карти очікується на виході Т=1 і дійсно отримано значення out=1 то корекція ваг непотрібна

г)якщо для деякої карти очікується на виході значення Т=1 а отримано значення out=0,то нейрон занадто пасивний і проводиться корекція ваг,у напрямку збільшення,тих вагових коефіцієнтів що відповідають одиночним вхідним сигналам.

4.Процес корекції ваг продовжується для 1 карти до тих пір доки недосягнень очікуваних результатів, далі здійснюється перехід до наступної карти множин.

5.Процес навчання для 1 повного набору карту називають епохою навчання,навчання проводиться до тих пір поки для однієї повної епохи відпаде потреба корекції ваг для кожної з карт.

Виникає питання на яку величину здійснюється корекція ваг.

Відповідь: Вибір величини корекції може бути довільним однак слід враховувати:

-якщо зміна ваги здійснена на малу величину то процес навчання буди успішним але тривалим

-якщо зміна ваги здійснена на значну величину то процес навчання може бути швидким але можливі випадки витрати (ШН)

-природньо що змінна ваги має бути пропорційна до поточного значення ваги і пропорційною до величини похибки результату

При корекції ваг часто вводиться коефіцієнт що називається коефіцієнтом швидкості навчання

Таким чином процес корекції ваг можна описати наступним співвідношенням

= +ɣ (T_i-out_i)·X_j

j= - це номер каналу передачі сигналу

i = – номер навчальноъ карти

γ –коефіцієнт швидкості навчання

Обирається емпірично а часто є виличиною γ≈0,1

W^K– попереднє значення ваги

W^K+1 – нове значення ваги

Модельний ряд алгоритму навчання перцептронна

Розглянемо задачу класифікації арабських цифр, за стилізованим графічними зображеннями за ознакою парності чи непарності

У кожній навчальній карті 20 компонентів вектору вхідних сигналів, поставимо у відповідність 1 із бінарних сталих виходів.

Нехай для визначення непарним цифрам (1,3,5,7,9) – відповідний активний стан перцептрона тобто на виході 1 алгоритм цифрам (0,2,4,6,8) відповідає пасивний стан перцептрона.

Процес навчання на такій навчальній множині

(“0”- 0); (“1” – 1),(“2” – 0); (“3” – “1”); (“4” – 0); (“5” – 1); (“6” – 0); (“7” – 1); (“8” – 0); (“9” – 1)

На такій навчальній множині передбачає корегування W_j, так щоб реакція перцептрона була очікуваною. Врахувоуючи спосіб графічно стилізованого зображення чисел очевидно що деякі із ваг прямуватимуть до 0 а інші навпики – збільшуватимуться.

Вагові коефіцієнти W₄,W₈,W₁₂,W₁₆,W₂₀, прямуватимуть до 0 (по цих каналах прямуватимуться інтенсивні вхідні сигнали, виключно для парних цифр.

Вагові коефіцієнти W₁,W_5,W₉,W₁₃,W₁₇, навпаки зростатимуть оскільки по цих каналах подаватимуться інтенсивні вхідні сигнали виключно для непарних цифр.

У

множину цифр можна штучно розширити добавивши нові наприклад із 16 нових

Враховуючи подібність стилізованих зображень нових цифр до відновлення арабських (парних(16)Б і непарних (16)). У випадку спального навчання перцептронна ШН зможе правити класифікація нових цифр на парність чи непарність.

ДЕЛЬТА-ПРАВИЛО

У складніших моделях перцептронів можуть використовуватись передатні функції відмінні від порогової функції стрибка наприклад лінійна з насиченням лінійного зростання

;

Uspih:=true

for i=1 to 10 do

begin S:=0

for i:= 1 to 20 do S:=S+X[i;j];

if(I mod 2=0) and (S=P) then {корекція}

S:=0; q:=0

For j:=1 to 20 do S:=1+x[i,j]*w[j]

If ( I mod 2=0, and [S>=p] then {корекція}

If (imod 2=1) and (S<p) then {корекція}

Uspih :=true; k:=0

For i:=1 to 10 do

Uspih:= false

While not uspih do

Begin

K:=0

For i:=1 to 10 do

Begin

Q:=0;

While q:= 0 do

Q:=1;S:=0;for j:=1 to 2 do; S:=S+[o,j]*W[j];

If ( imod 2=0)and (<>=p)then {Wj,q:=0;k:=1}

End,

End

If k = 1 then uspih = true

End.

{кінець навчання}

{тестування}

For i:=10 to 15 do

Begin

S:=0;for j:=1 to 20 do S:=S+X[i,j]*W[j]

If s>p then write(`цифра`,I, `непарне`)

Else writeln(`цифра`,t,`парне`)

End;

У цьому випадку на виході перцептронна формування на бінарний сигнал а деяке дійсне значення із діапазону

Out є [a;b] абоout є(а;b)

Окрім цього дійсним можуть бути і очікувані еталонного зростання. Тому в цьому випадку навчання і функціонування перцептронна буде недискретним а неперервним. Загальна схема алгоритму даних тієюж самою, при цьому корекція ваг здійснюється, пропорційно до величини похибки яку позначено символом ∆T-out

Остаточно співвідношення яке визначає корекцію

= +ɣ X_j·Δ_i , де Δ_i = T_i· out_i

узагальнене дельта правило.

Багатошарові перцептронні ШНМ

Окремий перцептрон дозволяє вирішити нескладні інтелектуальні задачі по класифікації за деякою бінарною ознакою.

Якщож скористатися властивістю лінійного розуміння перцпетронна то комбінуючи їх у прошарки та НМЮ можна розширити клас задач а класифікацію, за багатьма ознаками і навіть на ідентифікацію та розпізнавання, розглянемо приклад:

Один перцептрон у двовимірному випадку умовно розділяє простір станів на два півпростори, активності на пасивності.Якщо у цьомуж просторі добавити ще один перцептрон та лінії розділити, додадуться 4 підпростори.

Ⓑ Ⓐ

Ʃ_I p_i Ⓓ Ʃ_I p_II

Ʃ_i<p

Ⓒ Ʃ_I<p_II

Зона А відповідає активному стану, обох перциптронів, зона В – активному іншому і пасивному другому перцептрону. Зона С – пасивному стану обох. Зона D – відповідає пасивному першому і активному другому перцептронів. Ці перцептрони можна з’єднати у таку нейрону мережу

Тут F – довільна функція, що модулює спосіб комбінування перцептронів.

Розглянемо тепер приклад у якому здійснюється класифікація графічних образів, за 2 ознаками :

Зображення зосереджується вище або нижче, центральної частини;

Зображення зосереджується лівіше або правіше центральної частини,

прикладами таких графічних образів може бути

Для класифікації n-их груп образів можна, використати 2 перцептрони у одному проміжку:

1-ий, перцептрон розділяє образи переважно на ті що вище або нижче середини, а 2-ий розділяє, образи на ті, що переважно лівіше або правіше від

середини. Очевидно, що класифікація, буде не вдалою при обробці образів такого виду :

Перших два зразки можуть невірно оброблятися другим перцептроном, а третій та четвертий зразок невірно оброблятиметься першим перцептроном.

Для реалізації такої задачі: вихідний прошарок мережі, які реалізує функцію F працюватиме із чотирма можливими варіантами виходу, які відповідають можливим варіантам виходів перцептронів першого прошарку

Out_F=I, якщо out_I=1, out_II=1

Out_F=II, якщо out_I=1, out_II=0

Out_F=III, якщо out_I=0, out_II=1

Out_F=IV, якщо out_I=0, out_II=0

В такого типу задачах класифікується за декількома бінарними ознаками результуючи можна, формувати двійковим представленням цілих чисел.У випадку двох бінарних ознак можливі варіанти виходу

(0₂;0₂) =0₁₀

(0₂;1₂)=1₁₀

(1₂;0₂)=2₁₀

(1₂;1₂)= 3₁₀

У випадку трьох бінарних ознак можливі 8 результатів

(0;0;0)=0

(0;0;1)=1₁₀

(1;1;1)=7₁₀

Переважно нижче, правіше і

ближче до центру

У випадку використання більшої кількості перцептронів у першому прошарку, які комбінуються за правилом композиції у просторі можливих станів їх лінії розділення

Упорядковані у деякий многокутник. Наприклад у випадку шести перцептронів внутрішність шестикутника відповідає активним станам усіх перцептронів

Зауваження:

Вибір пороку активізації для перцептрона є достатньо довільним і обирається емпірично. Тобто зменшення чи збільшення, порогу для навчання і подальшого розпізнавання – ваги підберуться саме під цей поріг, якщо ж поріг активації збільшити але після навчання, то перцептрон стане пасивнішим і частину образів, які відповідають активному стеку(непарні цифри) визначатиме невірно(як парні цифри), якщож поріг активації зменшити але після навчання, то перцептрон стане більш активним і частину образів, які відповідають пасивному стану(парні цифри) визначатиме невірно (як непарні).