19-20_LEKCIYA_ES

19-20‒lekciya. Neyron tarmaqlardı úyretiw algoritmleri

Jobası:

1.Neyron tarmaqlardı úyretiw algoritmleri

2.Neyron tarmaqlardıń tiykarǵı komponentleri

3.Neyron tarmaqlardı úyretiwdiń tiykarǵı principleri

4.Qátelik funkciyaları

5.Gradient túsiw algoritmi

6.Qátelikti qayta tarqatıw algoritmi

Neyron tarmaqlardı úyretiw algoritmleri

Neyron tarmaqlar – bul insan miyiniń jumıs islew principlerine tiykarlanǵan kompyuter modelleri bolıp, zamanagóy intellektual sistemalarınıń tiykarın quraydı. Olar óz-ara baylanıslı neyronlar toparınan ibarat arxitekturaǵa iye bolıp, informaciyalardı qabıl etiw, qayta islew hám prognozlaw múmkinshiliklerine iye. Neyron tarmaqlarınıń áhmiyetli qásiyeti – olardı úyretiw múmkinshiligi bolıp, bul process tarmaqtıń óziniń parametrlerin tájiriybe informaciyalarına sáykes túrde ózgertiw múmkinshiligin beriwden ibarat. Hár túrli mashqalalardı sheshiw ushın neyron tarmaqlardı qollaw tarawı kúnnen-kúnge keńeymekte: súwretlerdi tanıw, tábiyiy tildi qayta islew, robototexnika, medicina hám basqa da kóplegen tarawlarda olar áhmiyetli ámeliy nátiyjelerdi berip atır.

Neyron tarmaqlardıń tiykarǵı komponentleri

Neyron tarmaqlarınıń tiykarın jasalma neyronlar quraydı, olar insan miyindegi biologiyalıq neyronlarǵa uqsas etip islengen. Ápiwayı neyron bir neshe kiris signallardı qabıl etedi, olardı salmaqlar menen kóbeytedi hám qosadı, sońınan bolsa aktivaciya funkciyası arqalı ótkeredi. Neyron tarmaqlardıń tiykarǵı strukturalıq birlikleri bolıp qatlamlar esaplanadı: kiris qatlamı, jasırın qatlamlar hám shıǵıs qatlamı. Kiris qatlam sırtqı informaciyalardı qabıl etedi, jasırın qatlamlar informaciyalardı qayta isleydi, al shıǵıs qatlam bolsa sońǵı nátiyjeni beredi. Zamanagóy neyron tarmaqlarınıń ishinde kóplegen jasırın qatlamlar bolıwı múmkin. Salmaqlar hám aralas – bular úyretiw barısında ózgertiletuǵın tarmaqtıń parametrleri bolıp esaplanadı. Úyretiw procesiniń tiykarǵı maqseti – usı parametrler ushın optimal mánislerdi tabıwdan ibarat.

Neyron tarmaqlardı úyretiwdiń tiykarǵı principleri

Neyron tarmaqlardı úyretiw procesiniń mánisi neyron tarmaqtıń juwap beriw procesin informaciyalar tiykarında optimallastırıwdan ibarat. Úyretiw úsh tiykarǵı túrge bólinedi: baqlawlı (supervizorlı) úyretiw, baqlawsız (supervizorsız) úyretiw hám kúsheytiwshi úyretiw. Baqlawlı úyretiwde tarmaqqa hám kirisler, hám kútilgen shıǵıslar islenedi, hám tarmaq óziniń shıǵısların kútilgen shıǵıslar menen salıstıradı. Baqlawsız úyretiwde bolsa tarmaqqa tek kiris informaciyalar berilip, ol strukturalar hám nızamlılıqlardı ózi tawıp alıwı kerek. Kúsheytiwshi úyretiwde tarmaq óziniń háreketlerine baylanıslı xoshametler alıp, maqsetke erisiw ushın

strategiyanı optimallastıradı. Kóbinese úyretiw iteraciyalıq process bolıp, ol úyretiw informaciyaların bir neshe márte isledi.

Qátelik funkciyaları

Qátelik funkciyaları (joǵaltıw funkciyaları) neyron tarmaqlardıń shıǵıs mánisleri menen kútilgen mánisler arasındaǵı ayırmashılıqtı ólsheydi hám úyretiw algoritmlerinde tiykarǵı baǵıtlawshı kórsetkish bolıp xızmet etedi. Eń kóp tarqalǵan qátelik funkciyalarınıń biri – ortasha kvadratlıq qátelik (Mean Squared Error, MSE), ol haqıyqıy hám boljalǵan mánisler arasındaǵı kvadratlanǵan ayırmalardıń ortasha mánisin esaplaydı. Kross-entropiya joǵaltıw funkciyası klassifikaciya máseleleri ushın júdá qolaylı bolıp, ol klassifikaciya qáteligin sıpatlı túrde xarakterleydi. Hubbl joǵaltıw funkciyası regressiya mashqalalarında shetki mánislerge tásirleniwge beyim bolmaǵan nátiyjelerdi beredi. Qátelik funkciyasın durıs tańlaw úyretiwdiń tabıslı bolıwında sheshiwshi rol oynaydı hám mashqalanıń túrine, informaciyalar sıpatına hám basqa da faktorlarǵa baylanıslı boladı.

Gradient túsiw algoritmi

Gradient túsiw – neyron tarmaqlardı úyretiwdiń tiykarǵı algoritmleriniń biri. Onıń maqseti – qátelik funkciyasınıń global minimumın tabıw bolıp, bunda tarmaq parametrleri qátelikti minimallastıratuǵın optimal mánislerge iye boladı. Algoritmniń jumıs islew principi qátelik funkciyasınıń gradienti boyınsha parametrlerdi adımlap jańalawdan ibarat. Gradient – bul qátelik funkciyasınıń ózgeriw tezligi hám baǵıtın kórsetiwshi vektor. Gradient túsiw hár adımda salmaqlar hám ózgesheliklerdi gradientke qarama-qarsı baǵıtta ózgertedi, bul qátelikti azaytadı. Úyreniw tezligi – bul gradient boyınsha adımnıń ólshemin anıqlaytuǵın giperparametr. Onıń tanlawı zárúr: eger ol júdá úlken bolsa, algoritm minimumnan ótip ketiwi múmkin, al eger ol júdá kishi bolsa, úyretiw júdá áste boladı.

Qátelikti qayta tarqatıw algoritmi

Qátelikti qayta tarqatıw algoritmi (backpropagation) neyron tarmaqlardı úyretiwdiń tiykarǵı metodlarınıń biri bolıp, kóp qatlamlı tarmaqlarda gradient túsiw procesin ámelge asırıwǵa múmkinshilik beredi. Bul algoritmniń mánisi qátelik signalın tarmaq boyınsha keyin, shıǵıstan kirislerge qaray tarqatıwdan ibarat, hám bunıń nátiyjesinde hár bir neyron menen baylanısqan salmaqlar ushın qátelik gradientin esaplawǵa múmkinshilik beredi. Algoritm eki áhmiyetli basqıshtı óz ishine aladı: aldıǵa tarqalıw (forward propagation), bunda informaciyalar tarmaq arqalı ótip, sońǵı shıǵıs alınadı, hám qayta tarqalıw (backward propagation), bunda qátelik funkciyanıń gradienti hár bir tarmaq parametri ushın esaplanadı. Bul metod differenciallaw qaǵıydalarınıń tiykarında salmaqlardı adımlap jańalawdıń effektivli hám optimal tásilin usınadı, ásirese tereń úyreniw tarawında júdá keń qollanıladı.

Stoxastikalıq gradient túsiw hám mini-topar adımları

Stoxastikalıq gradient túsiw (Stochastic Gradient Descent, SGD) – bul standart gradient túsiw algoritminiń modifikaciyası bolıp, onda hár adımda pútkil úyretiw toplamı (dataset) ornına úyreniw informaciyalariniń kishi bólegi qollanıladı. Bul usıl esaplaw resurslardı sezilerli túrde únemleydi hám kóp jaǵdayda úyretiw procesin tezletedi. Mini-topar adımlarında (mini-batch gradient

descent) gradient informaciyalar toplamınıń kishi bólekleri ushın esaplanadı, bul usıl stoxastikalıq hám klassikalıq gradient túsiw usıllarınıń paydalı qásiyetlerin biriktiredi. SGD ádebiyatlarda kóbirek ushırasatuǵın giperparametrleri ishine úyreniw tezligi, impuls (momentum) hám mini-toparlar ólshemi kiredi. Impuls – bul gradient túsiw procesine inerciyanı qosatuǵın texnika, ol oscillyaciyalardıń tásirin azaytadı hám optimizaciya procesin stabilizaciyalap, lokal minimumlardan qutılıwǵa járdem beredi.

Zamanagóy optimizaciya algoritmleri

Neyron tarmaqlardı úyretiwdiń zamanagóy usılları standart gradient túsiw algoritmleriniń tiykarında rawajlandı hám olardıń kóplegen sheklewlerin saplastıra aladı. Adam (Adaptive Moment Estimation) algoritmi – bul eń keń tarqalǵan optimizatorlardıń biri bolıp, ol hár parametr ushın óziniń úyreniw tezligin avtomatik túrde sáykeslestiredi. Ol birinshi hám ekinshi momentlerdi (gradient hám gradient kvadratınıń eksponencial ortashalanǵan mánisleri) qollanadı. RMSProp algoritmi gradient kvadratlarınıń júriwshi ortasha mánisin paydalanadı, al AdaGrad – hár bir parametr ushın úyreniw tezligin sáykeslestiredi, jiyi ózgerislerge ushıraytuǵın parametrler kishirek adımlar menen jańalanadı. Zamanagóy optimizaciya algoritmleriniń kópshiligi úyreniw barısında hár bir parametrdiń ózgesheliklerin esapqa alıw menen giperparametrlerdi sáykeslestiriwge múmkinshilik beredi.

Úyretiwdi regulyarizaciyalaw

Úyretiwdi regulyarizaciyalaw – bul neyron tarmaqlardıń shennen tıs bekkemlewin (overfitting) aldın alıwǵa baǵıtlanǵan metodlar toparı, yaǵnıy bunda tarmaq úyreniw informaciyalarin jaqsı jetkerip aladı, biraq jańa informaciyalarǵa qollanılǵan jaǵdayda jaman jumıs isleydi. L1 hám L2 regulyarizaciyası – bular salmaqlardıń absolyut yamasa kvadrat mánislerin qátelik funkciyasına qosatuǵın metodlar bolıp, olar úlken mánislerdi jazalaydı hám model parametrleriniń kishirek mánislerde bolıwına túrtki beredi. Dropout metodı – bul hár adımda tarmaqtıń geypara neyronların tosattan óshiriw arqalı iske asırılatuǵın quwatlı regulyarizaciya usılı. Batch Normalization bolsa aralıq nátiyjelerdi normalizaciyalaydı, bul neyron tarmaqtıń úyreniw tezligin arttırıp, shennen tıs bekkemleniwin de páseytedi. Erte toqtaw (Early Stopping) – bul validaciyalıq qátelik óse baslaǵan waqıtta úyretiwdi toqtatatuǵın ápiwayı, biraq effektivli metod.

Konvolyuciyalıq hám rekurrent neyron tarmaqlardı úyretiw ózgeshelikleri

Konvolyuciyalıq neyron tarmaqlar (CNN) – bul súwretler menen islewde qollanılatuǵın arnawlı arxitekturalar túri, al rekurrent neyron tarmaqlar (RNN) – bul izbe-izli informaciyalardı, máselen, tekst yamasa waqıt qatarların modellestiriw ushın paydalanıladı. Eki arxitekturanıń da ózlerine tán úyreniw ózgeshelikleri bar. CNN úyreniwde konvolyuciyalıq qatlamlarda salmaqlardı bólisiw principi hám maksimal biriktiriw (max pooling) operaciyaları qollanıladı, bul súwrettiń keńislik strukturasın saqlap, úyretiletuǵın parametrler sanın azaytadı. RNN úyretiwinde qátelikti waqıt boyınsha keyinge tarqatıw (Backpropagation Through Time, BPTT) algoritmi qollanıladı. Bul arxitekturada alǵa ilgerlewshi hám joǵalıwshı gradient mashqalaları júz beriwi múmkin, olardı LSTM (Long

Short-Term Memory) hám GRU (Gated Recurrent Unit) qatlamları sheshiwi múmkin, olar uzaq múddetli baylanıslardı esapqa alıwǵa múmkinshilik beredi.

Transferlik úyreniw hám meta-úyreniw

Transferlik úyreniw – bul bir mashqalanı sheshiw ushın úyretilgen neyron tarmaqtı basqa, baylanıslı mashqalalardı sheshiw ushın qollanıw metodı. Bul usıl ásirese súwretlerdi tanıw hám tábiyiy til qayta islew tarawlarında keń tarqalǵan. Transferlik úyreniwdiń tiykarǵı usılları – bul aldın-ala úyretilgen modellerdi qayta kalibrovkalaw (fine-tuning) hám belgili sıpatlardı alıp shıǵıw (feature extraction). Meta-úyreniw («úyrenip úyreniw») – bul modellerge jańa mashqalalarǵa tez sáykes bolıwdı úyreniwden ibarat, ol few-shot learning (bir neshe mısallar menen úyreniw) sıyaqlı usıllardı óz ishine aladı. Meta-úyreniwdiń bir mısalı – MAML (Model-Agnostic Meta-Learning), bunda model jańa mashqalalarǵa kishi sanlı gradient adımları menen sáykeslesetuǵın etip úyretiledi. Bul metodlar neyron tarmaqlardı úyretiwdiń úlken kólemdegi informaciyalarǵa mútájlikti azaytadı hám ámeliy qollanıwlarda tarmaqtıń effektivliligin arttıradı.

Neyron tarmaqlardı úyretiwdegi zamanagóy tendenciyalar hám mashqalalar

Neyron tarmaqlardı úyretiw texnologiyaları tez pát penen rawajlanıp atır, hám házirgi waqıtta bir qatar perspektivalı baǵdarlar payda bolıp atır. Federativlik úyreniw úyretiw processin informaciyalardı oraylıq serverge jibermey, bir neshe qurılmalar arasında bólistiriwge múmkinshilik beredi, bul jeke informaciyalardı qorǵawda áhmiyetli rol oynaydı. Neyroarxitekturanı izlew (Neural Architecture Search, NAS) – bul optimal neyron tarmaq arxitekturasın avtomatik túrde tabıw ushın mashinalıq úyreniw usılları qollanatuǵın taraw. Distillyaciya – bul kishi «student» modelin úlken, aldın-ala úyrengen «oqıtıwshı» modelinen bilimdi alıwǵa úyreniw metodı, bul neyron tarmaqtı azıraq esaplaw resurslar menen qollanıwǵa múmkinshilik beredi.

BAQLAW SORAWLARÍ:

1.Neyron tarmaqlardıń úyretiliwiniń úsh tiykarǵı túrin atap, olardıń hár birine qısqasha sıpatlama beriń. Qaysı jaǵdaylarda baqlawsız úyretiw algoritmleri qolaylı boladı?

2.Qátelikti qayta tarqatıw algoritmin (backpropagation) túsindirip beriń. Bul algoritmniń jumıs islew mexanizmi qanday hám ol neyron tarmaqlardıń úyretiliwinde qanday rol oynaydı?

3.Gradient túsiw algoritmi menen stoxastikalıq gradient túsiw algoritmi arasındaǵı ayırmashılıqtı túsindiriń. Mini-topar adımları (mini-batch) qanday artıqmashılıqlarǵa iye?

4.Shennen tıs bekkemleniw (overfitting) degenimiz ne? Neyron tarmaqlardı úyretiwde shennen tıs bekkemleniwdi aldın alıw ushın qollanılatuǵın úsh túrli regulyarizaciya texnikasın sıpatlań.

5.Adam optimizaciyası algoritmi standart gradient túsiw algoritminen qanday ózgesheliklerge iye? Ol qanday mashqalalardı sheshiwge baǵıtlanǵan?