17-18_LEKCIYA_ES
.pdf17-18‒lekciya. Jasalma neyron tarmaqlar haqqında tiykarǵı maǵlıwmatlar, tiykarǵı túsinikleri hám túrleri
Jobası:
1.Jasalma neyron tarmaqlar túsinigi
2.Tiykarǵı maǵlıwmatlar hám túrleri
Ne ushın jasalma neyron tarmaqlar?
Intellektual sistemalardıń hám zamanagóy jasalma intellekttiń tiykarǵı qurallarınıń biri – jasalma neyron tarmaqlar (JNT) dúnyasına sayaxat etemiz. Dástúriy algoritmler aldın-ala belgilengen qaǵıydalar tiykarında jumıs islese, kóp ǵana real turmıs máseleleri, ásirese obrazlardı tanıw, tábiyǵıy tildi qayta islew yamasa ózgeriwsheń ortalıqta qarar qabıl etiw sıyaqlı wazıypalar anıq algoritmge kónbeydi. Usı jerde tábiyattıń ózinen, atap aytqanda insan miyiniń strukturası hám jumıs islew principlerinen ilhamlanǵan jasalma neyron tarmaqlar járdemge keledi. Olardıń tiykarǵı qásiyeti – bul tájiriybeden, yaǵnıy berilgen maǵlıwmatlardan úyreniw qábiliyeti bolıp tabıladı. JNTlar búgingi kúnde kóp ǵana intellektual sistemalardıń ajıralmas bólegine aylanǵan.
Biologiyalıq neyronǵa qısqasha sholıw
Jasalma neyron tarmaqlardıń strukturasın hám jumıs islewin túsiniw ushın, olarǵa tiykar bolǵan biologiyalıq neyrondı qısqasha eske túsireyik. Insan miyi milliardlaǵan neyronlardan hám olardıń arasındaǵı baylanıslardan (sinapslardan) ibarat. Hár bir neyronnıń tiykarǵı bólekleri: signallardı qabıl etetuǵın tarmaqlanǵan ósimteler – dendritler; signallardı qosıp, qayta isleytuǵın kletka denesi – soma; qayta islengen signaldı basqa neyronlarǵa jiberetuǵın uzın ósimte – akson; hám neyronlar arasındaǵı baylanıstı ámelge asıratuǵın hám signaldıń kúshin (yamasa
áhmiyetin) belgileytuǵın struktura – sinaps. Neyronlar belgili bir shegaralıq dárejeden (aktivaciya bosaǵası) ótken signaldı alǵanda ǵana "qozıp", signaldı keyingi neyronlarǵa uzatadı. Miydiń esaplaw kúshi tek ayırım neyronlarda emes, al olardıń parallel hám bólistirilgen túrde islewinde jámlengen.
Jasalma neyron modeli: Perceptron
JNTlardıń qurılıs materialı – bul biologiyalıq neyronnıń jumısın matematikalıq jaqtan modellestiretuǵın jasalma neyron bolıp tabıladı. Eń dáslepki hám ápiwayı modelleriniń biri Uorren Mak-Kallok hám Uolter Pitts tárepinen 1943-jılı usınıs etilgen. Keyinirek, Frank Rozenblatt tárepinen 1957-jılı jaratılǵan Perceptron modeli JNTlardıń rawajlanıwına úlken túrtki berdi.
Jasalma neyronnıń tiykarǵı komponentleri:
1. Kiriwshi signallar (Inputs): Basqa neyronlardan yamasa sırtqı dereklerden keletuǵın maǵlıwmatlar (x , x , ..., xn).
2.Salmaqlar (Weights): Hár bir kiriwshi signaldıń neyronnıń juwmaǵına tásir etiw dárejesin kórsetetuǵın koefficientler (w , w , ..., wn). Salmaqlar sinapslardıń kúshine uqsas bolıp, úyreniw procesinde ózgerip turadı.
3.Qosıw funkciyası (Summation function): Kiriwshi signallardı olardıń sáykes salmaqlarına kóbeytip, nátiyjelerdi qosatuǵın funkciya. Kóbinese bul sızıqlı funkciya: Net = Σ(xi * wi) + b.
4.Íǵısıw (Bias): Neyronnıń aktivlesiw bosaǵasın retlewshi qosımsha parametr (b). Onı salmaǵı hámiyshe 1 ge teń bolǵan qosımsha kiriwshi sıpatında da qarastırıwǵa boladı.
5.Belsendilesriw (Aktivlestiriw) funkciyası (Activation function):
Qosıw funkciyasınıń nátiyjesin (Net) alıp, onı neyronnıń shıǵıwshı signalına (Output) aylandıratuǵın funkciya (f(Net)). Bul funkciya neyronnıń qashan hám qanday intensivlik penen "qozıwın" belgileydi.
Belsendilestiriw funkciyaları: Ne ushın kerek hám qanday túrleri bar?
Belsendilestiriw funkciyası JNTlarda júdá áhmiyetli rol oynaydı. Eger tek sızıqlı qosıw funkciyası qollanılsa, qansha qatlam bolsa da, pútkil tarmaq tek sızıqlı esaplawlardı orınlay aladı hám qıyın, sızıqlı emes máselelerdi sheshe almaydı. Belsendilestiriw funkciyaları tarmaqqa sızıqlı emeslikti (non-linearity) kirgizedi, bul bolsa oǵan qıyın úlgilerdi (patternlerdi) hám funkciyalardı úyreniwge imkaniyat beredi.
Eń kóp qollanılatuǵın belsendilestiriw funkciyaları:
Adımlı (Step) funkciya: Signal belgili bir bosaǵadan ótse 1, ótpese 0 mánisin qaytaradı (Perceptron modelinde qollanılǵan). Úzilisli bolǵanlıqtan, gradientke tiykarlanǵan úyreniw ushın qolaysız.
Sigmoid (Sigmoid) funkciya: S-tárizli, úziliksiz funkciya, mánisleri (0, 1) aralıǵında jatadı. Statistikalıq máselelerde hám burınları kóp qollanılǵan, biraq "óship baratırǵan gradient" (vanishing gradient) mashqalasına ushırawı múmkin. Formulası: f(x) = 1 / (1 + e^(-x)).
Giperbolalıq tangens (Tanh) funkciya: Sigmoidqa uqsas, biraq mánisleri (-1, 1) aralıǵında jatadı. Kóbinese sigmoidtan jaqsıraq nátiyje beredi. Formulası: f(x) = (e^x - e^(-x)) / (e^x + e^(-x)).
ReLU (Rectified Linear Unit) funkciya: Eger signal unamlı bolsa sol mánisti, teris bolsa 0 di qaytaradı (f(x) = max(0, x)). Esaplaw jaǵınan júdá nátiyjeli, tereń tarmaqlarda "óship baratırǵan gradient" mashqalasın jumsartadı. Búgingi kúnde eń ataqlı funkciyalardıń biri.
Leaky ReLU hám basqa variantlar: ReLUdıń kishi modifikaciyaları
(mısalı, teris mánisler ushın kishkene unamlı qıyalıq beriledi), ayırım jaǵdaylarda odan da jaqsıraq isleydi.
Neyron tarmaq arxitekturaları: Bir qatlamlı hám Kóp qatlamlı tarmaqlar
Jasalma neyronlar óz-ara birlesip, tarmaq arxitekturasın payda etedi. Eń tiykarǵı arxitekturalar:
1.Bir qatlamlı tarmaqlar: Bunday tarmaqlar tek kiriwshi hám shıǵıwshı qatlamlardan ibarat. Eń belgili mısalı – Perceptron. Olar tek sızıqlı ajıratılatuǵın máselelerdi sheshe aladı (mısalı, logikalıq AND, OR funkciyaları). Biraq, XOR (ayrıqsha YAMASA) sıyaqlı ápiwayı sızıqlı emes máseleni de sheshe almaydı. Bul olardıń qollanıwın shekledi.
2.Kóp qatlamlı tarmaqlar (Multi-Layer Networks): Bul tarmaqlarda kiriwshi hám shıǵıwshı qatlamlar arasında bir yamasa birneshe jasırın qatlamlar (hidden layers) boladı. Eń kóp tarqalǵan túri – Kóp qatlamlı Perceptron (MultiLayer Perceptron - MLP). Signal tek aldınǵa, yaǵnıy kiriwshi qatlamnan jasırın qatlamlar arqalı shıǵıwshı qatlamǵa qaray baǵdarlanadı, sonlıqtan olar aldınǵa baǵdarlanǵan tarmaqlar (feedforward networks) dep te ataladı. Jasırın qatlamlardıń hám sızıqlı emes belsendilestiriw funkciyalarınıń bolıwı MLPlarǵa universal approksimator bolıw, yaǵnıy hár qanday úziliksiz funkciyanı qálegenshe dállikte jaqınlastırıw imkaniyatın beredi. Jasırın qatlamları kóp bolǵan MLPlar tereń neyron tarmaqlar (Deep Neural Networks - DNN) dep ataladı hám tereń úyreniw
(Deep Learning) tarawınıń tiykarın quraydı.
JNTlarda Úyreniw Processi: Paradigmalar
JNTlardıń eń tiykarǵı qásiyeti – úyreniw, yaǵnıy tarmaq parametrlerin (tiykarınan, salmaqlar hám ıǵısıwlardı) berilgen maǵlıwmatlar tiykarında optimallastırıw arqalı belgili bir wazıypanı orınlawǵa úyretiw. Úyreniwdiń tiykarǵı úsh paradigması bar:
1.Baqlaw astında úyreniw (Supervised Learning): Bul eń kóp tarqalǵan usıl. Tarmaqqa {kiriwshi_maǵlıwmat, kútiletuǵın_durıs_juwap} túrindegi belgilengen (labeled) maǵlıwmatlar toplamı beriledi. Tarmaq hár bir kiriwshi ushın óz juwabın shıǵaradı, bul juwap kútiletuǵın durıs juwap penen salıstırıladı hám ayırmashılıq (qátelik) esaplanadı. Sońınan, bul qátelikti minimallastırıw maqsetinde tarmaq salmaqları arnawlı algoritm, kóbinese keri baǵdarda qátelikti tarqatıw (backpropagation) algoritmi járdeminde ózgertiriledi. Mısal wazıypalar: klassifikaciya (obektlerdi kategoriyalarǵa bóliw), regressiya (sanlı mánisti prognozlaw).
2.Baqlawsız úyreniw (Unsupervised Learning): Bul jaǵdayda tarmaqqa tek kiriwshi maǵlıwmatlar beriledi, aldın-ala belgilengen durıs juwaplar bolmaydı. Tarmaqtıń wazıypası – maǵlıwmatlardıń ishindegi jasırın strukturalardı, baylanıslardı yamasa úlgilerdi tabıw. Mısal wazıypalar: klasterlew (uqsas obektlerdi toparlarǵa biriktiriw, mısalı, Óz-ózin shólkemlestiriwshi Kartalar - SOM), ólshemlikti kemeytiw (kóp belgilerdi az sanlı áhmiyetli belgiler menen almastırıw).
3.Bekkemlew arqalı úyreniw (Reinforcement Learning): Bul paradigmada agent dep atalatuǵın sistema ortalıq penen óz-ara tásirlesiw arqalı
úyrenedi. Agent belgili bir háreketlerdi orınlaydı, hár bir háreket ushın ortalıqtan unamlı (sıylıq) yamasa teris (jaza) signal aladı. Agenttiń maqseti – waqıt dawamında maksimal muǵdardaǵı sıylıqtı toplawǵa alıp keletuǵın strategiyanı (háreketler izbe-izligin) úyreniw. Mısallar: oyın oynawǵa úyretiw (shaxmat, Go), robotlardı basqarıw.
Jasalma Neyron Tarmaqlarınıń Tiykarǵı Túrleri
MLPlar universal bolsa da, ayırım arnawlı máseleler ushın optimallastırılǵan basqa arxitekturalar da bar:
1.Konvolyuciyalıq Neyron Tarmaqları (Convolutional Neural Networks
-CNNs): Bul tarmaqlar ásirese kóriw maǵlıwmatların (súwretler, videolar) qayta islewde júdá nátiyjeli. Olardıń tiykarǵı ózgesheligi – konvolyuciya qatlamları hám puling (subsampling) qatlamlarınıń bolıwı. Konvolyuciya qatlamları kiriwshi maǵlıwmatqa kishkene filtrlerdi (yadrolardı) qollanıw arqalı lokal belgilerdi (mısalı, shegaralar, burıshlar, teksturalar) anıqlaydı. Bul qatlamlarda salmaqlardıń bólisilgenligi (shared weights) hám baylanıslardıń lokallıǵı esaplawlardı ádewir azaytadı hám obektlerdiń súwrettegi ornına qaramastan tanıwǵa járdem beredi. Puling qatlamları (mıs, max pooling) maǵlıwmattıń ólshemin kishireyttirip, eń áhmiyetli belgilerdi saqlap qaladı. CNNler súwretlerdi klassifikaciyalawda, obektlerdi tabıwda, bet-álpetti tanıwda revolyuciya jasadı.
2.Rekurrent Neyron Tarmaqları (Recurrent Neural Networks - RNNs): Bul tarmaqlar izbe-iz keletuǵın maǵlıwmatlardı (sequential data) qayta islewge mólsherlengen, mısalı: tekst, awdio signallar, waqıt qatarları. RNNlerdiń MLPlardan tiykarǵı ayırmashılıǵı – olarda keri baylanıslardıń (feedback loops) bolıwı. Bul baylanıslar tarmaqqa aldıńǵı esaplawlardan alınǵan maǵlıwmattı "eslep qalıwǵa" hám onı keyingi esaplawlarda paydalanıwǵa imkan beredi. Bul "ishki jad" RNNlerge izbe-izliktegi baylanıslardı úyreniwge járdem beredi. Biraq, ápiwayı RNNler uzın izbe-izlikler menen islegende "óship baratırǵan" yamasa "jarılıp ketiwshi" gradient mashqalalarına ushırawı múmkin. Bul mashqalanı sheshiw ushın arnawlı arxitekturalar – LSTM (Long Short-Term Memory) hám GRU (Gated Recurrent Unit) jaratılǵan. Bular kirgen maǵlıwmattıń qaysı bólegin saqlaw, jańalaw yamasa umıtıwdı basqaratuǵın arnawlı "dárwaza (gate)" mexanizmlerine iye. RNNler mashinalıq awdarmada, tekst generaciyalawda, sóylewdi tanıwda keń qollanıladı.
3.Basqa túrleri: Bulardan tısqarı, Radial Bazisli Funkciya Tarmaqları (RBF Networks) (funkciyalardı approksimaciyalaw hám interpolyaciyalawda), Óz-
ózin shólkemlestiriwshi Kartalar (Self-Organizing Maps - SOMs) (baqlawsız úyreniw, klasterlew hám vizualizaciya), X pfild Tarmaqları (associativlik yad) sıyaqlı basqa da arxitekturalar bar.
Jasalma Neyron tarmaqlarınıń qollanıw tarawları
Búgingi kúnde JNTlar texnologiyanıń hám ilimniń kóp tarawlarına tereń kirip barǵan:
Kompyuter kóriwi: Súwretlerdi klassifikaciyalaw, obektlerdi tabıw, súwretlerdi segmentlew, bet-álpetti tanıw, medicinalıq súwretlerdi analizlew.
Tábiyǵıy tildi qayta islew (NLP): Mashinalıq awdarma, tekstlerdi klassifikaciyalaw (spam filtrleri, sezimtallıq analizi), tekst generaciyalaw, sorawjuwap sistemaları, sóylewdi tanıw hám sintezlew.
Usınıs etiw sistemaları (Recommendation Systems): Internetdúkanlarda, film hám muzıka servislerinde paydalanıwshılarǵa qızıqlı bolatuǵın zatlardı usınıs etiw.
Finans: Akciya bahaların prognozlaw, kreditlik riskti bahalaw, aldawshılıqtı anıqlaw.
Avtonomlı sistemalar: Avtonomlı avtomobillerdi basqarıw, dronlar navigaciyası.
Medicina: Keselliklerdi diagnostika etiw, jańa dárilerdi jobalaw.
Oyınlar: Kompyuterlik oyınlarda aqıllı opponentlerdi jaratıw.
Jasalma Neyron Tarmaqlarınıń Artıqmashılıqları hám Kemshilikleri
JNTlardıń bir qatar áhmiyetli artıqmashılıqları bar:
Qıyın, sızıqlı emes baylanıslardı úyrene alıw qábiliyeti.
Maǵlıwmatlardan ulıwmalastırıw (generalizaciya) qábiliyeti, yaǵnıy burın kórmegen maǵlıwmatlarǵa da durıs juwap bere alıwı.
Belgili dárejede shawqımǵa hám ayırım komponentlerdiń isten shıǵıwına shıdamlılıǵı (fault tolerance) – sebebi maǵlıwmat bólistirilgen túrde saqlanadı.
Parallel esaplawlar ushın jaqsı potencialı.
Biraq, olardıń kemshilikleri de joq emes:
"Qara qutı" (black box) effekti: Ne ushın belgili bir qarar qabıl etilgenin túsindiriw qıyın.
Úyretiw ushın (ásirese baqlaw astında) úlken muǵdardaǵı belgilengen maǵlıwmatlardıń kerekligi.
Úyretiw procesiniń esaplaw resurslarına talapshańlıǵı (kúshli processorlar, GPUlar kerek bolıwı múmkin).
Tarmaq arxitekturasın hám úyreniw parametrlerin (giperparametrlerdi) tańlawdıń qıyınlıǵı.
Artıqsha úyrenip ketiw (overfitting) qáwipi, yaǵnıy tarmaqtıń tek úyretiwshi maǵlıwmatlardı jaqsı islep, jańa maǵlıwmatlarda nátiyjesiz bolıwı.
Jasalma neyron tarmaqlar – bul insan miyiniń jumıs islewinen ilhamlanǵan, maǵlıwmatlardan úyreniwge qábiletli kúshli esaplaw modelleri. Olar perceptron sıyaqlı ápiwayı modellerden baslap, búgingi kúndegi tereń konvolyuciyalıq hám rekurrent tarmaqlarǵa shekem rawajlandı. Ózleriniń úyreniw, ulıwmalastırıw hám qıyın baylanıslardı anıqlaw qábiliyetleri sebepli, JNTlar zamanagóy jasalma intellekttiń hám intellektual sistemalardıń ajıralmas bólegine aylandı hám keleshekte de olardıń áhmiyeti artıp barıwı sózsiz. Bul tarawdaǵı izertlewler belsendi dawam etpekte hám jańa, ele de nátiyjeli arxitekturalar hám úyreniw metodları jaratılmaqta.