17-LEKCIYA_MDQI

17-Lekciya. Neyron tarmaqları, deep learning

Jobası:

1.Neyron tarmaqları haqqında

2.Deep Learning hám onıń túrleri

3.Python-da neyron tarmaqların programmalastırıw

Neyron tarmaqları hám deep learning - bul mashina oqıtıwınıń eń qızıqlı hám kúshli tárepleri bolıp tabıladı.

Neyron tarmaqları. Neyron tarmaqları - bul biologiyalıq neyronlardıń islewine tiykarlanǵan mashina oqıtıw modelleri. Olar tómendegi elementlerden ibarat:

Kirisiw qatlamı

Jasırın qatlamlar

Shıǵıs qatlamı

Neyronlar (túyinler)

Salmaqlı baylanıslar

Qısqasha tariyxı

1940-1950-jıllar: Dáslepki qádemler

1943: Warren McCulloch hám Walter Pitts birinshi jasalma neyron modelin usınıs etti.

1949: Donald Hebb "The Organization of Behavior" kitabında neyronlardıń oqıw processi haqqında teoriya usınıs etti.

1950-1960-jıllar: Perceptron dáwiri

1957: Frank Rosenblatt perceptron modelin islep shıqtı, bul birinshi ámeliy neyron tarmaq edi.

1969: Marvin Minsky hám Seymour Papert "Perceptrons" kitabında

perceptronlardıń sheklewlerin kórsetip berdi. 1970-1980-jıllar: AI qısı

Bul dáwirde neyron tarmaqlarına qızıǵıwshılıq hám qаrjılandırıw tómenledi.

1980-jıllar: Qayta oyanıw

1982: John Hopfield rekurrent neyron tarmaqların usınıs etti.

1986: David Rumelhart, Geoffrey Hinton hám Ronald Williams

backpropagation algoritmin qayta ashıp, kóp qatlamlı neyron tarmaqların oqıtıw usılın islep shıqtı.

1990-jıllar: Mashina oqıtıwınıń rawajlanıwı

Support Vector Machines (SVM) sıyaqlı basqa mashina oqıtıw usılları kóbirek qollanıla basladı.

1997: Yann LeCun hám basqalar LeNet konvolyuciyalıq neyron tarmaq arxitekturasın islep shıqtı.

2000-jıllar: Deep Learning dáwiriniń baslanıwı

2006: Geoffrey Hinton "deep belief networks" túsinigin kirgizdi.

2009: Fei-Fei Li hám basqalar ImageNet maǵlıwmatlar bazasın dúzdi. 2010-jıllar: Deep Learning revoluciyası

2012: Alex Krizhevsky, Ilya Sutskever hám Geoffrey Hinton AlexNet modelin jaratıp, ImageNet jarısında jeńiske eristi.

2014: Ian Goodfellow hám basqalar Generative Adversarial Networks (GANs) túsinigin kirgizdi.

2016: Google DeepMind kompaniyasınıń AlphaGo programması Go

oyınında dúnya chempionın jeńdi. 2020-jıllar: Úlken tillik modeller hám kóp modallı AI

2020: OpenAI GPT-3 modelin járıyaladı.

2022: OpenAI DALL-E 2 hám Stable Diffusion sıyaqlı tekst-súwret generaciya modellerin járiyaladı.

2022: Google DeepMind PaLM tillik modelin járiyaladı.

Bul tariyxıy rawajlanıw neyron tarmaqları hám deep learning texnologiyalarınıń tez pát penen ósip atırǵanın kórsetedi. Házirgi waqıtta bul taraw jáne de aktiv izertlenip atır hám jańa innovaciyalar payda bolmaqta.

Neyron tarmaqlarınıń islewi

1.Kirisiw maǵlıwmatları kirisiw qatlamına beriledi

2.Hár bir neyron aldınǵı qatlamnan kelgen maǵlıwmatlardı salmaqlı jıynaq sıpatında qabıl etedi

3.Neyron aktivaciya funkciyasın qollanıp, shıǵıs signalın jaratadı

4.Shıǵıs signalı keyingi qatlamǵa uzatıladı

5.Bul process shıǵıs qatlamına shekem dawam etedi

Deep Learning. Deep learning - bul kóp qatlamlı neyron tarmaqların qollanıwǵa tiykarlanǵan mashinalıq oqıtıw usılı. Ol tómendegi ózgesheliklerge iye:

Kóp sanlı jasırın qatlamlar

Úlken kólemdegi maǵlıwmatlar menen islew qábileti

Avtomatik túrde belgi ajıratıw

Joqarı dállikli nátiyjeler

Deep learning modelleri

Eń keń tarqalǵan deep learning modelleri:

Konvolyuciyalı neyron tarmaqları (CNN)

Rekurrent neyron tarmaqları (RNN)

Long Short-Term Memory (LSTM)

Generative Adversarial Networks (GAN)

Python-da neyron tarmaqların ámelge asırıw

Python-da neyron tarmaqların ámelge asırıw ushın kóbinese TensorFlow yamasa PyTorch kitapxanaları qollanıladı. Mısal:

import tensorflow as tf

from tensorflow import keras

model = keras.Sequential([ keras.layers.Dense(64, activation='relu',

input_shape=(784,)),

keras.layers.Dense(64, activation='relu'), keras.layers.Dense(10, activation='softmax')

])

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

model.fit(x_train, y_train, epochs=5)

Qollanıw tárepleri. Neyron tarmaqları hám deep learning tómendegi táreplerde keń qollanıladı:

Súwretlerdi tanıw hám klassifikaciyalaw

Tábiyiy tildi qayta islew

Awdarma sistemaları

Sóylewdi tanıw

Medicinada diagnoz qoyıw

Finanslıq analiz hám boljaw

Tómendegi mısalda biz MNIST maǵlıwmatlar toplamın qollanıp, qol menen jazılǵan sanlar klassifikaciyası ushın ápiwayı neyron tarmaǵın qurıw hám úyretiwdi kórsetemiz.

Kerekli kitapxanalardı júklew

import tensorflow as tf

from tensorflow import keras import numpy as np

import matplotlib.pyplot as plt

Maǵlıwmatlardı júklew hám tayarlaw

#MNIST maǵlıwmatlar toplamın júklew

(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data()

#Maǵlıwmatlardı normallashtırıw

x_train = x_train.astype("float32") / 255 x_test = x_test.astype("float32") / 255

# Maǵlıwmatlardı qayta ólshew

x_train = x_train.reshape(60000, 784) x_test = x_test.reshape(10000, 784)

Modeldi qurıw

model = keras.Sequential([ keras.layers.Dense(128, activation='relu',

input_shape=(784,)),

keras.layers.Dense(64, activation='relu'), keras.layers.Dense(10, activation='softmax')

])

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

Modeldi úyretiw

history = model.fit(x_train, y_train, epochs=5, validation_split=0.2)

Modeldi bahalaw

test_loss, test_acc = model.evaluate(x_test, y_test, verbose=2) print(f"Test dálligi: {test_acc:.4f}")

Nátiyjelerin vizualizaciyalaw

plt.plot(history.history['accuracy'], label='Úyretiw dálligi') plt.plot(history.history['val_accuracy'], label='Validaciya dálligi')

plt.xlabel('Epoxa')

plt.ylabel('Dállik')

plt.legend()

plt.show()

Boljaw

# Bir suwretti tańlaw image_index = 4567

image = x_test[image_index].reshape(1, 784) prediction = model.predict(image)

print(f"Modeldıń boljarı: {np.argmax(prediction)}") print(f"Haqıyqıy mánisi: {y_test[image_index]}")

# Suwretti kórsetiw plt.imshow(x_test[image_index].reshape(28, 28), cmap='gray') plt.show()

Bul mısal arqalı biz ápiwayı neyron tarmaǵın qurıw, úyretiw hám qollanıwdı kórdik. Bul model MNIST maǵlıwmatlar toplamındaǵı qol menen jazılǵan sanlardı tanıw wazıypasın orınlaydı. Siz bul kodtı ózgertiw arqalı basqa wazıypalar ushın da qollap kóriwińiz múmkin.

Neyron tarmaqları hám deep learning - bul házirgi waqıtta mashina oqıtıwınıń eń perspektivalı baǵdarları bolıp tabıladı. Olar quramalı máselelerde joqarı nátiyjelerge erisiwge múmkinshilik beredi hám kóplegen táreplerde revoluciyalıq ózgerislerge alıp kelmekte.

Baqlaw sorawları:

1.Neyron tarmaqları qanday elementlerden turadı?

2.Deep learning degen ne hám onıń qanday ózgeshelikleri bar?

3.Neyron tarmaqlarınıń islewiniń tiykarǵı basqıshların túsindirip beriń.

4.Eń keń tarqalǵan deep learning modelleriniń atların atap ótiń.

5.Python-da neyron tarmaqların ámelge asırıw ushın qanday tiykarǵı kitapxanalar qollanıladı?

6.MNIST maǵlıwmatlar toplamı neni ańlatadı hám ol qanday maqsette qollanıladı?

7.Neyron tarmaǵın úyretiw processinde 'epoch' túsinigi neni ańlatadı?

8.Neyron tarmaqları hám deep learning qanday táreplerde qollanıladı?

9.Ámeliy mısalda qollanılǵan 'activation' funkciyalarınıń atların atap ótiń hám

olardıń qaysı qatlamlarda qollanılǵanın túsindiriń.

10.Test dálligi menen validaciya dálliginiń ayırmashılıǵı nede?