Mashinalıq oqıtıw basqıshları
.pdfMashinalıq oqıtıw basqıshları: Tolıq qollanba
Mazmunı
Mashinalıq oqıtıw degen ne?
Mashinalıq oqıtıw basqıshları
Pythonda mashinalıq oqıtıw basqıshların qalay ámelge asırıw kerek?
Juwmaq
Mashinalıq oqıtıw - bul kúndelikli turmısımızdı áste-aqırın iyelep baratırǵan ilimniń ajayıp jańa tarawı. Maqsetli reklamalardan baslap, hátte rak kletkaların anıqlawǵa shekem, mashinalıq oqıtıw barlıq jerde qollanılmaqta. Ápiwayı kod blokları tárepinen orınlanatuǵın joqarı dárejeli wazıypalar "Mashinalıq oqıtıw qalay ámelge asırıladı?" degen sorawdı tuwdıradı.
"Mashinalıq oqıtıw basqıshların túsiniwdiń tolıq qollanbası" dep atalatuǵın bul sabaqlıqta siz mashinalıq oqıtıw modelin jaratıwda qatnasatuǵın basqıshlar menen tanısasız.
Mashinalıq oqıtıw degen ne?
Mashinalıq oqıtıw - bul arnawlı programmalastırılǵan sistemalardıń óz betinshe úyreniw hám jetilistiriw procesi bolıp tabıladı.
Mashinalıq oqıtıwdıń tiykarǵı maqseti - sistemanıń avtomatik túrde maǵlıwmat jıynawına hám sol maǵlıwmatlardı paydalanıp kóbirek úyreniwine járdem beretuǵın algoritmlerdi islep shıǵıw. Sistemalar jıynalǵan maǵlıwmatlardaǵı nızamlılıqlardı izlep tabıwı hám olardı ózi ushın áhmiyetli sheshimler qabıl etiw ushın qollanıwı kútiledi.
Ulıwma alǵanda, mashinalıq oqıtıw - sistemalardı adamlar sıyaqlı oylaw hám háreketleniw, adamǵa uqsas aqıl-oyın kórsetiw hám olarǵa miydi beriw degendi ańlatadı. Haqıyqıy dúnyada tómendegidey wazıypalardı orınlay alatuǵın mashinalıq oqıtıw modelleri bar:
Gmailda kórilgenindey, spamdi haqıyqıy xatlardan ajıratıw
Avtokorrekciyada kórilgenindey, grammatika hám orfografiya qátelerdi dúzetiw Mashinalıq oqıtıwdıń arqasında, dúnya sonday-aq tómendegidey wazıypalardı orınlaytuǵın, adamǵa uqsas oylaw qábiletin kórsetiw imkaniyatına iye sistemalardı da kórdi:
Obyekt hám súwretti tanıw Jalǵan xabarlardı anıqlaw
Jazba yamasa awızeki sózlerdi túsiniw
Veb-saytlardaǵı adamlar menen adamlar sıyaqlı qarım-qatnas jasaytuǵın botlar Ózi júretuǵın avtomobiller
Mashinalıq oqıtıw basqıshları
Mashinalarǵa aqıl-oy beriwdiń wazıypası qıyın hám múmkin emes bolıp kóriniwi múmkin. Biraq bul haqıyqatında júdá ańsat. Onı 7 tiykarǵı basqıshqa bóliwge boladı:
Maǵlıwmat jıynaw:
Bilgenińizdey, mashinalar dáslep siz bergen maǵlıwmatlardan úyrenedi. Mashinalıq oqıtıw modelińizdiń durıs nızamlılıqlardı taba alıwı ushın isenimli maǵlıwmatlardı jıynaw júdá áhmiyetli. Mashinaǵa beriletuǵın maǵlıwmatlardıń sapası modelińizdiń qanshelli anıq ekenligin anıqlaydı. Eger sizde nadurıs yamasa eskirgen maǵlıwmatlar bolsa, sizde nadurıs nátiyje yamasa áhmiyetli bolmaǵan boljawlar boladı.
Modelińizdiń nátiyjesine tikkeley tásir etetuǵın bolǵanlıqtan, isenimli dereklerden paydalanıwıńızǵa isenimli bolıń. Jaqsı maǵlıwmatlar tiyisli, joǵalǵan hám qaytalanǵan mánisler júdá az hám hár túrli kishi kategoriyalar/klasslardıń jaqsı kórsetilgen boladı.
2. Maǵlıwmatlardı tayarlaw:
Maǵlıwmatlarıńız bolǵannan keyin, olardı tayarlaw kerek. Bunı tómendegishe islewge boladı: Barlıq maǵlıwmatlarıńızdı birge jıynap, olardı qálegen tártipte jaylastırıw. Bul maǵlıwmatlardıń teń bólistirilgenine hám tártiptiń úyreniw procesine tásir etpewine járdem beredi.
Maǵlıwmatlardı tazalaw arqalı kerek emes maǵlıwmatlardı, joq mánislerdi, qatarlar menen baǵanalardı, qaytalanǵan mánislerdi, maǵlıwmat tipin ózgertiw t.b. alıp taslaw. Hátte maǵlıwmatlar toplamın qayta dúziw hám qatarlar menen baǵanalardı yamasa qatarlar menen baǵanalardıń indeksin ózgertiw de kerek bolıwı múmkin.
Maǵlıwmatlardıń qanday dúzilgenin túsiniw hám hár qıylı ózgeriwshiler menen klasslar arasındaǵı baylanıstı túsiniw ushın maǵlıwmatlardı kórkemlestiriw.
Tazalanǵan maǵlıwmatlardı eki toplamǵa bóliw - úyreniw toplamı hám sınaw toplamı. Úyreniw toplamı - bul modelińiz úyrenetuǵın toplam. Sınaw toplamı úyreniwden keyin modelińizdiń anıqlıǵın tekseriwde qollanıladı.
Mashinalıq oqıtıw - bul kúndelikli turmısqa áste-aqırın kirip atırǵan ilimniń ajayıp jańa tarawı. Maqsetli reklamalardan baslap, hátte rak kletkaların tanıwǵa shekem, mashinalıq oqıtıw hámme jerde bar. Ápiwayı kod blokları tárepinen orınlanatuǵın joqarı dárejeli wazıypalar "Mashinalıq oqıtıw qalay ámelge asırıladı?" degen sorawdı payda etedi.
Bul "Mashinalıq oqıtıw basqıshların túsiniw boyınsha tolıq qollanba" dep atalatuǵın sabaqlıqta, siz mashinalıq oqıtıw modelin jaratıwǵa baylanıslı basqıshlar menen tanısasız.
Sizdiń AI/ML káryerańız jaqın arada baslanadı!
JI injener magistrlik baǵdarlamasın izertleń
Mashinalıq oqıtıw degen ne?
Mashinalıq oqıtıw - bul arnawlı programmalastırılmay-aq, óz betinshe úyrenetuǵın hám jaqsılanatuǵın sistemalardı jaratıw procesi.
Mashinalıq oqıtıwdıń aqırǵı maqseti - avtomatik túrde maǵlıwmat jıynawǵa hám sol maǵlıwmatlardı paydalanıp kóbirek úyreniwge járdem beretuǵın algoritmlerdi islep shıǵıw. Sistemalardan jıynalatuǵın maǵlıwmatlardaǵı nızamlılıqlardı izlew hám olardı óz betinshe áhmiyetli sheshimler qabıl etiw ushın qollanıw kútiliwi kerek.
Ulıwma alǵanda, mashinalıq oqıtıw - bul sistemalardı adamlar sıyaqlı oylaw hám háreketleniwge, adamǵa uqsas aqıl-oyǵa iye bolıwǵa hám olarǵa miydi beriwge qaratılǵan. Haqıyqıy dúnyada tómendegidey wazıypalardı orınlay alatuǵın mashinalıq oqıtıw modelleri bar:
Gmail-de kóringenindey, spam xabarlardı haqıyqıy xabarlardan ajıratıw Avtomamlawda kóringenindey, grammatika hám orfografiya qátelerdi dúzetiw
Mashinalıq oqıtıwdıń arqasında, dúnya sonday da tańqalarlıq adamǵa uqsas oylaw qábiletine iye bolǵan dizayn sistemalardı kórdi, olar tómendegi wazıypalardı orınlaydı:
Obyektlerdi hám súwretlerdi tanıw
Jalǵan xabarlardı anıqlaw
Jazılǵan yamasa aytılǵan sózlerdi túsiniw
Veb-saytlarda adamlar menen adamlar sıyaqlı qarım-qatnas jasaytuǵın botlar Ózi júretuǵın avtomobiller
Mashinalıq oqıtıw basqıshları
Mashinalarǵa aqıl-oy beriw wazıypası qorqınıshlı hám múmkin emes bolıp kóriniwi múmkin. Biraq negizinde bul júdá ańsat. Onı 7 tiykarǵı basqıshqa bóliwge boladı:
Maǵlıwmat jıynaw:
Bilgenińizdey, mashinalar dáslep siz bergen maǵlıwmatlardan úyrenedi. Mashinalıq oqıtıw modelińiz durıs nızamlılıqlardı taba alıwı ushın, isenimli maǵlıwmatlardı jıynaw júdá áhmiyetli. Mashinaǵa beriletuǵın maǵlıwmatlardıń sapası modelińizdiń qanshelli anıq ekenligin anıqlaydı. Eger sizde nadurıs yamasa eskirgen maǵlıwmatlar bolsa, sizde nadurıs nátiyje yamasa áhmiyetsiz boljamlar boladı.
Modelińizdiń nátiyjesine tikkeley tásir etetuǵını sebepli, isenimli derektegi maǵlıwmatlardı paydalanıwıńızdı támiyinleń. Jaqsı maǵlıwmatlar tiyisli, joǵalǵan hám qaytalanǵan mánisler júdá az hám bar bolǵan hár qıylı kishkene kategoriyalar/klasslarǵa jaqsı wákillik etedi.
Biznes ushın Generativ AI Transformaciya Baǵdarlaması menen bizneste Gen AI strategiyaların ózlestiriń
BAǴDARLAMANÍ ÚYRENIŃ
Maǵlıwmatlardı tayarlaw:
Maǵlıwmatlarıńız bolǵannan keyin, olardı tayarlaw kerek. Bunı tómendegishe islewge boladı: Barlıq maǵlıwmatlarıńızdı biriktirip, olardı qáliplestirip tártipleń. Bul maǵlıwmatlardıń teń bólistiriliwine járdem beredi hám tártip úyreniw processi tásir etpeydi.
Maǵlıwmatlardı tazalaw arqalı kerek emes maǵlıwmatlardı, joq mánislerdi, qatarlardı hám baǵanalardı, qaytalanǵan mánislerdi, maǵlıwmat túrin ózgertiw t.b. alıp taslań. Hatteki maǵlıwmatlar toplamın qayta dúziw hám qatarlar menen baǵanalardıń ornın yamasa indeksin ózgertiwiń kerek bolıwı múmkin.
Maǵlıwmatlardıń qanday dúzilgenin túsiniw hám hár qıylı ózgeriwshiler menen klasslar arasındaǵı baylanıstı túsiniw ushın maǵlıwmatlardı kórkemlestiriń.
Tazalanǵan maǵlıwmatlardı eki toplamǵa bóliń - úyreniw toplamı hám sınaw toplamı. Úyreniw toplamı - modelińiz úyrenetuǵın toplam. Sınaw toplamı úyreniwden keyin modelińizdiń anıqlıǵın tekseriw ushın qollanıladı.
Model tańlaw:
Mashinalıq oqıtıw modeli mashinalıq oqıtıw algoritmın jıynaǵan maǵlıwmatlarǵa qollanǵannan keyingi alınatuǵın nátiyjelerin anıqlaydı. Qol astındaǵı wazıypaǵa tiyisli modeldi tańlaw áhmiyetli. Jıllar dawamında alımlar hám injenerler sóylewdi tanıw, súwretlerdi tanıw, boljamlar t.b. sıyaqlı hár qıylı wazıypalarǵa ılayıqlı hár túrli modeller islep shıqqan. Bunnan tısqarı, modelińizdiń sanlı yamasa kategoriyalı maǵlıwmatlarǵa ılayıqlı ekenligin kóriwińiz hám soǵan qarap tańlawıńız kerek.
Modeldi úyretiw:
Úyretiw - mashinalıq oqıtıwdaǵı eń áhmiyetli basqısh. Úyretiw waqtında, nızamlılıqlardı tabıw hám boljamlar jasaw ushın tayarlanǵan maǵlıwmatlardı mashinalıq oqıtıw modelińizge jiberiń. Nátiyjede, model maǵlıwmatlardan úyrenip, belgilengen wazıypanı orınlay aladı. Waqıt ótiwi menen, úyretiw arqalı, model boljawda jaqsıraq boladı.
Modeldi bahalaw:
Modelińizdi úyretkennen keyin, onıń qanday isleytuǵının tekseriw kerek. Bul burın kórilmegen maǵlıwmatlar tiykarında modeldiń iskerligin sınaw arqalı ámelge asırıladı. Qollanılatuǵın kórilmegen maǵlıwmatlar - aldın maǵlıwmatlarıńızdı bólgen waqtındaǵı sınaw toplamı. Eger sınaw úyretiw ushın qollanılǵan maǵlıwmatlar menen birge ótkerilse, anıq ólshemdi ala almaysız, sebebi model bul maǵlıwmatlarǵa álleqashan úyrengen hám burınǵıday nızamlılıqlardı tabadı. Bul sizge ádewir joqarı anıqlıqtı beredi.
Sınaw maǵlıwmatlarında qollanılǵanda, modelińizdiń qanday islep shıǵatuǵını hám onıń tezligi haqqında anıq ólshemdi alasız.
Parametrlerdi sazlaw:
Modelińizdi dúzip hám bahalap bolǵannan soń, onıń anıqlıǵın qanday da bir jol menen jaqsılaw múmkinshiligin kóriń. Bul modelińizdegi parametrlerdi sazlaw arqalı ámelge asırıladı. Parametrler - ádetde programma dúziwshi sheshim qabıl qılatuǵın modeldegi ózgeriwshiler. Parametrdiń belgili bir mánisinde anıqlıq eń joqarı boladı. Parametrlerdi sazlaw usı mánislerdi tabıwdı ańlatadı.
Boljamlar jasaw
Aqırında, boljamlardı anıq jasaw ushın modelińizdi kórilmegen maǵlıwmatlarda qollana alasız.
Python járdeminde mashinalıq oqıtıw basqıshların qanday ámelge asırıw kerek? Endi Python járdeminde mashinalıq oqıtıw modelin qanday ámelge asırıwdı kóresiz.
Bul mısalda, jıynalǵan maǵlıwmatlar qamsızlandırıw kompaniyasınan alınǵan bolıp, qamsızlandırıw muǵdarı belgilengende qanday ózgeriwshiler tásir etetuǵının kórsetedi. Bunı qollanıp, siz bir adam ushın qamsızlandırıw muǵdarın boljawıńız kerek boladı. Bul maǵlıwmatlar Kaggle.com saytınan alınǵan, ol jerde kóplegen isenimli maǵlıwmatlar toplamları bar.
Machine Learning Steps: A Complete Guide
Table of Contents
What Is Machine Learning?Machine Learning StepsHow to Implement Machine Learning Steps in Python?Conclusion
Machine Learning is a fantastic new branch of science that is slowly taking over day-to-day life. From targeted ads to even cancer cell recognition, machine learning is everywhere. The highlevel tasks performed by simple code blocks raise the question, "How is machine learning done?".
In this tutorial titled ‘The Complete Guide to Understanding Machine Learning Steps’, you will go through the steps involved in making a machine learning model.
What Is Machine Learning?
Machine learning is the process of making systems that learn and improve by themselves, by being specifically programmed.
The ultimate goal of machine learning is to design algorithms that automatically help a system gather data and use that data to learn more. Systems are expected to look for patterns in the data collected and use them to make vital decisions for themselves.
In general, machine learning is getting systems to think and act like humans, show human-like intelligence, and give them a brain. In the real world, there are existing machine learning models capable of tasks like :
Separating spam from actual emails, as seen in Gmail Correcting grammar and spelling mistakes, as seen in autocorrect
Thanks to machine learning, the world has also seen design systems capable of exhibiting uncanny human-like thinking, which performs tasks like:
Object and image recognition
Detecting fake news
Understanding written or spoken words
Bots on websites that interact with humans, like humans
Self-driven cars
Machine Learning Steps
The task of imparting intelligence to machines seems daunting and impossible. But it is actually really easy. It can be broken down into 7 major steps :
1. Collecting Data:
As you know, machines initially learn from the data that you give them. It is of the utmost importance to collect reliable data so that your machine learning model can find the correct patterns. The quality of the data that you feed to the machine will determine how accurate your model is. If you have incorrect or outdated data, you will have wrong outcomes or predictions which are not relevant.
Make sure you use data from a reliable source, as it will directly affect the outcome of your model. Good data is relevant, contains very few missing and repeated values, and has a good representation of the various subcategories/classes present.
2. Preparing the Data:
After you have your data, you have to prepare it. You can do this by :
Putting together all the data you have and randomizing it. This helps make sure that data is evenly distributed, and the ordering does not affect the learning process.
Cleaning the data to remove unwanted data, missing values, rows, and columns, duplicate values, data type conversion, etc. You might even have to restructure the dataset and change the rows and columns or index of rows and columns.
Visualize the data to understand how it is structured and understand the relationship between various variables and classes present.
Splitting the cleaned data into two sets - a training set and a testing set. The training set is the set your model learns from. A testing set is used to check the accuracy of your model after training.
Machine Learning is a fantastic new branch of science that is slowly taking over day-to-day life. From targeted ads to even cancer cell recognition, machine learning is everywhere. The highlevel tasks performed by simple code blocks raise the question, "How is machine learning done?".
In this tutorial titled ‘The Complete Guide to Understanding Machine Learning Steps’, you will go through the steps involved in making a machine learning model.
Your AI/ML Career is Just Around The Corner!
AI Engineer Master's ProgramEXPLORE PROGRAMYour AI/ML Career is Just Around The Corner!
What Is Machine Learning?
Machine learning is the process of making systems that learn and improve by themselves, by being specifically programmed.
The ultimate goal of machine learning is to design algorithms that automatically help a system gather data and use that data to learn more. Systems are expected to look for patterns in the data collected and use them to make vital decisions for themselves.
In general, machine learning is getting systems to think and act like humans, show human-like intelligence, and give them a brain. In the real world, there are existing machine learning models capable of tasks like :
Separating spam from actual emails, as seen in Gmail Correcting grammar and spelling mistakes, as seen in autocorrect
Thanks to machine learning, the world has also seen design systems capable of exhibiting uncanny human-like thinking, which performs tasks like:
Object and image recognition
Detecting fake news
Understanding written or spoken words
Bots on websites that interact with humans, like humans
Self-driven cars
Machine Learning Steps
The task of imparting intelligence to machines seems daunting and impossible. But it is actually really easy. It can be broken down into 7 major steps :
1. Collecting Data:
As you know, machines initially learn from the data that you give them. It is of the utmost importance to collect reliable data so that your machine learning model can find the correct patterns. The quality of the data that you feed to the machine will determine how accurate your model is. If you have incorrect or outdated data, you will have wrong outcomes or predictions which are not relevant.
Make sure you use data from a reliable source, as it will directly affect the outcome of your model. Good data is relevant, contains very few missing and repeated values, and has a good representation of the various subcategories/classes present.
Master Gen AI Strategies for Businesses with
Generative AI for Business Transformation ProgramEXPLORE PROGRAMMaster Gen AI Strategies for Businesses with
2. Preparing the Data:
After you have your data, you have to prepare it. You can do this by :
Putting together all the data you have and randomizing it. This helps make sure that data is evenly distributed, and the ordering does not affect the learning process.
Cleaning the data to remove unwanted data, missing values, rows, and columns, duplicate values, data type conversion, etc. You might even have to restructure the dataset and change the rows and columns or index of rows and columns.
Visualize the data to understand how it is structured and understand the relationship between various variables and classes present.
Splitting the cleaned data into two sets - a training set and a testing set. The training set is the set your model learns from. A testing set is used to check the accuracy of your model after training.
3. Choosing a Model:
A machine learning model determines the output you get after running a machine learning algorithm on the collected data. It is important to choose a model which is relevant to the task at hand. Over the years, scientists and engineers developed various models suited for different tasks like speech recognition, image recognition, prediction, etc. Apart from this, you also have to see if your model is suited for numerical or categorical data and choose accordingly.
4. Training the Model:
Training is the most important step in machine learning. In training, you pass the prepared data to your machine learning model to find patterns and make predictions. It results in the model learning from the data so that it can accomplish the task set. Over time, with training, the model gets better at predicting.
5. Evaluating the Model:
After training your model, you have to check to see how it’s performing. This is done by testing the performance of the model on previously unseen data. The unseen data used is the testing set that you split our data into earlier. If testing was done on the same data which is used for training, you will not get an accurate measure, as the model is already used to the data, and finds the same patterns in it, as it previously did. This will give you disproportionately high accuracy.
When used on testing data, you get an accurate measure of how your model will perform and its speed.
6. Parameter Tuning:
Once you have created and evaluated your model, see if its accuracy can be improved in any way. This is done by tuning the parameters present in your model. Parameters are the variables in the model that the programmer generally decides. At a particular value of your parameter, the accuracy will be the maximum. Parameter tuning refers to finding these values.
7. Making Predictions
In the end, you can use your model on unseen data to make predictions accurately.
How to Implement Machine Learning Steps in Python?
You will now see how to implement a machine learning model using Python.
In this example, data collected is from an insurance company, which tells you the variables that come into play when an insurance amount is set. Using this, you will have to predict the insurance amount for a person. This data was collected from Kaggle.com, which has many reliable datasets.
https://www.simplilearn.com/tutorials/machine-learning-tutorial/machine-learning-steps
Lesson 3.