1-LEKCIYA_MDQI

1-Lekciya. Maǵlıwmatlardı dáslepki qayta islew pánine kirisiw. Tiykarǵı túsinik hám táriypler.

JOBA

1.Maǵlıwmatlardı qayta islew kirisiw

2.OLAP sistemalar

3.OLAP sisteması arxitekturası

Tiykarg'ı túsinikler: Maǵlıwmatlardı qayta islew, maǵlıwmatlar qoyması, maǵlıwmatlardı tallaw, maǵlıwmatlar bólimi, biriktiriw, tereńlestiriw, OLAP sistemaları, OLAP serveri, OLAP klienti, MOLAP, ROLAP, HOLAP, DOLAP.

1. Maǵlıwmatlardı qayta islew kirisiw

2002-jılı Kaliforniya Berkli universiteti professorlarınıń esap-kitaplarına kóre, dúnyadaǵı maǵlıwmatlar muǵdarı bes milliard (5 000 000 000 000 000 000) baytqa ósken. Basqa esap-kitaplarǵa kóre, hár 2-3 jılda maǵlıwmat eki ese artadı. Usı maǵlıwmatlar aǵımı biznes, Internet hám basqa dereklerde keledi. 2003-jılı eń iri maǵlıwmatlar bazaları arasında France Telecom 30,000 milliard baytlıq DSS sistemasına hám 500,000 milliard baytlıq Alexa Internet arxivine iye edi. 1989-jılı shólkemlestirilgen maǵlıwmatlarda bilimlerdi ashıw boyınsha birinshi seminarda bir megabayt (1000000) úlken maǵlıwmatlar bazası kólemi dep esaplanǵan. Aqırǵı KDD 2003 konferentsiyasında bir bayanshı astronomiya ushın kóp terabaytlı maǵlıwmatlar bazasın talqıladı hám petabaytlar menen shuǵıllanıw zárúrligin boljadı (1 terabayt = 1000 milliard bayt hám 1 petabayt = 1000 terabayt). Informaciyanıń júdá kópligi sebepli onıń júdá az bólegin adam kózi kóre almaydı.

Usı maǵlıwmat okeanında paydalı nárseni túsiniw hám tabıwǵa bolǵan jeke úmitimiz - bul Data Mining usıllarınan keń paydalanıw. Maǵlıwmattı qazıp alıw texnologiyası (maǵlıwmatlarda maǵlıwmattı ashıw dep te ataladı) maǵlıwmatlar bazalarında jańa, haqıyqıy hám potencial paydalı bilimlerdi tabıw processin úyrenedi. Data Mining bir neshe pánler kesilispesinde jaylasqan bolıp, olardıń tiykarǵıları maǵlıwmatlar bazası sistemaları, statistika hám jasalma intellekt. Data Mining tarawı 1989-jıldaǵı bir seminardan 2003-jılda dúnyanıń kóplegen mamleketlerinde mıńlaǵan izertlewshiler qatnasıwındaǵı onlaǵan xalıqaralıq konferenciyalarǵa shekem ósti. Maǵlıwmatlardı islep shıǵıw maǵlıwmatlardıń

1

úlken kólemine iye bolǵan kóplegen tarawlarda keń qollanıladı: ilimde - astronomiya, biologiya, bioinformatika, medicina, fizika hám basqa tarawlarda; bizneste - sawda, telekommunikaciya, bank, sanaat islep shıǵarıw hám basqalar.

Internet sebepli Data Mining hár kúni sekundta mıńlaǵan ret qollanıladı - hár sapar birew Internettegi Google yamasa basqa izlew sistemalarınan paydalanǵanda. Izertlewshiler islep atırǵan maǵlıwmatlar túrleri tek ǵana sanlı maǵlıwmatlardı emes, al barǵan sayın kóbeyip baratırǵan tekst, súwret, video, dawıs hám basqalardı da óz ishine aladı. Data Miningtiń jańa hám tez rawajlanıp atırǵan bólimleriniń biri silteme talqılawı bolıp tabıladı. Ol bioinformatika, cifrlı kitapxanalar hám terrorizmnen qorǵanıw sıyaqlı hár qıylı tarawlarda qollanılıwı múmkin. Maǵlıwmatlar keńligi ushın matematikalıq hám statistikalıq usıllar tiykar bolıp xızmet etedi.

Maǵlıwmatlar qoyması. Maǵlıwmatlar qoyması (DW) túsinigi operaciyalıq qayta islew hám talqılaw máselelerın sheshiw ushın paydalanılatuǵın maǵlıwmatlardı ajıratıw ideyasına tiykarlanǵan. Bul talqılaw sistemalarında paydalanıw ushın saqlawǵa qoyılatuǵın talaplardı qanaatlandıratuǵın maǵlıwmatlar strukturalarınan paydalanıwǵa múmkinshilik beredi. Usı ajıratıw kirgiziwdi, ózgertiwdi, óshiriwdi hám izlewdi ámelge asırıw ushın onlayn saqlawdıń maǵlıwmatlar strukturaların (onlayn maǵlıwmatlar bazaları, fayllar, elektron kesteler hám basqalar) hám talqılaw ushın qollanılatuǵın maǵlıwmatlar strukturaların (analitikalıq sorawlardı orınlaw ushın) optimallastırıw imkaniyatın beredi. Usı eki túrdegi maǵlıwmatlar sáykes túrde operaciyalıq maǵlıwmatlar derekkózi (OID) hám maǵlıwmatlar qoyması dep ataladı.

Maǵlıwmatlar qoyması qararlar qabıl etiwdi qollap-quwatlawdı maqset etken, domenge tiyisli, integraciyalanǵan, ózgermeytuǵın, tariyxıy maǵlıwmatlar jıyındısı bolıp tabıladı.

HD formatındaǵı barlıq maǵlıwmatlar úsh tiykarǵı kategoriyaǵa bólingen:

•tolıq maǵlıwmatlar;

•jámlengen maǵlıwmatlar;

•metamaǵlıwmatlar.

Tolıq maǵlıwmatlar tuwrıdan-tuwrı OIDdan jiberiletuǵın maǵlıwmatlar bolıp tabıladı. Olar OLTP sistemaları tárepinen dizimge alınǵan elementar waqıyalarǵa sáykes keledi (mısalı, satıwlar, tájiriybeler hám basqalar). Barlıq maǵlıwmatlardı ólshemler hám faktlerge bóliw ádettegi jaǵday. Ólshemler - waqıyalardı táriyiplew ushın zárúr bolǵan maǵlıwmatlar jıynaǵı (mısalı, qalalar, tovarlar, adamlar hám basqalar). Faktler - waqıyanıń mánisin sáwlelendiriwshi

2

maǵlıwmatlar (mısalı, satılǵan tovarlar muǵdarı, tájiriybe nátiyjeleri hám basqalar). Haqıyqıy maǵlıwmatlar sanlı yamasa kategoriyalı mánisler sıpatında kórsetiliw múmkin.

Tolıq maǵlıwmatlarǵa tiykarlanıp, jámlengen (biriktirilgen) maǵlıwmatlardı alıw múmkin. Biriktiriw anıq ólshemler boyınsha sanlı haqıyqıy maǵlıwmatlardı jıynaw arqalı ámelge asadı.

CD menen islew qolaylılıǵı ushın onıń quramındaǵı maǵlıwmatlar haqqında maǵlıwmat talap etiledi. Bul maǵlıwmatlar metamaǵlıwmatlar (maǵlıwmatlar haqqında maǵlıwmatlar) dep ataladı.

Kóp ólshemli maǵlıwmatlar modeli. Maǵlıwmatlar qoyması (WD) konceptsiyasında maǵlıwmatlardı nátiyjeli talqılawdı shólkemlestiriw hám olarǵa kiriwdi támiyinlew menen baylanıslı sorawlar joq. Bul wazıypalar talqılaw tómengi sistemaları tárepinen sheshiledi.

Qarar qabıl etiw procesinde paydalanıwshı bazı gipotezalardı jaratadı. Olardı tolıq sheshimlerge aylandırıw ushın bul gipotezalardı sınap kóriw kerek. Gipotezanı tekserip kóriw talqılanıwı kerek bolǵan temanıń maǵlıwmatları tiykarında ámelge asırıladı. Qaǵıyda boyınsha, adam ushın bunday maǵlıwmatlardı usınıwdıń eń qolay usılı - bul bazı parametrler arasındaǵı qatnaslar. Mısalı, satıw kóleminiń aymaqqa, waqıtqa, ónim kategoriyasına hám basqalarǵa baylanıslılıǵı. Jáne bir mısal, sawıǵıp atırǵan nawqaslar sanınıń qollanılatuǵın emlewge, jasqa hám basqalarǵa baylanıslılıǵı.

Maǵlıwmatlardı talqılaw, sheshimlerdi izlew procesinde kóbinese hár qıylı parametrler arasında baylanıslıqtı jaratıw kerek boladı. Bunnan tısqarı, bunday parametrlerdiń sanı júdá úlken parıq etiwi múmkin. Joqarıda atap ótilgenindey, relyaciyalıq maǵlıwmatlar bazası kestesi túrinde berilgen maǵlıwmatlarda isleytuǵın dástúriy talqılaw quralları bunday talaplardı tolıq qanaatlandıra almaydı. 1993-jılı relyaciyalıq maǵlıwmatlar bazası modeliniń tiykarın salıwshısı E. Kodd onıń kemshiliklerın qarap shıqtı hám birinshi gezekte "maǵlıwmatlardı bir neshe ólshemler kóz-qarasınan, yaǵnıy maǵlıwmatlardı biriktiriw, kóriw hám talqılawdıń múmkin emesligin atap ótti. Talqılawshılar ushın eń túsinikli jol."

2. OLAP sistemalar

Kóp ózgeriwsheń maǵlıwmatlardı talqılaw túsiniki OLAP sistemaları járdeminde ámelge asırılatuǵın operativ talqılaw menen tıǵız baylanıslı.

3

OLAP (On-Line Analytical Processing) - bul qarar qabıl etiw proceslerin qollap-quwatlaw ushın kóp ólshemli maǵlıwmatlardı jıynaw, saqlawı hám talqılaw usılları hám qurallarınan paydalanatug'ın onlayn analitikalıq maǵlıwmatlardı qayta islew texnologiyası.

OLAP sistemalarınıń tiykarǵı maqseti analitikalıq xızmetti, paydalanıwshıtalqılawshılardıń óz betinshe (kóbinese ad-hoc ataması qollanıladı) sorawların qollap-quwatlawdan ibarat. OLAP talqılawınıń maqseti payda bolǵan gipotezalardı sınap kóriwden ibarat. OLAP texnologiyasınıń kelip shıǵıwında relyaciyalıq usıl tiykarın salıwshısı E. Kodd esaplanadı. 1993-jılı ol "Analitikalıq paydalanıwshılar ushın OLAP: bul qanday bolıwı kerek" atlı maqalasın baspadan shıǵardı. Bul maqala onlayn analitikalıq qayta islewdiń tiykarǵı túsiniklerın táriyipleydi hám onlayn analitikalıq islew beriwge ruqsat beriwshi ónimler tárepinen orınlanıwı kerek bolǵan tómendegi 12 talapti belgileydi.

Kontseptual kóp ólshemli maǵlıwmatlardı usınıw. 12 Codd qaǵıydası:

Tómende Kodd tárepinen OLAPtı anıqlaytug'ın 12 qaǵıyda keltirilgen:

-Kóp ólshemlilik. Konceptual dárejedegi OLAP sisteması maǵlıwmatlardı talqılaw hám qabıl etiw protseslerin ápiwayılastıratuǵın kóp ólshemli model túrinde usınıwı kerek.

-Ashıq aydınlıq. OLAP sisteması paydalanıwshıdan kóp ólshemli modeldiń haqıyqıy ámelge asırılıwın, shólkemlestiriw usılın, dereklerin, qayta islew hám saqlaw quralların jasırıwı kerek.

-Bar ekenligi. OLAP sisteması paydalanıwshıǵa maǵlıwmatlardıń qalay hám qayerde saqlanıwınan ǵárezsiz, oǵan kiriwdi támiyinlewshi jeke, izbe-iz hám operativ maǵlıwmatlar modelin usınıwı kerek.

-Esabatlardı islep shıǵıwda turaqlı ónimdarlıq. OLAP sistemalarınıń islewi talqılanatug'ın ólshemler sanınıń kóbeyiwi menen sezilerli dárejede jamanlaspawı kerek.

-Klient-server arxitekturası. OLAP sisteması klient-server ortalıǵında isley alıwı kerek, sebebi búgingi kúnde onlayn-analitikalıq qayta isleniwi kerek bolǵan maǵlıwmatlardıń kópshiligi bólistirilgen halda saqlanadı. Bul jerde tiykarǵı ideyadan ibarat, OLAP quralınıń server komponenti ashıqlıq tásirin támiyinlew ushın korporativ maǵlıwmatlar bazalarınıń hár qıylı logikalıq hám fizikalıq sxemaların ulıwmalastırıw hám birlestiriwge tiykarlanǵan ulıwma konceptual sxemanı qurıw ushın jetkilikli aqıllı bolıwı kerek.

4

-Ólshem teńligi. OLAP sisteması barlıq ólshemler teń bolǵan kóp ólshemli modeldi qollap-quwatlawı kerek. Eger kerek bolsa, ayırım ólshemlerge qosımsha qásiyetler beriliwi múmkin, biraq hár qanday ólshemde bunday imkániyat bolıwı kerek.

-Siyrek matricalardı dinamikalıq basqarıw. OLAP sisteması siyrek matricalar menen optimal isley alıwı kerek. Kiriw tezligi maǵlıwmatlar kletkaları ornalasıwınan ǵárezsiz saqlanıwı kerek hám hár qıylı ólshemler hám hár túrli dárejedegi maǵlıwmatlar siyreklik dárejesindegi modeller ushın turaqlı bolıwı kerek.

-Kóp oyınshı rejimin qollap-quwatlaw. OLAP sisteması bir neshe paydalanıwshılarǵa bir analitikalıq model menen birgelikte islew qábiletligin támiyinlewi yamasa olar ushın birdey maǵlıwmatlardan hár qıylı modellerdi jaratıwı kerek. Bunday jaǵdayda, maǵlıwmatlardı oqıw hám jazıw múmkin, sonlıqtan sistema olardıń pútinligi hám qáwipsizligin támiyinlewi kerek.

-Sheksiz krossoverlar. OLAP sisteması hár qanday kesiw, aylandırıw, biriktiriw yamasa detallastırıw operaciyaların orınlawda giperkub kletkaları arasında belgili bir rásmiy til járdeminde súwretlengen funktsional qatnasıqlardıń saqlawın támiyinlewi kerek. Sistema ornatılǵan qatnasıqlardı ózgertiwdi paydalanıwshıdan olardı qayta belgilewdi talap etpesten ǵárezsiz túrde (avtomatik túrde) ámelge asırıwı kerek.

-Intuitivlik maǵlıwmatlardı manipulyaciya etiw. OLAP sisteması paydalanıwshı kóplegen interfeys háreketlerinen ótpesten giperkubta kesiw, aylandırıw, biriktiriw hám burǵılaw operatsiyaların orınlaw usılın támiyinlewi kerek. Analitikalıq modelde anıqlanǵan ólshemler joqarıdaǵı operaciyalardı orınlaw ushın barlıq kerekli maǵlıwmatlardı óz ishine alıwı kerek.

-Adaptiv esabat variantları. OLAP sisteması maǵlıwmatlardı vizualizaciya qılıwdıń hár qıylı usılların qollap-quwatlawı kerek, yaǵnıy esabat quralları sintetizaciyalanǵan maǵlıwmatlar yamasa maǵlıwmatlar modelinen alınǵan maǵlıwmatlardı hár qanday múmkin bolǵan baǵdarda usınıwı kerek. Bul qatarlar, baǵanalar yamasa betler bir waqıttıń ózinde 0 dan N ge shekem bolǵan ólshemlerdi kórsetiwi kerek degenin ańlatadı, bul jerde N pútin analitikalıq modeldegi ólshemler sanı. Bunnan tısqarı, bir jazıw, baǵana yamasa bette kórsetilgen hár bir kontent ólshemi ólshemdegi elementlerdiń (mánislerdiń) hár qanday kishi toplamın qálegenlikten kórsetiwi kerek.

-Sheksiz ólshem hám jıynaw dárejeleri sanı. Analitikalıq modelde talap

etiletuǵın ólshemlerdiń múmkin bolǵan sanın úyreniw sonı kórsetti, bir waqıttıń

5

ózinde 19 ǵa shekem ólshemlerden paydalanıw múmkin. Sonlıqtan, analitikalıq qural bir waqıttıń ózinde keminde 15 hám qolaylıraq 20 ólshemdi támiyinley alıwı múmkinligi haqqındaǵı usınıs. Bunnan tısqarı, ulıwma ólshemlerdiń hár biri paydalanıwshı analitikalıq paydalanıwshı tárepinen anıqlanǵan jıynaw dárejeleri hám biriktiriw jolları sanı menen sheklenbewi kerek.

Qosımsha Kodd qaǵıydaları

OLAPtıń ámeliy anıqlaması bolıp xızmet etken Kodd qaǵıydaları jıyındısı kóbinese hár qıylı narazılıqlardı keltirib shıǵaradı, mısalı, 1, 2, 3, 6-qaǵıydalar - talaplar hám 10, 11-qaǵıydalar - rásmiylestirilmegen qálewler. Solay etip, sanalǵan 12 Kodd qaǵıydası OLAPtı anıq belgilewge múmkinshilik bermeydi.

1995-jılı Kodd usı dizimge tómendegi altı qaǵıydanı qostı:

1.Toplamdı shıǵarıw hám talqılaw. OLAP sisteması jergilikli hám sırtqı maǵlıwmatlarǵa birdey dárejede nátiyjeli kiriwdi támiyinlewi kerek.

2.Barlıq OLAP talqılaw modellerin qollap-quwatlaw. OLAP sisteması Kodd tárepinen belgilengen barlıq tórt maǵlıwmatlardı talqılaw modellerin qollapquwatlawı kerek: kategoriyalıq, sholıwshı, spekulyativ hám stereotip.

3.Normallastrılmaǵan maǵlıwmatlardı qayta islew. OLAP sisteması normallastrılmaǵan maǵlıwmatlar derekkózleri menen birlestirgen bolıwı kerek. OLAP ortalıǵında islengen maǵlıwmatlardı ózgertiwler tiykarǵı sırtqı sistemalarda saqlanǵan maǵlıwmatlardı ózgertpewi kerek.

4.OLAP nátiyjelerin saqlawı: olardı tiykarǵı maǵlıwmatlardan bólek saqlawı. Oqıw-jazıw rejiminde isleytuǵın OLAP sisteması, derektegi maǵlıwmatlardı ózgertkennnen keyin, nátiyjelerin bólek saqlawı kerek. Basqasha aytqanda, tiykarǵı maǵlıwmatlardıń qáwipsizligi támiyinleniwi kerek.

5.Joǵalǵan mánislerdi joq etiń. Paydalanıwshıǵa maǵlıwmatlardı usınıwshı OLAP sisteması barlıq jetispeytuǵın mánislerden bas tartwı kerek. Basqasha aytqanda, jetispeytuǵın mánisler nol mánislerden parıq qılıwı kerek.

6.Joǵalǵan mánislerdi qayta islew. OLAP sisteması derekkózinen ǵárezsiz, barlıq jetispeytuǵın mánislerdi itibarǵa almaslıǵı kerek. Bul qásiyet 17-qaǵıyda menen baylanıslı.

Bunnan tısqarı, E. Kodd barlıq 18 qaǵıydanı tómendegi tórt toparǵa ajırattı hám olardı qásiyetler dep atadı. Bul toparlar B, S, R hám D dep ataladı.

6

3. OLAP sisteması arxitekturası

OLAP sisteması eki tiykarǵı komponentti óz ishine aladı:

-OLAP serveri - maǵlıwmatlardı saqlawdı, olar ústinde kerekli operaciyalardı orınlawdı hám konceptual dárejede kóp ólshemli modeldi qáliplestiriwdi támiyinleydi. Házirgi waqıtta OLAP serverleri CD yamasa VD menen birlestiriligen;

-OLAP klienti - paydalanıwshıǵa kóp ólshemli maǵlıwmatlar modeline interfeysti usınadı, oǵan talqılaw wazıypaların orınlaw ushın maǵlıwmatlardı qolay basqarıw imkániyatın beredi.

OLAP serverleri aqırǵı paydalanıwshıdan kóp ólshemli model qalay ámelge asırılǵanlıǵın jasıradı. Olar giperkubti shólkemlestiredi, onıń járdeminde paydalanıwshılar OLAP klienti arqalı maǵlıwmatlardı talqılap, barlıq kerekli manipulyaciyalardı orınlaydı. Sonıń menen birge, ámelge asırıw usılı júdá áhmiyetli, sebebi ónimdarlıq hám iyelengen resurslar sıyaqlı qásiyetler oǵan baylanıslı. Ámelge asırıwdıń úsh tiykarǵı usılı bar:

-MOLAP - bul kóp ózgeriwsheń OLAP. Kóp ólshemli modeldi ámelge asırıw ushın kóp ólshemli maǵlıwmatlar bazasınan paydalanıladı;

-ROLAP - bul baylanıslı OLAP. Kóp ólshemli modeldi ámelge asırıw ushın relyaciyalıq maǵlıwmatlar bazaları qollanıladı;

-HOLAP gibrid OLAP esaplanadı. Kóp ólshemli modeldi ámelge asırıw ushın hám kóp ólshemli, hám relyaciyalıq maǵlıwmatlar bazalarınan paydalanıladı. Kóbinese OLAP sistemaları boyınsha ádebiyatlarda siz DOLAP hám JOLAP qısqartpaların tabıwıńız múmkin:

-DOLAP - jumıs stolı OLAP. Bul relyaciyalıq yamasa kóp ólshemli maǵlıwmatlar bazasınan klient mashinasına júklengen maǵlıwmatlardı jergilikli talqılaw hám usınıw ushın arnalǵan arzan hám paydalanıw ushın qolay OLAP sisteması;

-JOLAP - OLAP serverlerinde maǵlıwmatlar hám metamaǵlıwmatlardı jaratıw hám basqarıw ushın Java-ǵa tiykarlanǵan jańa birlesken OLAP-API baslaması. Tiykarǵı islep shıǵarıwshı - Hyperion Solutions. Usınıs etilip atırǵan API jamasınıń basqa aǵzaları arasında IBM, Oracle hám basqalar bar.

7

BAQLAW SORAWLARÍ

1.Dúnyada informaciya kólemi qalay ósip barmaqta?

2.Data Mining texnologiyası neni úyrenedi?

3.Maǵlıwmatlar qoyması konceptsiyasınıń ideyası nede?

4.CDdaǵı barlıq maǵlıwmatlardıń tiykarǵı kategoriyaları qanday?

5.Kóp ólshemli maǵlıwmatlar modeli qalay shólkemlestirilgen?

6.Qanday operaciyalar maǵlıwmatlardı birlestiriw hám tómenge túsiriwdi óz ishine aladı?

7.OLAP sistemalarınıń tiykarǵı maqseti ne?

8.12 Kodd qaǵıydaları ne?

9.Qosımsha Kodd qaǵıydalarında ne bar?

10.OLAP sistemasınıń tiykarǵı komponentleri qanday?

11.OLAP sistemaların ámelge asırıwdıń tiykarǵı usılları qanday?

8