3. Реляциялық жəне NoSql деректерді бірыңғай құрылымға келтіру əдісінəзірлеу

Деректерді аналитикалық өңдеу арқылы білімдерді алу осы сəттегі жəне көне деректерге сүйенеді. Көптеген ірі компанияларда, жеке ұйымдарда, мемлекеттік мекемелерде, банктерде жəне т.б. ұзақ жылдар бойы реляциялық үлгідегі, кестелік типтегі ДБ пайдаланылып кегендіктен, реляциялық базаларда аналитикалық тапсырмаларға қажетті білімдер жинақталған. Соңғы жылдарда, желілік технологиялар мен қыземттердің қарқынды дамуы, қолдану өзектілігінің артуына байланысты NoSQL-типіндегі деректер базалары кеңінен қолданылуда. Осыған байланысты, бастапқы дереккөздерде деректер əр түрлі құрылымды деп қарастырылады. Əр түрлі құрылымды деректер ретінде, бірінші бөлімде атап көрсеткендей, реляциялық, кілт-мəн, құжат-бағытталған жəне баған-бағытталған үлгілералынады.

Əр түрлі дереккөздердегі мəліметтерді көп өлшемді аналитикалық өңдеу мақсатында бірыңғай құрылымға келтіру əдісін əзірлеу келесі қадамдардан тұрады:

1. Əр түрлі деректер қорларынан деректерді іздеу шаблонын қалыптастыру;

2. Шаблон бойынша іздеу жүргізу жəне іздеу нəтижесінде алынған массив түріндегі деректерді map-фазағаберу.

3. Map-Reduce параллелді моделі арқылы əр түрлі таратылған түйіндердегі деректерді параллелдіөңдеу;

4. Reduce фазасында өңдеу нəтижесінде кілт-мəн түріндегі деректерден көп өлшемді талдаудағы бастапқы агрегациялық мəндерді алу жəне деректер қоймасынажүктеу.

Деректерді іздеу шаблонын қалыптастыру.Компьютерлік жүйелерде деректерді сақтау, өңдеу, іздеу, жүйелер арасында деректер алмасу жəне пайдаланушылардың қатынауы сияқты əрекеттерді жүзеге асыру деректер құрылымы мен қасиеттерінің нақты сипаттамаларын əзірлеу арқылы тиімді жəне қолайлы орындалады. Деректердің сипаттамалары пайдаланушы сұранымдарын қалыптастыруға, қажетті деректер бойынша іздеулер жүргізуге, талдаулар жасауға, ДБ мазмұнын түсіндіру жəне т.б. үшін қолданылады. Ақпаратты сипаттаудың мұндай түрін метадеректер деп атайды жəне

ақпараттың ресурстың ерекше түрі болып табылады [100 3-11 б.]. Сондықтан, іздеу шаблоны деректер қоймасындағы мета деректерді пайдалана отрырып, іздеу жүргізілетін ДБ деректерді сақтау құрылымы мен моделіне негізделініп əзірленуі қажет. Іздеу шаблонын қалыптастыруда алдымен бастапқы дереккөздері деректеріне қатынауды қарастырамыз. Деректер қоймасындағы өлшемдер мен өлшемдер элементтерін дереккөздерден қажетті мəліметтерді алуда сөздік ретінде пайдаланылады.

Реляциялық моделде құрылған ДБ-да деректер толық құрылымдандырылған түрде сақталынады жəне бұл моделде құрылған барлық ДБ SQL сұраным тілі арқылы жұмыс жасайды. Аталған моделдегі ДБ-ларына қажетті өңдеулер SQL командалары көмегімен жүзеге асырылады. Заманауи реляциялық ДББЖ-лерінде кез келген құрылымдандырылған деректерге қатынау, күрделі өңдеулерді жасауға мүмкіндік беретін бай SQL тілімен қатар түрлі аналитикалық функциялар əзірленгендіктен қажетті аналитикалық деректерді алу, түрлендіру, жүктеу дайын командалар арқылы оңай орындалады.

Құжат-бағытталған жəне баған-бағытталған ДБ-лары деректеріне қатынауда массив мүмкіндіктері қолданатындықтан, деректерге [r90 NoSQL туралы кітап] қатынау кілт арқылы орындалады. Осыған байланысты ассоциативті массив түрінде ұйымдастырылған деректерден қажетті аналитикалық деректерді "кілт" арқылы іздеу шаблоны əзірленеді. Деректерді іздеу шаблонына кілт мəндері арнайы əзірленген сөздіктен, ал ДБ-лар туралы ақпарат метадеректерден алынады. Дегенмен, таңдап алынған моделдерде массив түріндегі деректерге іздеу жүргізу жəне іздеу нəтижесінде табылған деректерді алу біркелкі жүзеге асырылмайды, сондықтан əр моделге арналған жеке ішкі əдістер əзірлеу қажет. NoSQL ДБ-лары ауқымды деректерді бір бірінен тəуелсіз таратылған түйіндерде сақтауға арналғандықтан іздеу нəтижесінде алынған мəліметтердің MapReduce параллелді моделінде өңдеуге бейім болуы. MapReduce параллельді моделінің басты ерекшелігі – деректерді кілт-мəн түрінде өңдейді жəне ауқымды деректерді өңдеуде мыңдаған есептеу түйіндерін параллелді жүктеуге мүмкіндік береді [63, 75]. Осыған байланысты, MapReduce моделінің мүмкіндіктерін көлемі жағынан ауқымды жəне құрылымы жағынан əр түрлі болып табылатын дереккөздерден бастапқы аналитикалық деректерді қалыптастыруда (дайындауда) пайдалану үшін іздеу шаблоны арқылы алынған деректер кілт-мəн түріне болуышарт.

Метадеректер– əдетте деректер туралы деректер ретінде түсіндіріледі. Бұл тек деректер құрамын, ұсыну құрылымын (форматын), сақтау орнын жəне басқа да беліглерін сипаттау ғана емес, сонымен қатар ол деректерді қолдайтын ақпараттық жүйелерді, технологияларды, қатынау əдістерін сипаттау [100 5 б. ]. Метадеректерді құру қосымша жұмыс мен ресурстарды талап етеді. Бірақ, деректер құндылығын арттырып, оларды пайдаланудың көпетеген мүмкіндіктерімен қатамасыз етеді. Бұл жұмыста метадеректер əр түрлі ДБ- ларынан аналиикалық деректерді іздеу шаблонының əр бір ДБ құрылымына бағытталған (арнайы) нұсқаларын əзірлеу үшін қолданылады.

Сөздік– іздеу нəтижесінде алынатын деректер нақты жəне пəндік салаға сəйкес болу үшін қолданылады. Деректерді іздеуде сөздіктерді қолдану тақырыптық іздеу деп те аталады. Бұл жұмыста сөздік элементтері ретінде пəндік салаға бағытталған деректер қоймасы өлшемдер кестелеріндегі жазбалар алынады. Сондақтан, сөздікті өлшемдерден жəне өлшемдерэлементтерінен

1 1 1 1

^{тұратын жиын деп аламыз:V= {{d}₁^,d₂^,d₃^,...,d_n^},d₁₌{m₁,m₂,m₃,...,m_k},^d₂

1

⁼{m

2

,m₂₂

,m₃₂

,...,m_k2

}^{, d}₃ ^={m₁₃

,m₂₃

,m₃₃

,...,m_k3

},…,

d_n{m_1n,m_2n,m_3n,...,m_kn}}. Мұндағы,V– сөздік,k₁,k₂,k₃,...,k_n- сəйкес

өлшемдердегі элементтер саны.

V- сөздіктегі өлшемдер саныn- ға тең, ал əр бір өлшемнің ішкі

i=1

жиындарындағы барлық элементтер санын қосынды түрінде берсек:^∑nk_i.

Мұндағы,k_i- сəйкес өлшемдердегі элементтер саны,i -1inаралығындағы

сандық мəн деп алсақ. Онда, сөздік қуаттылығын 1-формуламенанықтауға

болады.

n

|V|n_ki

i1

(2.6)

Деректерді жедел аналитикалық өңдеу деректерді көп өлшемді талдауға бағытталғандықтан, талдау деректерін əзірлеуде бір өлшемненn-өлшемдерге дейінгі мəліметтер өңделуі жəне олардың арасындағы қатынастарды беруді қажет етеді. Бұл деректерді көп өлшемді жедел талдау тұжырымдамасының басты ұстанымдардың бірі. Көп өлшемді деректер арасындағы өзара қатынастар бастапқы дереккөздерден анықталынып, ақырғы пайдаланушы сарапшы-маманға ұсынғанға дейін сақталынуы қажет. Бұл талапты жүзеге асыру үшін деректерді кілт арқылы іздеуде сөздіктегі өлшемдер жиыны бойынша 1 өлшемнен n-өлшемге дейінгі кілттер мөлшері (размері){(key₁),(key₂), (key₃),..., (key_i),..., (key_p),…,(key_j),…, (key_n), (key₁key₂), (key₁key₃),(key₁

key₄),..., (key_ikey_p),…, (key_pkey_j) ,…, (key_jkey_n),...,(key₁key₂key₃),(key₁key₂key₄),

(key₁key₂key₅) ,.., (key_ikey_pkey_j),…, (key_pkey_jkey_n),..., (key₁key₂key₃...key_n)}құрылады жəне барлық мөлшердегі кілттер бойынша іздеу жүргізіледі. Мұндағы,key_i, key_j, key_n- іздеуде пайдаланылатын кілт мəндері ретінде

алынатын сөздік элементтері, алi, p, j, n -^{1ipjn}- аралығындағысандық

мəндер. Кілттік мəндер ретінде текV(сөздік) – жиынының элементтері болып табылатын өлшемдер жəне өлшемдер элементтері пайдаланылады. Көп өлшемді кілттер арқылы көп өлшемді деректерді алу аналитикалық талдаулар барысында көрсеткіштер (өлшемдер - метрики) арасындағы арақатынасын (корреляцияны) сақтауға мүмкіндік береді. Бастапқы дереккөздерден аналитикаға қажетті деректерді іздеу метадеректерді жəне пəндік сала бойынша дайындалған аналитикалық өлшемдерден тұратын сөздікті пайдалана отырып арнайы əзірленген бір өлшемненn-өлшемдерге дейінгі іздеу шаблоны бойынша жүргізіледі.

Іздеу шаблоны– матедеректерді пайдалана отырып іздеу сұранымын сипаттау əдісі. Іздеу шаблоны метадеректерді жəне пəндік салаға бағытталған аналитикалық өлшемдер сөздігін пайдалана отырып, іздеулер жүргізілетін ДБ-

лары деректерді сақтау құрылымы мен моделіне негізделініп əзірленеді. Сөздік бойынша бір өлшемненn-өлшемдерге дейінгі іздеу шаблонын қалыптастыру келесі кезеңдерден тұрады.

- Өлшемдер бойынша іздеу шаблонын қалыптастыру.Бастапқы дереккөздерде деректер түрлі құрылымдарда болуына байланысты ізделінетін деректер кез келген мөлшерлерде болуы мүмкін. Осыған байланысты ДБ-на іздеу жүргізу шаблонын қалыптастыруда мүмкін болатын барлық мөлшерлер қарастырылуы қажет. Сөздікке жататын өлшемдер арқылы1өлшемненn-өлшем аралығында шаблон мөлшері (размері) əзірленетінін жоғарыда айтқан болатынбыз. Əр бір мөлшерге сəйкес келетін шаблонға өлшемдердің қайталаусыз комбинацияларынан тұратын бірнеше тізбек кіреді. Оларды бір мөлшерлі тізбектер жиыны деп қарастырамыз. Бір комбинацияға кіретін өлшемдер қайталанбауы қажет жəне бір мөлшердегі шаблонға кіретін комбинациялар да қайталаусыз болуы қажет. Бірдей деректердің қайталнып берілуі компьютер жадысынан қосымша ресурс алатыны белгілі, сол себепті сөздік элементтерінен құралатын іздеу шаблонындағы кілттік деректерді қайталаусыз беру қажет.

V- жиынындағы өлшемдер бойынша алынатын комбинациялар тізбектер жиыны (V^*) болып табылады жəне əр бір мөлшердегі комбинациялар қуатынc-деп беліглесек. Мұндағы, əр бір мөлшердегі өлшемдер комбинациясы қуатыс- қайталаусыз терулергк сəйкес келеді. Демек, 1-денn- мөлшер (размер) аралығындағы шаблон элементтерін қайталаусыз теру тізбектері арқылы анықтауға толық негіз бар жəне əр бір мөлшердегі тізбектерге кіретін өлшемдер жиынының ретті қайталаусыз қойылуын теру қасиетімен анықтауға болады.

Анықтама 1. n- элементтен тұратын жиын берілсін.n-элементтен тұратынАжиынының кез келгенс- элементтен тұратын ішкі жиыныn-элементті жиынныңс-теруі деп аталады.n- элементті жиынныңс- терулер

n

саныC^c

• арқылы белгіленеді [102,103].

Осыған сəйкес, n-элементтен тұратынD-өлшемдер жиынынан барлық 1-

ден n-ға дейінгі қиысуларды жазатын болсақ:

n-элементті D - өлшемдер жиынының барлық 1 өлшемді терулері:

D{d₁,d₂,d₃,...,d_n}_:^{d₁^}_,^{d₂^}_,{d₃}_,...,{d_n}_.

n-элементті D - өлшемдер жиынының барлық 2-өлшемді терулері:

D{d₁,d₂,d₃,...,d_n}:^{d₁^d₂^},{d₁d₃},^{d₁^d₄^},...,^{d_i^d_j^},...,_{djdn}. Мұндағы,i, j, -

^{1ijn}- аралығындағы сандық мəндер.

n-элементті D - өлшемдер жиынының барлық 3-өлшемді терулері:

D{d₁,d₂,d₃,...,d_n}:{d₁d₂d₃},{d₁d₂d₄},{d₁d₂d₅},...,^{d_i^d_p^d_j^},...,_{dpdjdn}.

Мұндағы,i, p, j, n -^1ip

...

^jn- аралығындағы сандық мəндер.

n-элементті D - өлшемдер жиынының барлық n-өлшемді терулері:

D{d₁,d₂,d₃,...,d_n}:{d₁d₂d₃...d_n}.

Сөздік элементтері болып табылатын барлық өлшемдер бойынша мүмкін болатын барлық терулерді алу нəтижесінде қайталаусыз өлшемдер тізбектері

жиынын аламыз:

V *={^{d₁^}_,^{d₂^}_,^{d₃^}

,...,^{dn},

^{d₁^d₂^},{d₁d₃},^{d₁^d₄^},...,^{d_i^d_j^}

,...,

{d_jd_n}_,

^{d₁^d₂^d₃^},{d₁^d₂^d₄^},{d₁^d₂^d₅^},...,{d_i^d_p^d_j^},...,{d_pd_jd_n}_,...,

{d₁d₂d₃...d_n}}.

Егер əр бірс-теруден алынатын тізбекжиынын

^*–депбелгілесек,

v

c

c

v

мұндағы жиынға кіретін əр бір тізбектің қуаттылығыс-ғатең. ^*

• əр бірс-

v

v

теруден алынатын тізбек жиындарыV *– барлық терулер бойынша алынған

тізбектер жиынының ішкі жиыны болып табылады:V*

= {v^*

^{* *},...,v^*},

1

n

2 3

сəйкесінше жиынның əр бір элементі ішкіжиыннантұрады: v^*={^{d}_,^{d}_,

1

^{d₃^}_,...,^{d_n^{}},v*={{dd},{d d},{dd},...,{d d},...,}{d d}^},v*

1

={{d d

2

d},

2 ¹² 13 ^{14 i j}

*

jn ³

1 2 3

^{d₁^d₂^d₄^},{d₁^d₂^d₅^},...,{d_i^d_p^d_j^},...,{d_pd_jd_n}^{},..., v}_n^={d₁^d₂^d₃^...d_n^}_.

Cөздікке кіретін өлшемдер жиыны бойынша əр бірс-теруден алынатын

тізбек саныс-терулер санынаC^cтең, яғни | v^*| =C^c.

n c n

Теорема 1. n-элементтен тұратын жиыннан алынатынс- терулер саны

C

^{c n!} [103,104].

ⁿ c!(nk)!

Қиысу саны қасиетін пайдаланып, іздеу шаблонында қолданылатын

өлшемдерден алынған барлық тізбектержиынының

| V*|

қуаттылығын 1-ден

n-терулер сандарының қосындысымен анықтауға болады (2-формула):

| V* |=

C¹⁺C²⁺C^3+,...,+Cⁿ

(2.7)

n n n n

Ескерту.Қайталаусыз теру саны қасиеттері бойынша,

^C0^1n-элементті

n

n

жиынның ішкі бос жиыны ретінде қарастырылады [104]. Ескеретін жағдай, қарастырылып отырған сөздік бойынша деректерді іздеу шаблонында сөздік элементі болып табылатын өлшемдерден теру қасиеттері бойынша алынатын комбинациялық тізбектер іздеу барысында нақты жəне қажетті аналитикалық өлшемдік деректерді алу (салыстыру арқылы алу) үшін пайдаланылады. Егер бастапқы дереккөздерден іздеу барысында шаблон бос тізбек бойынша іздеу жүргізсе ешқандай аналитикалық деректердің болмайтыны белгілі. Сондықтан, біздің жағдайда^C0^1- қиысу қасиеті қарастырылмайды.

1-ден n-өлшемді іздеу шаблоны тізбектеріне сəйкес кілттік мəндердіқалыптастыру.Іздеу шаблонында кілттік мəндер ретінде өлшемдердің ішкі жиын элементтері алынады. Келесі қадам өлшемдер теруінен алынған қайталаусыз тізбектер бойынша ары қарай өлшемдердің ішкі жиындары элементтерінің қиылысуларынан тұратын бір өлшемнен n-өлшемге дейінгі барлық ішкі тізбектерді алу. Өлшемдердің ішкі жиыныd₁=

{m₁₁

,m₂₁

,m₃₁

,...,m_k1},

^d₂⁼{m

1

2

,m₂₂

,m₃₂

,...,m_k2

}^,d₃^={m₁₃

,m₂₃

,m₃₃

,...,m_k3}

,…,

d_n{m_1n,m_2n,m_3n,...,m_kn}

- түрінде берілетіні белгілі. Сөздіктегі өлшемдер

жиынының ішкі жиындары элементтерінің қайталаусыз терулерінен алынған тізбектер іздеу шаблонында көп өлшемді кілт мəндерін береді. Осыған байланысты өлшемдердің ішкі жиын элементтерін кілт түріде жазсақ:

key₁₁

^m₁₁,

key₂₁

m₂₁key₃₁

^m₃₁,...,^key_k1

^m_k1,

key₁₂

^m₁₂,

key₂₂

^m₂₂,

key₃₂

^m_32,...,^key_k2

^m_k2,key₁₃

m₁₃,

key₂₃

m₂₃key₃₃

m₃₃,...,key_k3

m_k3,...,

key₁m₁,key₂m₂

,key₃m₃

,...,key m .

n n n

n n n

k_n k_n

Өлшемдердің қайтлаусыз тізбектерінен алынған іздеу шаблонындағы өлшемдер тізбектері бойынша өлшемдердің ішкі жиындарынан алынатын ішкі тізбектерді немесе кілттік тізбектерді қалыптастырсақ:

V *_={^{d₁^}_,{d₂}_,{d₃}_,...,{d_n}_,

^{d₁^d₂^},{d₁d₃},^{d₁^d₄^},...,^{d_i^d_j^},...,

{d_jd_n}_,

^{d₁^d₂^d₃^},{d₁^d₂^d₄^},{d₁^d₂^d₅^},...,{d_i^d_p^d_j^},...,{d_pd_jd_n}_,...,^{d₁^d₂^d₃^...d_n^}_}.

{d₁} ={^key,key ,^key ,...,^key }, {d₂} ={^key ,^key ,^key ,...,^key },

1₁ 2₁ 3₁ k₁ 1₂ 2₂ 3₂ k₂

{d₃} ={key ,

key ,

key ,...,

key }, ..., {d_n} ={key₁,key_2,

key₃,...,

key },

1₃

{d₁d₂}

2₃

= {(^key

3₃

key

k₃

), (^key

key

), (^key

key

n n

),..., (^key

n

key

k_n

)}, {d d} =

1₁ 1₂

1₁ 2₂

1₁ 3₂

k₁ k₂ 13

{(key key

), (key key

), (key key

),...,(key

key )}, {^dd

} = {(^{key key}

), (

1₁ 1₃

1₁ 2₃

1₁ 3₃

k₁ k₃ ¹⁴

1₁ 1₄

^key₁₁^key₂₄^{), (key}₁₁^key₃₄^{),..., (key}_k1^key_k4^{)} ,..., {d}_i^d_j^{} = {(}key_1ikey_1j^{), (key}_1i^key_2j^),

(key_1ikey_3j

),..., (key

_kikeykj

)}, ...,

{d_j

d_n}^={(key_1j

key_1n

), (key_1j

key_2n

),(key_1j

key_3n

),..., (key_kjkey_kn)},

{d₁d₂d₃}={(key₁₁key₁₂key_13), (key₁₁key₁₂key_23), (key₁₁key₁₂key_33),..., (

key_k1key_k2key_k3)},{d₁d₂d₄}={(^key₁₁^key₁₂^key₁₄), (^key₁₁^key₁₂^key₂₄), (^key₁₁^key₁₂^key₃₄

),...,(^{keykey key}

)},

{dd d}={(key

keykey

), (key keykey

), (

k₁ k₂ k₄

1 2 5

1₁ 1₂ 1₅

1₁ 1₂ 2₅

key₁₁key_12key35), ..., (key_k1key_k2key_k5)}, ...,

{d_id_pd_j}

^{= {(key}_1ikey1pkey1j^{), (}

key_1ikey_1p

key_2j

^{), (key}_1ikey_1p

key_3j

^{), ..., (}key_ki

key_kp

key_kj

)},...,

{d_pd

_jd_n}

={(

key_1p

key_1j

key_1n

), (key_1p

key_1j

key_2n

), (key_1p

key_1j

key_3n

), ..., (key_kp

key_kj

key_kn

)},

...,

{d₁d₂d₃...d_n}

= {(key₁₁key_12key13...key_1n), (key₁₁key_12key13...key_2n), (

key₁key₁key₁...key₃

) , ..., (key

key key ...key

)}.

1 2 3 n

k₁ k₂ k₃ k_n

Нəтижесінде кілттік тізбектер жиынын (V^key) аламыз:V^key={(^key),(^key ),

1₁ 2₁

(^key ), ...,(key ), ...,(^key ), ...,(^key ), ...,(^key ), ..., (^keykey ), (^keykey ),

3₁ k₁

k₂ k₃

k_n 1₁ 1₂

1₁ 2₂

(^{key key}

^.), ..., (^{key key}

), ...,(^{key key}

), ..., (key keykey

), (key key key

1₁ 3₂

k_i k_j

k_j k_n

1₁ 1₂ 1₃

1₁ 1₂ 2₃

), (key₁₁

key₁₂

key₃₃

), ..., (^key_ki

key_kp

key_kj

), ..., (^key_kp

key_kj

key_kn

), (

key_k1key_k2key_k3...key_kn)}

Келтірілген кілт тізбектеріндегі əр бір кілт мəндері гипертекше өсінің

белгілі бір координатасына сəйкес келеді

key₁₁_,

^{key ,}

2

1

key

3

1

^,...,

^{key },...,^key

^,...,

key

,...,key

,^{key key}

^,^{keykey },

k₁ k₂

k₃ k_n

1₁ 1₂

1₁ 2₂

key key

^.,...,^{key key}

^,...,

keykey

^,...,

keykeykey ,

1₁ 3₂

k_i k_j

k_j k_n

1₁ 1₂ 1₃

key₁₁

key₁₂

key₂₃,

key₁₁

key₁₂

key₃₃

,...,

key_ki

key_kp

key_kj

^,...,

key_kp

key_kj

key_kn

^,...,

key_k1

key_k2

key_k3

...key_kn

. Текше өсікоординаталары

сөздік ретінде алынған өлшемдер элементтері (members) арқылы анықталады.

Бастапқы дереккөздерден іздеу барысында пайдаланылатын барлық кілттік тізбектер көлемі аса үлкен болса, көп операцияны жəне үлкен көлемді жадыны талап етеді. Іздеу шаблоны бойынша алынатын барлық өлшемдер тізбектектері бойынша қалыптастырылатын мүмкін болатын барлық кілттік тізбектер санын анықтасақ. Жиындар теориясы бойынша қарастырсақ, барлық кілттік мəндер тізбектері саны (N_v) кілттік мəндер тізбектері жиынының қуаттылығына теңN_v

=|V^key|.

Барлық мүмкін болатын кілттік тізбектер саны барлық мөлшердегі (1- мөлшерденn-мөлшерге дейін) кілттік тізбектер сандарының қосындысына тең. Əр бір мөлшердегі кілттік тізбектер саны, сол мөлшердегі қайталаусыз терулер қасиеті бойынша алынған барлық өлшемдер комбинацияларынан алынатын кілттік тізбектер сандарының қосындысына тең. Ал, өлшемдердің əр бір комбинациясынан алынатын кілттік тізбектер саны комбинацияға кіретін өлшемдердің ішкі жиын элементтері сандарының көбейтіндісіне тең. Əр бір өлшемдегі ішкі жиын элементтері саныk₁k₂k₃,..., k_n– түрінде белгіленген. Онда, мүмкін болатын барлық кілттік тізбектердің санын келесідегідей түрде жазуға болады(2.8-формула):

n

N_v_k_i

_k_i*k_j

_k_i*k_j

k_p,...,k₁*k₂*k₃*...*k_n

(2.8)

i1 1ijn 1ijpn

Тізбек бойынша алынған əр түрлі мөлшердегі жəне мүмкін болатын барлық кілттік мəндер тізбектері көлемі аса үлкен болса, көп операцияны жəне үлкен көлемді жадыны талап етеді. Бұл тапсырманы жеңілдету үшін мөлшері ең үлкен кілттер бойынша іздеу жасап, кілттік тізбекке кіретін барлық мəндерді қарастыру. Егер кілттік тізбекте бар сөздікке сəйкес қандайда бір жазба табылса, жазбаның мөлшерін анықтау, мөлшеріне жəне жазба өлшемдеріне тура келетін шаблон бойынша құрастырылған тізбекті кілт ретіндеменшіктеу.

Деректерді іздеу шаблонын жəне сөздіктерден алынатын тілдік тізбекті деректер қоймасы серверінде немесе бастапқы дереккөздер болып табылатын ДБ орналасқан түйіндерде қалыптастыруға болады.

Егер барлық түйіндердегі ДБ құрылымы бірдей болса жəне шаблон бойынша алынатын сөздік пен тілдік тізбектердің мөлшері аса үлкен болмаған жағдайда, шаблонды деректер қоймасы серверінде қалыптастырып, барлық түйіндер үшін бір шаблонды экземплярлау арқылы барлық түйіндерден іздеу үшін пайдалануға болады.

Егер түйіндердегі ДБ-лары құрылымдар əр түрлі болса жəне шаблон бойынша алынатын сөздік пен тілдік тізбектердің мөлшері аса үлкен болған жағдайда шаблондарды əр түйінде жеке қалыптастырған тиімді. Біріншіден, деректер қоймасы серверінде мыңдаған түйіндерге арналған мыңдаған шаблонды қалыптастыру бір серверге үлкен жүктеме түсіреді жəне деректер базасы сервері мұндай үлкен жүктемені қолдай алмауы да мүмкін. Екінші, əр бір ДБ құрылымына арналған шаблон, сөздік жəне тілдік тізбек сақтау үшін жады ресурсын қажет етеді. Мыңдаған түйінге арналған шаблон, сөздік жəне тілдік тізбек ресурстарын сақтау көлемді жадыны талап етеді жəне оларды желі арқылы түйіндерге көшірмелеу желіге түсетін жүктемелерді арттырады. Аталған мəселелерге байланысты деректерді іздеу образын əр түйінде жеке қалыптастыру жүзеге асырылады. Əр түйін деректер қоймасынан сөздік элементтері болып табылатын өлшемдер мен өлшемдер элементтерін алады жəне ДБ құрылымына байланысты көп өлшемді іздеу образы (шаблоны) қалыптастырылады.

Іздеу барысында тек шаблонға жəне сөздікте бар элементтерге сəйкес келетін деректер жұп жазбалардан тұратын "кілт-мəн" түріндегі тізімдерге келтіріліп, алынады. Кілттер сөздік арқылы қалыптастырылған тілдегі тізбектерге сəйкес келеді, ал мəн сандық көрсеткіш болады. Мəнді алу қойылған тапсырмаға сəйкес жүргізіледі. Іздеу барысында сөздік бойынша құрастылыған кілтке сəйкес табылған жазбадан сандық мəн алынады. Сандық мəн ретінде белгілі бір өрістегі нақты сандық көрсеткіштер, құжаттағы немесе өрістегі кілттік сөздер саны, жазбалар арасындағы байланыстар (мысалы, ДБ жазбалардың байланысы арқылы қатынастардың сандық көрсеткішін беру) жəне т.б. алынуымүмкін.

Қалыптастырылған шаблон бойынша деректерді іздеу.Қалыптастырылған кілттік тізбектермен салыстыру арқылы барлық ДБ- ларындағы жазбаларға іздеу (оқу) жүгізіледі де, тек сəйкес жазбалар ғана алынады. Жоғарыда айтылғандай деректерді іздеуде ассоциативті массив мүмкіндіктері қолданылады. Ассоциативті массивтің негізгі мүмкіндіктері деректерге "символ" жəне "жол" типіндегі кілттермен қатынауға мүмкіндік береді, сонымен қатар көп өлшемді кілттерді қолдайды. Өлшемдер жиыны жəне өлшемдер жиынының ішкі жиындары элементтері терулері бойынша алынған кілттік мəндер тізбектері ассоциативті массив кілттеріне сəйкес келетіндіктен деректерді іздеу жəне алу үшін ассоциативті массив мүмкіндіктерін пайдалануға толық негіз бар. Деректер массивінен қажетті1-өлшемненn- өлшемге дейінгі аналитикалық деректерді іздеу сұранымы образын қалыптасыру үшін шаблон бойынша алдын ала қалыптастырылған кілттік тізбектер пайдаланылады. Іздеу сұранымы образы нақты деректер құрылымына байланысты қалыптастырылуықажет.

Ұсынылып отырған шаблон бойынша NoSQL ДБ-ларынан іздеу əдісі іздеу нəтижесінде алынатын деректерді бір өлшемді жəне көп өлшемді "кілттерден" тұратын "кілт...->мəн" тізімі түрінде береді. Ідеу барысында кілттік мəндерден тұратын тізбектер жиыны элементтері ассоциативті массив кілттері мəндері ретінде пайдаланылады.1-денn-өлшемдерге дейінгі кілттер бойыншаіздеу

нəтижесін келесідегідей түрде жазуға болады:

mass_d1{[key₁₁]value}_,

mass

{[key

]value}_,mass1{[key_1]value}_,...,

mass{[key]value}

, ...,

1 1

d₁ 2₁ d 3 d k

mass_d

{[key_k]value}

mass {[key

]value}

mass {[key

]value}

2 2 ^,...,

d₃ k₃

,...,

d_n k_n

, ^mass

{[key][key

]value}_,

mass {[key][key ]value}

,

12 1 2

d₁d₂

1₁ 1₂

dd 1 2

mass

{[key

][key

]value}_,...,massi

{[key][key

j i

]value}

j

,...,

d₁d₂

1₁ 3₂

dd k k

mass

{[key ][key

]value}_,

mass

1 2

{[key][key][key]value}

,

3 1 2 3

d_jd_n

k_j k_n

d d d

1 1 1

mass

{[key][key ][key

]value}_,

mass

1 2

{[key][key ][key ]value}

3 1 2 3

d₁d₂d₃

1₁ 1₂ 2₃

d d d

1 1 3

_{,...,massdidpdj{[}key_ki][key_kp][key_kj]value}_,

mass_dpdjdn{[key_kp][key_kj][key_kn]

value},...,

^massd₁d₃d₃...d_n

{[key_k1

][key_k2

][key_k3

]...[key_kn

]value}.

Мұндағы,mass– массив атты,оның

^d₁^d₂^d₃^...d_n-төменгі индексі массив

мөлшерін (размерін) береді. Əр массив бір мөлшердегі кілттер мəндерін сақтайды. Бір кілтке сəйкес келетін бірнеше мəндер анықталынуы мүмкін, олардың барлығы тізімге жинақталынады. Жоғарыда келтірілген іздеу шаблонын қалыптастыру жəне шаблон бойынша бастапқы дереккөздерден аналитикалық деректерді алу сұлбасы 2.8 – суретте келтірілген.

Сурет 2.8 – Іздеу шаблонын қалыптастыру жəне шаблон бойынша бастапқы дереккөздерден аналитикалық деректерді алу сұлбасы

Келесі қадам алынған массив түріндегі деректерді MapReduce параллелді моделі бойынша өңдеу. Map Reduce моделі деректерді екі фаза, Map-фазасы жəне Reduce-фазасы бойынша өңдейді.

Іздеу нəтижесінде алынған деректерді Map-фазада өңдеу.Іздеу нəтижесінде алынған массив түріндегі деректер map фазаға кіріс деректері ретінде қабылданады.Map(f, l)фаза f – функциядан жəнеl– тізімнен тұрады. map-фазаға f - функция қабылданған тізімнің əр бірэлементін {mass[key] ->

value} бір-бірінен тəуелсіз

map{key^in,vⁱⁿ}-түрінде сақтайды. Бір түйінде

m m

бірнеше

map{keyⁱⁿ,vⁱⁿ}-функциясыныңэкземплярлары жүктелінеді жəне əрбір

m m

функция экземплярындағы "кілт" мəні іздеу нəтижесінде алынған массивтің бір

"кілті" мəніне сəйкес келеді:

mass{[key

^{]value}=>map}{([key^new]in,v^in)}

mass{[key

]value}

d₁ 1₁

1₁ m m _,

d₁ 2₁

^=>map{([key^new]in,v^in)}

mass{[key

^{]value}=>}map{([key^new]ⁱⁿ,vⁱⁿ)}

2₁ m m _,

d₁ 3₁

3₁ m m

, ...

mass_d{[key_k

^{]value}=>map}{([key^new]in,v^in)}

mass_d

{[key_k

^{]value}}=>

1

{([

1

new_]in_,

in_)}

k₁ m m

,...,

2 2

newin in

map

key_k2

m^vm

,...,

^mass_d3^{[key_k3^{]value}}=>map{([key_k3

]_m,v_m)},...,

mass {[key ]value}=>map{([key^new]in,v^in)},...,

d_n k_n k_n m m

mass_dd{[key₁][key₁

^{]value}=>}

map{([key^newkey^new]ⁱⁿ,vⁱⁿ)}_,

12 1 2

1₁ 1₂ m m

mass_dd{[key₁][key₂

^{]value}=>}

map{([key^newkey^new]ⁱⁿ,vⁱⁿ)}_,

12 1 2

1₁ 2₂ m m

mass

{[key][key

^{]value}=>}

map{([key^newkey^new]ⁱⁿ,vⁱⁿ)}_,...,

d₁d₂

1₁ 3₂

1₁ 3₂ m m

mass

{[key][key

^{]value}}=>

map{([key^newkey^new]ⁱⁿ,vⁱⁿ)}

d_id_j

k_i k_j

k_{i kj} m m

,...,

mass

{[key ][key

^{]value}}=>

map{([key^newkey^new]ⁱⁿ,vⁱⁿ)} ,

d_jd_n

k_j k_n

k_{j kn} m m

mass

{[key

][key

][key

^{]value}}=>map{([key^newkey^newkey^new]ⁱⁿ,vⁱⁿ)},

d₁d₂d₃

1₁ 1₂ 1₃

1₁ 1₂

1₃ m m

mass

{[key

][key

][key

^{]value}}=>map{([key^newkey^newkey^new]ⁱⁿ,vⁱⁿ)}

d₁d₂d₃

1₁ 1₂ 2₃

1₁ 1₂

2₃ m m _,

mass

{[key

][key

][key

^{]value}}=>map{([key^newkey^newkey^new]ⁱⁿ,vⁱⁿ)}

d₁d₂d₃

1₁ 1₂ 3₃

1₁ 1₂

3₃ m m

,...,

^mass_didpdj^{[key_ki^][key_kp^][key_kj^{]value}}=>

{([

new

new

new_]in_,

in₎

map

key_ki

key_kp

key_kj

m^vm

,...,

mass_dpdjdn{[key_kp][key_kj][key_kn]value}

^=> {([

new

new

new_]in_,

in₎

map

key_kp

key_kj

key_kn

m^vm

,...,

^massd₁d₃d₃...d_n

{[key_k1

][key_k2

][key_k3

]...[key_kn

^{]value}}=>

{([

new

new

new'_...

new_]in_,

in_)}

map

key_k1

key_k2

key_k3

key_kn

m^vm ^.

Барлық

map{keyⁱⁿ,vⁱⁿ}- түріндегі деректер шығыс деректері болып,map-

m m

фаза орындалған түйінде сақталынады. Шығыс деректері келесідегідей түрде жазылады:

map{([key^new]^out,v^out)}^,

map{([key^new]^out,v^out)}^,

map{([key^new]^out,v^out)}^,...,

1₁ m m

2₁ m m

3₁ m m

{([

new_]out_,

out_)}

new

out

out

new

out

out

map

key_k1

m^vm

,...,

map{([key_k2

]_m,v_m

)}^,...,

map{([key_k3

]_m,v_m

)},...,

{([

new_]out_,

out_)}

new

new

out

out

map

key_kn

m^vm

,...,

map{([key₁₁

key₁₂

]_m,v_m

)}_,

map{([key^{newkeynew]out,}v^{out)} map{([keynewkeynew]out,vout)}}

1₁ 2₂ m m _,

1₁ 3₂ m m

,...,

map

{([

_keynew

k

i

key

new_]out_,

m

k_j

_vout)}

,...,

map{([key^new

k

j

key

new

k_n

outm

_,vout

)}^,

m

m

]

map{([key^newkey^newkey^new]^out,v^out)},map{([key^newkey^newkey^new]^out,v^out)}

1₁ 1₂

1₃ m m

1₁ 1₂

2₃ m m _,

map{([key^newkey^newkey^new]^out,v^out)}

{([

new

new

new_]out_,

out_)}

1₁ 1₂

3₃ m m

,...,

map

key_ki

key_kp

key_kj

m^vm

,...,

{([

new

new

new_]out_,

out_)}

new

new

new'

new

out

out

map

key_kp

key_kj

key_kn

m^vm

,...,map{([key_k1

key_k2

key_k3

...key_kn

]_m,v_m

)}.

Əр бірmap()– функция арқылы барлық түйіндердегі ДБ-ларынан іздеу нəтижесінде алынған деректерді{key,value}- түріндегі тізімге келтіру əр түрлі құрылымда сақталынатын жəне түрлі моделде ұсынылатын деректерді біріктіре өңдеуге жəне бірегей құрылымға (форматқа) келтіруге мүмкіндік береді.

Деректерді Reduce-фазада өңдеу. Map-фазасынан алынған шығыс

деректермассиві map{key^out,v^out}Reduce-фазасына кіріс деректеріретінде

m m

_{ in_,in}

reduce key_rv_r- функциясына қабылданады. Кластердің барлықтүйіндерінде

бірдейreduce()- функциясы экземплярлары жүктелінеді.

map{([key^new]^out,v^out)}^=>reduce{([key^new]ⁱⁿ,vⁱⁿ)}^,

1₁ m m 1₁ r r

map{([key^new]^out,v^out)}^=>reduce{([key^new]ⁱⁿ,vⁱⁿ)}

2₁ m m

2₁ r r _,

map{([key^new]^out,v^out)}^=>reduce{([key^new]ⁱⁿ,vⁱⁿ)}

k

...,

3₁ m m

3₁ r r _,

{([

new_]out_,

out_)}

newin in

map

k

...,

key_k1

m^vm

^=>reduce{([key

1

]_r,v_r

)}^,

{([

new_]out_,

out_)}

newin in

map

...,

key_k2

m^vm

^=>reduce{([key

2

]_r,v_r

)}^,

{([

new_]out_,

out_)}

newin in

map

...,

key_k3

m^vm

=>reduce{([key_k3

]_r,v_r

)},

{([

new_]out_,

out_)}

newin in

map

key_kn

m^vm

=>map{([key_kn

]_r,v_r)}

map{([key^newkey^new]^out,v^out)}^=>reduce{([key^newkey^new]ⁱⁿ,vⁱⁿ)}^,

1₁ 1₂ m m 1₁ 1₂ r r

map{([key^newkey^new]^out,v^out)}^=>reduce{([key^newkey^new]ⁱⁿ,vⁱⁿ)}^,

1₁ 2₂ m m 1₁ 2₂ r r

map{([key^newkey^new]^out,v^out)}^=>reduce{([key^newkey^new]ⁱⁿ,vⁱⁿ)}^,

m

r

r

]

...,

1₁ 3₂ m m

1₁ 3₂ r r

map

...,

{([

_keynew

k

i

key

new_]out_,

m

k_j

_vout)}

^=>reduce{([key^new

k

i

key

new

k_j

in_,vin

)}^,

map

{([

_keynew

k

j

key

new_]out_,

m

k_n

_vout)}

^=>reduce{([key^new

k

j

key

new

k_n

in_,vin

)}^,

m

r

r

]

map{([key^newkey^newkey^new]^out,v^out)}=>reduce{([key^newkey^newkey^new]ⁱⁿ,vⁱⁿ)}

1₁ 1₂

1₃ m m

1₁ 1₂

1₃ r r _,

map{([key^newkey^newkey^new]^out,v^out)}=>reduce{([key^newkey^newkey^new]ⁱⁿ,vⁱⁿ)}

1₁ 1₂

2₃ m m

1₁ 1₂

2₃ r r _,

map{([key^newkey^newkey^new]^out,v^out)}=>reduce{([key^newkey^newkey^new]ⁱⁿ,vⁱⁿ)},

1₁ 1₂

3₃ m m

1₁ 1₂

3₃ r r

...,

{([

new

new

new_]out_,

out_)}

k

new

new

newin in

map

k

...,

key_ki

key_kp

key_kj

m^vm

^=>reduce{([key

i

key_kp

key_kj

]_r,v_r

)}^,

{([

new

new

new_]out_,

out_)}

new

new

newin in

map

...,

key_kp

key_kj

key_kn

m^vm

^=>reduce{([key

p

key_kj

key_kn

]_r,v_r

)}^,

{([

new

new

new_...

new_]out_,

out_)}

map

key_k1

key_k2

key_k3

key_kn

_mvm =>

{([

new

new

new_...

new_]in_,

in_)}

reduce

key_k1

key_k2

key_k3

key_kn

r^vr

Деректерді

reduce{keyⁱⁿ,vⁱⁿ}

– функциясына қабылдау аяқталғаннан кейін

r r

барлық түйіндер бойынша кілттерінің мəндері бірдей жұптарды біріктіру

(агрегациялау) жүзеге асырылады:

1. Барлықтүйіндердекілтмəндерібойыншасұрыптаужүргізілуарқылы

кілттердің мəндері бірдей болатын

{key^in,vⁱⁿ}жұптар топтастырылады.

r r

Топтастырылған жұптарды төмендегідей белігілеулер түрінде беруге болады:

^{([key^new]ⁱⁿ,vⁱⁿ)^,([key^new]ⁱⁿ,vⁱⁿ)^,([key^new]ⁱⁿ,vⁱⁿ)^,...,([key^new]ⁱⁿ,vⁱⁿ)^{}, {}

1₁ r r₁

1₁ r r₂

1₁ r r₃

1₁ r r_a

([key^new]ⁱⁿ,vⁱⁿ)^,

([key^new]in,v^in),([key^new]^in,v^in),...,

([key^new]ⁱⁿ,vⁱⁿ)}, {

2₁ r r₁

2₁ r r₂

2₁ r r₃

2₁ r r_a

([key^new]ⁱⁿ,vⁱⁿ)^,

([key^new]in,v^in),([key^new]^in,v^in),...,

([key^new]ⁱⁿ,vⁱⁿ)},..., {

3₁ r r₁

3₁ r r₂

3₁ r r₃

3₁ r r_a

_([ new_]in_,

in₎

newin in

newin in

newin in

k

r

key

1

new]in,in)	keynew]in, k2 r	in newin	vin),..., r3	([keynew]in, k2 r	vinra
new]in,in) new]in,in)	keynew]in, k3 r new in	vin),([keynew]in, r2 k3 r in newin	vin),..., r3 in	([keynew]in, k3 r new in	vinra in

([

^v₁^,([key_k1

]_r,v_r2)^,

([key_k1

]_r,v

r

3

^),...,

([key_k1

]_r,v_ra

)},..., {

r

key_k2

([key_k3

([key_kn

r^vr₁

r^vr₁

r^vr₁

, ([

,([

,([key_kn

v_r2),

]_r,v_r2),

([key_k2

([key_kn

]_r,

]_r,v_r3),...,

([key_kn

)},..., {

)},..., {

]_r,v_ra)}, {

([key^newkey^new]in,vⁱⁿ⁾,

([key^newkey^new]in,vⁱⁿ⁾,

([key^newkey^new]ⁱⁿ,vⁱⁿ),...,

1₁ 1₂ r r₁

1₁ 1₂ r r₂

1₁ 1₂ r r₃

_([ new

new_]in_,

in₎

new

newin in

new

newin in

1

key

1

key

1

r

2

v_a}, { ([key₁₁

key₂₂

]_r,v_r1) ,

([key₁₁

key₂₂

]_r,v_r2) ,

r

{([key^newkey^new]ⁱⁿ,vⁱⁿ)},...,([key^newkey^new]ⁱⁿ,vⁱⁿ)}, {^{([keynewkeynew]in,vin)},

1₁ 2₂ r r₃

1₁ 2₂ r r_a

1₁ 3₂ r r₁

([key^newkey^new]in,vⁱⁿ⁾,

([key^{newkeynew]in,}vⁱⁿ⁾,...,

([key^newkey^new]ⁱⁿ,vⁱⁿ)},..., {

1₁ 3₂ r r₂

1₁ 3₂ r r₃

1₁ 3₂ r r_a

k

([key^new

i

key

new_]in_,

r

k_j

_vin₎

r

1

^,([key^new

k

i

key

new

k

k_j

in_,vin

r

r

]

2

)^,([key^new

k

i

key

new

k_j

in_,vin

r

r

]

3

₎,...,

_([ new

new_]in_,

in₎

new

newin in

new

newin in

key_ki

key

k_j

r^vr_a

},..., {_([key

j

key

]

k_n

]_r,v_r1)^,

([key_kj

key

k_n

]_r,v_r2)^,

k

([key^new

key

new_]in_,

_vin)

r

3

,...,

([key^new

key

new

in_,vin

)^},{([key

new

key

new

key

new

_]in

,vⁱⁿ),

r

j k_n

j k_n a

1₁ 1₂

1₃ r r₁

r

r

k

([key^newkey^newkey^new]in,v^in),([key^{newkeynewkeynew]in,}v^in),...,([key^newkey^newkey^new]in,vⁱⁿ⁾

1₁ 1₂

1₃ r r₂

1₁ 1₂

1₃ r r₃

1₁ 1₂

1₃ r r_a

^{}, {}([key^newkey^newkey^new]ⁱⁿ,vⁱⁿ)^,([key^newkey^newkey^new]ⁱⁿ,vⁱⁿ)^,([key^newkey^newkey^new]ⁱⁿ,vⁱⁿ)

1₁ 1₂

2₃ r r₁

1₁ 1₂

2₃ r r₂

1₁ 1₂

2_3r r₃

^,...,([

new

new

new_]in_,

in₎

new

new

newin in

key₁₁

key₁₂

key₂₃

r^vr_a

^{}, {}([key

1

key₁₂

key₃₃

]_r,v_r1)^,

1

k

([key^newkey^newkey^new]ⁱⁿ,vⁱⁿ)^{,([keynewkeynewkeynew]in,vin),...,}

1₁ 1₂

3₃ r r₂

1₁ 1₂

3₃ r r₃

_([ new

new

new_]in_,

in₎

new

new

newin in

key₁₁

key₁₂

key₃₃

r^vr_a

^{},..., {}([key

i

key_kp

key_kj

]_r,v_r1)^,

_([ new

new

new_]in_,

in₎

new

new

newin in

k

key_ki

key_kp

key_kj

r^vr₂

^,([key_ki

key_kp

key_kj

]_r,v_r3)^,...,

_([ new

new

new_]in_,

in₎

new

new

newin in

key_ki

key_kp

key_kj

r^vr_a

^{},..., {}([key

p

key_kj

key_kn

]_r,v_r1)^,

_([ new

new

new_]in_,

in₎

new

new

newin in

key_kp

key_kj

key_kn

r^vr₂

^,([key_kp

key_kj

key_kn

]_r,v_r3)^,...,

_([ new

new

new_]in_,

in₎

new

new

new

newin in

key_kp

key_kj

key_kn

r^vr_a

},..., {([key_k1

key_k2

key_k3

...key_kn

]_r,v_r1),

_([ new

new

new_...

new_]in_,

in₎

new

new

new

newin in

key_k1

key_k2

key_k3

key_kn

r^vr₂

,([key_k1

key_k2

key_k3

...key_kn

]_r,v_r3),...,

_([ new new

new_... new_]in_,

in₎

key_k1key_k2

key_k3key_kn

_rv_ra}.

Мұндағы, a – төменгі индексі əр бір кілтке сəйкес келетін жəне агрегацияланатын бірнеше мəндердің санын беретін айнымалымəн.

2. Кілт мəндері бірдей жұптарды біріктіру. Біріктіруді төмендегідей белгілеулер түрінде беругеболады:

reduce([key^new]ⁱⁿ,{vⁱⁿ,vⁱⁿ,vⁱⁿ,...,vⁱⁿ})=>^{reduce([keynew]out,vagr)},

1₁ r

r₁ r₂ r₃ r_a

1₁ r r

reduce([key^new]ⁱⁿ,{vⁱⁿ,vⁱⁿ,vⁱⁿ,...,vⁱⁿ}) =>reduce([key^new]^out,v^agr) ,

2₁ r

r₁ r₂ r₃ r_a

2₁ r r

reduce([key^new]ⁱⁿ,{vⁱⁿ,vⁱⁿ,vⁱⁿ,...,vⁱⁿ})=>^{reduce([keynew]out,vagr)},

...

3₁ r

r₁ r₂ r₃ r_a

3₁ r r

reduce([key^new]ⁱⁿ,{vⁱⁿ,vⁱⁿ,vⁱⁿ,...,vⁱⁿ})=>^{reduce([keynew]out,vagr)},

...

k₁ r

r₁ r₂ r₃ r_a

k₁ r r

reduce([key^new]ⁱⁿ,{vⁱⁿ,vⁱⁿ,vⁱⁿ,...,vⁱⁿ})=>^{reduce([keynew]out,vagr)},

...

k₂ r

r₁ r₂ r₃ r_a

k₂ r r

reduce([key^new]ⁱⁿ,{vⁱⁿ,vⁱⁿ,vⁱⁿ,...,vⁱⁿ})=>reduce([key^new]^out,v^agr),

...

k₃ r

r₁ r₂ r₃ r_a

k₃ r r

reduce([key^new]ⁱⁿ,{vⁱⁿ,vⁱⁿ,vⁱⁿ,...,vⁱⁿ})=>reduce([key^new]^out,v^agr),

k_n r

r₁ r₂ r₃ r_a

k_n r r

_([ new

new_]in_,{

in_,

in_,

ⁱⁿ,...,

in_})

reduce

key₁₁

key₁₂

r ^vr₁

v_r2

v_r3

v_ra=>

reduce([key^newkey^new]^out,v^agr) ,

1₁ 1₂ r r

new

new

reduce([key₁ key₂ ^']in,{v^in,v^in,v^in,...,v^in})=>

1 2 ^r

r₁ r₂ r₃ r_a

reduce([key^newkey^new]^out,v^agr) ,

1₁ 2₂ r r

new new

^reduce([key₁ ^key₃ ^{']in,{vin,vin,vin,...,vin})=>}

1 2 ^r

r₁ r₂ r₃ r_a

reduce([key^newkey^new]^out,v^agr) ,

...

1₁ 3₂ r r

_([ new

new'_]in_,{

in_,

in_,

ⁱⁿ,...,

in_})

reduce

key_ki

key_kj

r ^vr₁

v_r2

v_r3

^v_ra =>

_([ new

new_]out_,agr₎

reduce

...

key_ki

key_{kj r} v_r ^,

_([ new

new'_]in_,{

in_,

in_,

^in,...,

in_})

reduce

key_kj

key_kn

r ^vr₁

v_r2

v_r3

^v_ra=>

_([ new

new_]out_,

agr₎

reduce key_kj

([

key_kn

new

r ^vr ^,

new new_]in_,{

in_,

in_,

ⁱⁿ,...,

in_})

reduce

key₁₁

key₁₂key₁₃

r ^vr₁

v_r2

v_r3

v_ra=>

reduce([key^newkey^newkey^new]^out,v^agr),

1₁ 1₂ 1₃ r r

_([ new new new_]in_,{in,

in_,

ⁱⁿ,...,

in_})

reduce key_{11key12key23 r} v_r1

v_r2

v_r3

^v_ra =>

reduce([key^newkey^newkey^new]^out,v^agr),

1₁ 1₂ 2₃ r r

_([ new new new_]in_,{in_,

in_,

ⁱⁿ,...,

in_})

reduce

key₁₁key_{12key33 r} v_r1

v_r2

v_r3

v_ra=>

reduce([key^newkey^newkey^new]^out,v^agr),

1₁ 1₂ 3₃ r r

...,

_([ new new new_]in_,{

in_,

in_,

ⁱⁿ,...,

in_})

reduce

([

key_ki

new

key_kp

new

key_kj

new_]out_,

r ^vr₁

agr₎

v_r2

v_r3

v_ra^=>

reduce key_ki

...,

([

key_kpkey_kj

new new

r ^vr ^,

new_]in_,{in_,

in_,

^in,...,

in_})

reduce

key_kpkey_kj

key_{kn r} v_r1

v_r2

v_r3

^v_ra =>

_([ new

new new_]out_,

agr₎

reduce key_kp

...,

([

key_kjkey_kn

new new

r

new_...

v_{r ,}

new_]in_,{

in_,

in_,

ⁱⁿ,...,

in_})

reduce

key_k1

key_k2

key_k3

key_{kn r}

v_r1

v_r2

v_r3

v_ra=>

_([ new

new

new_...

new_]out_, agr₎

reduce

key_k1

key_k2

key_k3

key_{kn r} v_r .

Кілттердің мəндері бірдей болатын

{keyⁱⁿ,vⁱⁿ}жұптар бір түйін ішінде де

r r

кездесуі мүмкін. Сондықтан деректер көлемі үлкен болған жағадайда желі арқылы процессорлар арасына жіберілетін деректер көлемін азайту үшінəр

түйінде сəйкес

{keyⁱⁿ,vⁱⁿ} -жұптарды біріктіру, алынған нəтижені {key^out,v^out}

r r r r

барлық түйіндер бойынша есептелінетінreduce()-функцияға қайта жіберіп

_{ out_,out_}

_{ in_,in}

key_r v_r

key_rv_r

орындауға болады. Соңғыreduce()-функциядан

агрегациялық мəндерді аламыз (^{{keyin,vin}{keyout,vagr}}).

r r r r

Reduce() функциясы нəтижесінде алынған соңғы шығыс деректері

₍ out_,agr)

out

key_r v_r

деректер қоймасына жазылады. Деректер қоймасына

^key_r-

r

агрегациялық деректерге қатынау кілті болып жазылады, ал агрегациялық (преарегациялық мəн) мəндер болып жазылады.

^vagr-бастапқы

Жоғарыда келтірілген əр түрлі ДБ-ларынан деректерді кілт-мəн түрінде

алу, алынған деректерді MapReduce параллелді моделі бойынша өңдеу арқылы бастапқы агрегациялық мəндерді есептеу сұлба түрінде 2.9-суретте көрсетілген.

Сурет 2.9 – Əр түрлі SQL жəне NoSQL ДБ-ларынан деректерді кілт-мəн түрінде алу, алынған деректерді MapReduce

параллелді моделі бойынша өңдеу арқылы бастапқы агрегациялық мəндерді есептеу сұлбасы

79