Халықаралық ақпараттық технологиялар университеті

ƏОЖ004.31.43:004.6 Қолжазбақұқығында

Мукажанов нуржан какенұлы Əр түрлі құрылымды деректерді жедел аналитикалық өңдеу үдерістерінің ақпараттық-есептеуін қамтамасыз ету

6D070400 – Есептеу техникасы жəне бағдарламалық қамтамасыз ету Философия докторы (PhD)

ғылыми дəрежесін алу үшін дайындалған диссертация

Ғылыми кеңесшілер

техника ғылымдарының докторы, профессор Р.Қ. Өскенбаева

техника ғылымдарының кандидаты, қауымдастырылған профессор

Г.Ү. Бектемысова философия докторы (PhD),

профессор Артур Дитмар Байер

Қазақстан Республикасы Алматы, 2015

Мазмұны

НОРМАТИВТІК СІЛТЕМЕЛЕР.....................................................................4

АНЫҚТАМАЛАР............................................................................................... 5БЕЛГІЛЕУЛЕР МЕН ҚЫСҚАРТУЛАР....................................................... 7КІРІСПЕ............................................................................................................... 8

1. Деректерді аналитикалықөңдеудіңқазіргікездегіжай-күйі 14

   1. Деректерді аналитикалық өңдеудің шешімдерқабылдаудықолдау 14

жүйелеріндегі орыны мен рөлі.................................................................

2. Деректерді аналитикалық өңдеудің əдістері,технологияларыжəне 18

платформалары..........................................................................................

1. Деректерді аналитикалық өңдеудің негізгі əдістері жəне 19

технологиялары..........................................................................................

2. Деректерді аналитикалық өңдеудіңмасштабталғаншешімдері 37

1. Деректерді көп өлшемді жедел аналитикалықөңдеудіңмəселелері 44

жəне зерттеу тапсырмаларының қойылымы...........................................

1. бөлімбойыншатұжырым 47

2. Жедел аналитикалық өңдеулерүшінреляциялық жəне nosql деректерді бірыңғай құрылымға келтіру үлгілеріменəдістері 48

   1. Деректерді бірыңғай құрылымға келтіруəдістері.............................. 48

   2. Дереткер базалары моделдерініңерекшеліктері................................ 53

   3. Реляциялық жəне NoSQL деректерді бірыңғай құрылымға келтіру əдісінəзірлеу 65

2. Бөлімбойыншатұжырым 80

3. Деректерді жедел аналитикалықөңдеугеарналған деректер қоймасына тиімді деректер құрылымынəзірлеу 81

   1. Деректер қоймасы ішкіқұрлымыныңұйымдастырылуы.................... 81

   2. Аналитикалық деректерді өңдеудің көп өлшемді индекстік деректер құрылымынұйымдастыру 86

      1. Гипертекше деректеріне арналған көп өлшемді инексті құрылым құру 90

      2. Агрегациялық мəндерді есептеудің ағаш түріндегі құрылымын əзірлеу 95

      3. Көп өлшемді индексті құрылым бойыншадеректергеқатынауқұрлымын жəнеалгоритмінəзірлеу 98

3. Бөлімбойыншатұжырым 113

4. Əзірленген үлгілер,əдістержəнеалгоритмдердің ашық үкіметпорталыашықдеректерін аналитикалықөңдеудегіпрактикалықапробациясы 114

   1. Ақпараттық-аналитикалық жүйелердің мемлекеттік секторларда қолданылуы 114

      1. Деректерді жедел аналитикалық өңдеудің мемлекеттік секторда қолданылуы 116

   2. Ашық деректерді жедел аналитикалық өңдеудің ақпараттық- аналитикалықжүйесінəзірлеу 117

      1. Pentaho Community программалыққамтамасы 118

      2. Ашық деректерді жедел аналитикалық өңдеу жүйесі архитектурасы..120

      3. Деректерді аналитикалық өңдеу программалық əзірлемелері нəтижелері 122

4 Бөлімбойыншатұжырым 131

ҚОРЫТЫНДЫ 132

Пайдаланылғанəдебиеттертізімі 133

ҚОСЫМШАЛАР 141

Нормативтік сілтемелер

Бұл диссетртациялық жұмыста келесі стандарттарға сəйкес сілтемелер берілген:

"Диссертацияларды жəне авторефераттарды рəсімдеу бойынша нұсқаулық", ҚР БҒМ, Жоғары аттестаттау комитеті, 28 қыркүйек 2004 ж. №377- 3ж.

МЕМСТ 7.32.2001. – Ғылыми-зерттеу жұмыстары туралы есеп.

Ресімдеудің ережесі мен құрылымы. – Астана, 2001.

МЕМСТ 7.1-2003. Библиографиялық жазба. Библиографиялық сипаттама.

Құрастырудың жалпы талаптары мен ережелері.

ҚР СТ 34.003 -2002 Ақпараттық технологиялар. Ақпараттық жүйелердің мəліметтер базасының сапа көрсеткіштерінің номенклатурасы.

ҚР СТ 34.005-2002 Ақпараттық технология. Негізгі терминдер мен анықтаулар – Алғашқы рет енгізілген.

ҚР СТ. 34.015-2002 Ақпараттық технология. Автоматтандырылған жүйелердің стандарттар жинағы. АЖ құруға арналған техникалық тапсырма - Алғашқы рет енгізілген.

ҚР СТ 34.027-2006 Ақпараттық технологиялар. Бағдарламалық құралдардың классификациясы - Алғашқы рет енгізілген

МЕМСТ 34.321–96. Ақпараттық технологиялар. Деректер базасы бойынша стандарттар жүйесі. Деректерді басқарудың эталонды моделі. Минск, 2001.

ҚР МЕМСТ 52292-2007 Электронды ақпарат алмасу. Терминдер мен анықтаулар.