- •Мукажанов нуржан какенұлы Əр түрлі құрылымды деректерді жедел аналитикалық өңдеу үдерістерінің ақпараттық-есептеуін қамтамасыз ету
- •6D070400 – Есептеу техникасы жəне бағдарламалық қамтамасыз ету Философия докторы (PhD)
- •Мазмұны
- •Деректерді аналитикалықөңдеудіңқазіргікездегіжай-күйі 14
- •Жедел аналитикалық өңдеулерүшінреляциялық жəне nosql деректерді бірыңғай құрылымға келтіру үлгілеріменəдістері 48
- •Бөлімбойыншатұжырым 80
- •Деректерді жедел аналитикалықөңдеугеарналған деректер қоймасына тиімді деректер құрылымынəзірлеу 81
- •Бөлімбойыншатұжырым 113
- •Əзірленген үлгілер,əдістержəнеалгоритмдердің ашық үкіметпорталыашықдеректерін аналитикалықөңдеудегіпрактикалықапробациясы 114
- •4 Бөлімбойыншатұжырым 131
- •Пайдаланылғанəдебиеттертізімі 133
- •Нормативтік сілтемелер
- •Анықтамалар
- •Белгілеулер мен қысқартулар
- •Диссертациялық жұмысты қорғауға келесі нəтижелер шығарылады
- •Деректерді аналитикалық өңдеудің қазіргі кездегі жай-күйі
- •Деректерді аналитикалық өңдеудің шешімдер қабылдауды қолдау жүйелеріндегі орыны менрөлі
- •Деректерді аналитикалық өңдеудің əдістері, технологиялары жəне платформалары
- •Деректерді көп өлшемді жедел аналитикалық өңдеудің мəселелері жəне зерттеу тапсырмаларыныңқойылымы
- •Бөлім бойыншатұжырым
- •Жедел аналитикалық өңдеулер үшін реляциялық жəне nosql деректерді бірыңғай құрылымға келтіру үлгілері менəдістері
- •Деректерді бірыңғай құрылымға келтіруəдістері
- •Деректер базалары моделдерініңерекшеліктері
- •Реляциялық жəне NoSql деректерді бірыңғай құрылымға келтіру əдісінəзірлеу
- •Бөлім бойыншатұжырым
- •Деректерді жедел аналитикалық өңдеуге арналған деректер қоймасына тиімді деректер құрылымын əзірлеу
- •Деректер қоймасы ішкі құрлымыныңұйымдастырылуы
- •Аналитикалық деректерді өңдеудің көп өлшемді индекстік деректер құрылымынұйымдастыру
- •Агрегациялық мəндерді есептеудің ағаш түріндегі құрылымын əзірлеу
- •Бөлім бойыншатұжырым
- •Əзірленген үлгілер, əдістер жəне алгоритмдердің ашық үкімет порталы ашық деректерін аналитикалық өңдеудегі практикалықапробациясы
- •Ақпараттық-аналитикалық жүйелердің мемлекеттік секторларда қолданылуы
- •Деректерді жедел аналитикалық өңдеудің мемлекеттік секторда қолданылуы
- •Ашық деректерді жедел аналитикалық өңдеудің ақпараттық- аналитикалық жүйесінəзірлеу
- •4 Бөлім бойынша тұжырым
- •Қорытынды
- •Пайдаланылған əдебиеттер тізімі
- •Қосымша а
- •Қосымша б
- •Қосымша в
- •Қосымша г
- •Қосымша д
Анықтамалар
Бұл диссертациялық жұмыста келесі терминдерге сəйкес анықтамалар қолданылады:
Деректер(data) -автоматты құралдардың көмегімен, кей жағдайда
адамның қатысуымен, өңдеуге ыңғайлы түрде берілген мағлұмат.
Деректерді өңдеу
(data processing)
- компьютер арқылы мəліметтерді түрлендіруге бағытталған іс-əрекеттер жүйесі; 2) мəліметтерді сақтауға, іздестіруге, сұрыптауға жəне қайта пішімдеуге байланысты операциялар жиыны. Деректерді өңдеуде əрекеттердің негізгі үш тобын атауға болады: кіріс деректерін іріктеу немесе таңдау, өңдеу үдерісі жəне нəтиженіалу.
Аналитика -грек сөзі, сөзбе-сөз аударғанда "талдау өнері",
логикалық пайымдаудың, ой жүгіртудің бір қыры. Аристотель деректері бойынша, аналитика – логикалық талдау техникасы. Оның пікірі бойынша силлогизмді (бірнеше пікірлерден жаңа ойдың алынуы) талдауды баяндайды, шынайы білімді алу жағдайын зерттеу (Білімді алу үшін бастапқыны білу қажет идеясы, бастапқы деректерге сəйкес келеді).
Деректерді аналитикалықөңдеу
- шешімдер қабылдауға қажетті білімдерді (деректерді) алу мақсатында деректермен жүгізілетін өңдеу, талдау əрекеттерінің жиыны.
Деректерді жеделаналитикалық өңдеу үдерістерінің ақпараттық- есептеуін қамтамасызету
Шешім қабылдауды қолдау жүйесі
(ШҚҚЖ) (англ.
Decision SupportSystem,DSS)
аналитикалық өңдеулерге қажетті деректерді бастапқы дереккөздерден алғаннан ақырғы аналитикалық көрсеткіштерді ұсынуға дейінгі аралықта жүргізілетін өңдеу үдерістерінің орындалуын қамтамасыз ететін үлгілер, əдістер жəне алгоритмдерді əзірлеу (немесе үлгілермен, əдістермен жəне алгоритмдермен қаматамасызету).
шешім қабылдайтын адамның пəндік саланы толық жəне объективті талдауы үшін ақпараттық жəне интеллектуалдық жағынан қамтамасыз ету тапсырмаларын шешуге бағытталған ақпараттық- аналитикалық жүйе. Бұл дегеніміз шешімдерді іздеу мақсатында белгілі пəндік салаға байланысты деректерді енгізу, сақтау жəне талдау құралдарын иемденетінжүйе.
Business intelligence (Бизнес-аналитка, BI)
бұл іс-жүзіндегі деректер негізінде шешімдер қабылдаумен байланысты тапсырмаларды шешу барысында деректерді өзгерту, сақтау, талдау, үлгілеу, жеткізіп беру жəне түрлендіру үшін қолданылатын əдістер мен құралдар. Бизнес-аналитика - деректерді агрегациялау арқылы талдауды қамтиды. BI - іскерлік шешімдерді қабылдауда шынайы ақрапаттарды талау, қажетті білімдерді алуды қаматмасыз ететін құрадар ретіндетүсіндіріледі.
OLAP (On-lineanaliticalprocessing)
деректерді жедел аналитикалық өңдеутенхологиясы.
Деректердіинтеллектуалдыталдау (Data Mining)
машиналық алгоритмдер, жасанды зерде құралдары көмегімен өңделмеген деректерден бұрын белгісіз болған, іс-жүзінде пайдалы жасырын білімдерді зерттеу жəнетабу.
Деректер қоймасы
(Data Warehouse)
пəндік-бағытталған, біріктірілген, өзгермейтін, аналитикалық өңдеулерде күрделі сұранымдарды орындауға оңтайландырлылған, шешімдер қабылдауды қолдау мақсатында ұйымдастырылған деректер жиынын сақтауды қолдайтын деректерқоры.
NoSQLДБ - деректер қорын жүзеге асыру бағыттарының біртүрі
жəне реляциялық емес деректер моделін қолданатын, көлденең масштабтауға бағытталған ДББЖ.
MapReduce
параллелдіүлгісі
компьютерлік кластерлерде үлкен көлемді деректерді таратылған есептеу жүйелерінде өңдеуге арналған, Google компаниясы əзірлеген параллелді программалықүлгісі.
Метадеректер - деректер туралы деректер, яғни деректерқұрамын,
ұсыну құрылымын (форматын), сақтау орнын жəне басқа да беліглерін сипаттау, сонымен қатар ол деректерді қолдайтын ақпараттық жүйелерді, технологияларды, қатынау əдістерін сипаттау.
Іздеушаблоны - матедеректерді пайдалана отырып іздеусұранымын
сипаттау əдісі.
