- •Мукажанов нуржан какенұлы Əр түрлі құрылымды деректерді жедел аналитикалық өңдеу үдерістерінің ақпараттық-есептеуін қамтамасыз ету
- •6D070400 – Есептеу техникасы жəне бағдарламалық қамтамасыз ету Философия докторы (PhD)
- •Мазмұны
- •Деректерді аналитикалықөңдеудіңқазіргікездегіжай-күйі 14
- •Жедел аналитикалық өңдеулерүшінреляциялық жəне nosql деректерді бірыңғай құрылымға келтіру үлгілеріменəдістері 48
- •Бөлімбойыншатұжырым 80
- •Деректерді жедел аналитикалықөңдеугеарналған деректер қоймасына тиімді деректер құрылымынəзірлеу 81
- •Бөлімбойыншатұжырым 113
- •Əзірленген үлгілер,əдістержəнеалгоритмдердің ашық үкіметпорталыашықдеректерін аналитикалықөңдеудегіпрактикалықапробациясы 114
- •4 Бөлімбойыншатұжырым 131
- •Пайдаланылғанəдебиеттертізімі 133
- •Нормативтік сілтемелер
- •Анықтамалар
- •Белгілеулер мен қысқартулар
- •Диссертациялық жұмысты қорғауға келесі нəтижелер шығарылады
- •Деректерді аналитикалық өңдеудің қазіргі кездегі жай-күйі
- •Деректерді аналитикалық өңдеудің шешімдер қабылдауды қолдау жүйелеріндегі орыны менрөлі
- •Деректерді аналитикалық өңдеудің əдістері, технологиялары жəне платформалары
- •Деректерді көп өлшемді жедел аналитикалық өңдеудің мəселелері жəне зерттеу тапсырмаларыныңқойылымы
- •Бөлім бойыншатұжырым
- •Жедел аналитикалық өңдеулер үшін реляциялық жəне nosql деректерді бірыңғай құрылымға келтіру үлгілері менəдістері
- •Деректерді бірыңғай құрылымға келтіруəдістері
- •Деректер базалары моделдерініңерекшеліктері
- •Реляциялық жəне NoSql деректерді бірыңғай құрылымға келтіру əдісінəзірлеу
- •Бөлім бойыншатұжырым
- •Деректерді жедел аналитикалық өңдеуге арналған деректер қоймасына тиімді деректер құрылымын əзірлеу
- •Деректер қоймасы ішкі құрлымыныңұйымдастырылуы
- •Аналитикалық деректерді өңдеудің көп өлшемді индекстік деректер құрылымынұйымдастыру
- •Агрегациялық мəндерді есептеудің ағаш түріндегі құрылымын əзірлеу
- •Бөлім бойыншатұжырым
- •Əзірленген үлгілер, əдістер жəне алгоритмдердің ашық үкімет порталы ашық деректерін аналитикалық өңдеудегі практикалықапробациясы
- •Ақпараттық-аналитикалық жүйелердің мемлекеттік секторларда қолданылуы
- •Деректерді жедел аналитикалық өңдеудің мемлекеттік секторда қолданылуы
- •Ашық деректерді жедел аналитикалық өңдеудің ақпараттық- аналитикалық жүйесінəзірлеу
- •4 Бөлім бойынша тұжырым
- •Қорытынды
- •Пайдаланылған əдебиеттер тізімі
- •Қосымша а
- •Қосымша б
- •Қосымша в
- •Қосымша г
- •Қосымша д
Бөлім бойыншатұжырым
Бұл бөлімде келесідегідей нəтижелерге қол жеткізілді:
Бастапқы агрегациялық мəндерден мүмкін болатын барлық агрегациялық мəндерді есептеудің көп өлшемді индексті массив түріндегі құрылым сұлбасыəзірленді.
Əзірленген көп өлшемді индексті құрылым бойынша агрегациялық мəндерді есептеудіңn-деңгейлі иерархиялық құрылымы жəне оның көп өлшемді баланстрылған бинарлы ағашы жəне көп өлшемді B-ағашы түрлеріндегі ішкі құрлымдарықұрылды.
Құрылған иерархиялық құрылым бойынша алдын ала есептелінген агрегациялық деректерге тиімді қатынауды жүзеге асыратын алгоритмдер əзірленіп, олардың тиімділіккөрсетк
Əзірленген үлгілер, əдістер жəне алгоритмдердің ашық үкімет порталы ашық деректерін аналитикалық өңдеудегі практикалықапробациясы
Зерттеу жұмысының бұл бөлімінде əр түрлі деректерді көп өлшемді жедел аналитикалық өңдеу бойынша алынған теориялық нəтижелердің практикалық жүзеге асырудағы программалық əзірлемелері келтірілетін болады. Бұл зерттеу жұмысы шеңберінде əзірленген үлгілер, əдістер мен алгоритмдер незінде ашық үкімет порталындағы ашық деректерді жедел аналитикалық өңдеудің ақпараттық-аналитикалық жүйенің архитектурасы жобаланып, əр түрлі құрылымды реляциялық, құжат-бағытталған жəне баған-бағытталған деректер базаларындағы мəліметтерді көп өлшемді жедел алаитикалық өңдеудің программалық əзірлемесі ұсынылады.
Ақпараттық-аналитикалық жүйелердің мемлекеттік секторларда қолданылуы
Бүгінгі күнде BI-шешімдер мемлекеттік ұйымдардың ақпараттық жүйелерінің негізгі компонентіне айналуда, соның ішінде деректерді талдау, аналитикалық өңдеулер мемлекеттік құрылымдардың көпшілігінің негізгі бизнес-үдерістері болуда. Аналитикалық жүйелер мемлекеттік қызметкелердің күнделікті жұмыстарын ақпараттық жəне аспаптық қамтамасыз етіп, басқару шешімдерін қабылдау сапасын көтеруге, ресурстарды басқаруды оңтайландыруға, қызметкердің көп уақытын алатын операцияларды орындау шығындарын азайтуға мүмкіндік береді.
Елімізде ең ауқымды ақпараттық жүйелердің бірі жəне бірегейі"электронды үкімет". Электронды үкімет порталы мемлекеттік қызметтерді халыққа бір терезе ұстанымы бойынша ұсыну мақсатында құрылған болатын. Мемлекеттік мекемелердің барлық ақпараттық ресурстарына бір нүктеден қатынау: билікпен ашық сұхбат, құпиялылық, азаматтардың мемлекеттік қызметтерді жеңілдетілген түрде пайдалану, мемелекеттік мекемелермен тікелей байланыстар орнату жəне т.б.
Бүгінде электронды үкімет арқылы 141 электронды қызметтер, 81 лицензиялау қызметтері ұсынылады. Сонымен қатар мобильді сервистер əзірленген. Қазіргі кезде 50-ден астам мобилді үкімет қызметтері қол жетімді болып отыр (02.07.2015). Халыққа қызмет көрсетуде қажетті ақпаратпен қамтамасыз ету үшін мемлекеттік ДБ-ларымен өзарабайланыс шлюздері құрылған («Жылжымайтын мүліктер тіркелімдері», «Физикалық тұрға», «Заңды тұлға», «Мекен-жай тіркелімдері» жəне т.б.).
Еліміздің дамуындағы басты ұстанымдарының бірі мемлекеттік басқарудың ашықтығы. Осы ұстанымға ақпарат иемденушілердің, соның ішінде мемлекеттік органдардың қызметтерінің ашықтығы мен мөлдірлігін қамтамасыз ету үшін "Электронды үкімет" пен қатар "Ашық үкімет" құру арқылы қол жеткізу. Қазіргі уақытта мемлекеттік органдармен аса үлкен көлемді деректер туындап, сақталынуда. Олардың халыққа маңызды жəне қол жетімділері ашық деректер порталында жариялануда. Бұл ашықдеректер
азаматтардың өзбетінше келесі өңдеулер, талдаулар жасауына ұсынылып отыр(http://open.data.gov,қатынау уақыты: 29.05.2015). Ашық үкімет порталында деректердің машина оқи алатын жəне адам оқи алатын қалыптарда берілуі 4.1- суретте келтірілген.
Сурет 4.1 – Ашық үкімет порталындағы деректердің ұсынылу пішімдері Соңғы жылдарда əлемде ақпарат көлемінің артуына, жаңа сақтау
құрылымдараның əзірленуіне байланысты пайда болған жаңа тренд – Big Data- технологияларын мемлекеттік секторларда, электронды үкіметте (e- Government), электронды басқаруларда (e-Governance) қолдану белсенді жүргізілуде. Біздің елемізде де электронды үкімет жүйесінің аппараттық- программалық əзірлемелерін жетілдіріуде заманауи Big Data-технологияларын қолдану арқылы шешу жолдары қарастырылуда [119].
Big Data-технологиялары мүмкіндіктерін пайдаланудың бірден бір жолы ретінде барлық мемлекеттік ведомствалардан жинақталған ашық ақпаратты көлденең масштабталатын таратылған ДБ-ларында сақтау (NoSQL-ДБ, Hadoop). Ары қарай пайдаланушылардың қажеттігіне байланысты өңдеу, қолайлы формаларда ұсыну, талдау жəне .т.б. тапсырмаларды жүзеге асыру. Ашық деректерден басқа əр бір мемлекелттік мекемелердің тек өз ішінде ғана пайдаланылатын жабық деректеріде бар.
Келтірілген қысқаша шолудан электронды үкімет жүйесінде, мемлекеттік органдарда ауқымды деректердің сақталынатынын көруге болады. Мұндай көлемді жəне маңызды деректерді иемденетін мекемелерге аналитикалық жүйелерді ендіру мемлекеттік басқаруда əлеуметтік-экономикалық үрдістерді болжауға, қауіптерді бағалауға, кризистік жағдайдар салдарын төмендетуге, стратегиялық жəне жедел шешімдерді негізделген түрде қабылдауға мүмкіндік береді. Жинақталған үлкен көлемді ақпаратқа аналитикалық деректер қоймасын ұйымдастырып, көп өлшемді жедел аналитикалық талдау жолдарын қарастырған абзал. Көп өлшемді талдауға арналған деректер қоймасын ұйымдастыру деректерді кешенді талаудға, көлемді деректерден жасырын заңдылықтарды іздеуге мүмкіндік береді. Ашық деректерді аналитикалық өңдеудің нəтижелерін тек мемлекеттік қызметтің жетекшілері ғана емес, сонымен қатар республика азаматтарының пайдалануына ұсыну.
Диссертациялық жұмыстың практикалық аппробациясы ретінде зерттеу барысында алынған теориялық нəтижелерді қолдану арқылы əртүрлі
құрылымдандырылған ашық деректерді көп өлшемді аналитикалық өңдеудің программалық əзірлемесі ұсынылады.
