Деректерді аналитикалық өңдеудің қазіргі кездегі жай-күйі
Зерттеу жұмысының бұл бөлімде деректерді жедел аналитикалық өңдеудің шешімдер қабылдауды қолдау жүйелеріндегі орны мен ролі, аналитикалық өңдеуде қолданылатын деректер, оларды өңдеу əдістері мен технологияларының жай-күйіне талдаудар жасалынып, қазіргі кездегі деректерің жаңа толқынының пайда болуымен байланысты кең ауқымда таралып жатқан үлкен көлемді жартылай құрылымдандырылған NoSQL деректері жедел аналитикалық талдау жүйедерінде реляциялық деректерімен бірге қолданудың қажеттілігі мен жолдары қарастырылады. Реляциялық үлгідегі жəне NoSQL деректерінің құрылымдары, олардың бір бірінен ерекшеліктері, деректерді жедел аналитикалық өңдеуде біріктіре қолдануда беретін мүмкіндіктері айтылатын болады. Сондай-ақ үлкен көлемді мəліметтерді аналитикалық өңдеуге арналған масштабталған программалық өнімдер мен платформаларға қысқаша толқталатынболамыз.
Зерттеу саласы бойынша жүргізілген талдаулар нəтижелері негізінде диссертациялық жұмыстың зерттеу тапсырмалары қалыптастырылады.
Деректерді аналитикалық өңдеудің шешімдер қабылдауды қолдау жүйелеріндегі орыны менрөлі
Компьютерлік технологиялардың адам өмірінің барлық саласында кеңінен қолданыс табуы, ақпарат көлемі мен түрлерінің артуы, адам мүмкіндігінің физикалық тұрғыда жинақталған үлкен көлемді деректердің тек аз бөлігін ғана қарап білуіне, өңдеуіне жететін көрсетті. Бұл жинақталған үлкен көлемді əр түрлі деректерді талдау арқылы қажетті жаңа білімді шығару тапсырмасының маңыздылығына, шығарылған білім негізінде шешімдер шығару қажеттігін туындатқан болатын. Жинақталған деректерді шешімдер шығаруды қолдау үшін сараптама жасайтын маманға қажетті формада берілуі тиіс, демек деректерге қатынайтын жəне өңдейтін құралдардыңболуы.
Талданатын деректер көлемінің үлкен болуы бір жағынан есептеулер мен талдауларды нақтырақ алуға мүмкідік береді, екінші жағынан талдау деректерін өңдеу тапсырмасын күрделендіреді. Тапсырманы шешу мақсатында деректерге талдау жүргізетін сарапшы маман жұмысын жеңілдету мақсатында тұтас программалық жүйе пайда болды. Бұндай жүйенішішімдер қабылдауды қолдаужүйесі( ШҚҚЖ, Decision Support System (DSS)) деп атау қабылданды [7, 11-20 б.].
Шешімдер қабылдауды қолдау жүйелерін зерттеу өткен ғасырдың 60- жырдары басталды жəне сол уақытта пайда болған үлкен ақпараттық жүйелерді əзірлеумен сəйкес келеді жəне байланысты. Осы уақыттан бастап мұндай жүйелерге қойылған тапсырмаларға байланысты көптеген нұсқалары əзірленіп, əр түрлі анықтамалары келітірілген болатын [45]. Алғашқы ақпараттық жүйелерді басқару (Management Information Systems – MIS) тек ірі компанияларға тиесілі еді. MIS менеджерлерге қажетті ағындық құрылымдандырылған деректерден есеп берулерді əзірлеуге арналды. Осыдан
кейін ақпараттық жүйенің жаңа типі – үлгі-бағытталған ШҚҚЖ (Model-oriented Decision Support Systems – DSS) немесе басқару шешімдерінің жүйесі (Management Decision Systems – MDS) пайда болды.
1981 ж. – R.Sprague жəне E.Carlson ШҚҚЖ іс-тəжірибеде қандай қалыпта құру керектігінің сипаттамасын берді. Онда жетекшінің ақпараттық жүйесі (Executive Information System (EIS)) – менеджерлердің басқару шешімдерін қабылдауды қолдауына арналған ағындық адекватты ақпараттармен қамтамасыз етуге арналаған компьютерлік жүйесі əзірленген болатын [45, 24-26 б., 46]. EIS жүйелері күнделікті қолдануға арналған, алдын ала анықталған сұранымдар жиынынан тұратындықтан, шешім қабылдау барысында деректерге қатысты туындауы мүмкін барлық сұрақтарға жауап бере алмады. Мұндай жүйелердің беретін нəтижелері көптеген беттерден тұртын есеп берулер, барлық есеп берулерді сарапшы маман толық қарап шыққаннан кейін жаңадан сұранымдар пайда болды. Бірақ, туындайтын жаңа сұранымдар жүйені жобалауда қарастырылмаған, олардың сипаттамасын келтіріп, программист кодттағаннан кейін ғана орындалады. Программист кодтап орындатуы бірнеше сағаттан бірнеше күнге созылуы мүмкін, бұл үнемі тиімді бола бермейді. Қарапайым статикалық ШҚҚЖ көптеген ақпараттық-аналитикалық жүйенің үлкен қолайсыздықтарынаайналды.
Сарапшы маманның деректерге реттелмеген сұранымдарын өңдеуге бағытталған динамикалық ШҚҚЖ – E.F. Codd-тың OLAP (Online Analytical Processing) деректерді жедел талдау, шешім қабылдауға арналған деректерді онлайн өңдеу тұжырымдамасын берген мақаласында қарастырылды [2, 1-20 б.]. Талдауға арналған шығыс мəліметтері, есеп берулер қималар түрінде алуға болатын көп өлшемді текше түрінде ұсынылды. Деректерді көп өлшемді текше түрінде ұсынудағы агрегациялық деректер менеджердің немесе жетекшінің өз шешімдерін əр түрлі факторларға (тұрақты өсу, қауіптердің деңгейі) байлансыты негіздеуіне мүмкіндік береді жəне ШҚҚЖ ажырамас бөлігі болып табылады.
ШҚҚЖ-де мəліметтерді талдау жəне жасырын білімдерді шығаруға арналған əр түрлі əдістер қолданылады. Олар: ақпараттық іздеу, деректерді зерделі талдау, деректер базасынан білімдерді іздеу, оқиғалар негізінде пайымдаулар жасау, иммитациялық үлгілеу, генетикалық алгоритмдер, нейронды желілер жəне т.б. Аталған əдістердің бір қатары жасанды зерде шеңберінде əзірленген. Егер ШҚҚЖ жұмысы жасанды зерде негізінде болса, онда ондай жүйені интеллектуалды ШҚҚЖ деп, ал егер жұмыс негізі деректерді талдауда жатса онда, ондай жүйені ақпараттық-аналитикалық ШҚҚЖ деп атайды. ШҚҚЖ класына жақын жүйелер – экперттік жүйелер жəне автоматтандырылған басқару жүйелері. ШҚҚЖ-нің əр түрлі классификациялары мен архитектуралары бар, олар [7 5-18 б., 45, 47] əдебиеттердеберілген.
Заманауи ШҚҚЖ күнделікті басқару шешімдері тапсырмаларын шешуге барынша бейімделген, шешімді қабылдайтын маманға көмек көрсетуге тартылған құралдар жүйесін ұсынады. ШҚҚЖ көмегімен кейбір құрылымдандырылмаған немесе əлсізқұрылымдандырылған
(слабоструктурированных), соның ішінде көп критерийлі тапсырма шешімін таңдау жүзеге асрылуы мүмкін. ШҚҚЖ – бұл деректер базасы (ДБ) теориясы, жасанды зерде, интерактивтік компьютерлік жүйе, иммитациялық үлгілеу əдістері кіретін пəнаралық зерртеулер нəтижесі[45 24-24 б.].
ШҚҚЖ-ға қажетті талдаулар жүргізу үшін деректерді арнайы құралдармен жинау жəне сақтау қажет. Осылайша, ШҚҚЖ шешілетін негізгі үш тапсырмасын атап көрсетуге болады: деректерді енгізу, сақтау, талдау.
ШҚҚЖ-не деректер əр түрлі дереккөздерден келуі мүмкін: құрылғылардан (датчики), желілерден, операторлардан, жедел деректер базаларынан жəне т.б. Барлық дереккөздерден мəліметтер бір уақытта келген жағадайда енгізу параллельді орындауды қолданады. Шешімдерді қабылдауға қажетті аналитикалық деректер көлемінің артуы жəне жеке құралдардың пайда болуына байланысты үлкен көлемді аналитикалық деректерді сақтауға арналған мəліметтер қоры деген жаңа бағыт пайда болды. Қазіргі кездегі ШҚҚЖ арналған ақпараттық-аналитикалық жүйе құралдары деректер қоймасына деректерді енгізу үшін ETL (Extracting Transformating and Loading) үдерісін қолдайды.
Деректер қоймасы дереккөздерден енгізілген мəліметтерді сақтау жəне аналитикалық өңдеу құралдарына беру функцияларын жүзеге асырады. Деректер қоймасында деректердің дұрыс əзірленуі ШҚҚЖ-не берілетін аналитикалық деректер нəтижесіне тікелей əсер етеді. Аналитикалық деректерді үнемі жинау деректер қоймасы көлемінің тоқтаусыз өсуіне алып келеді. Бұл өз кезегінде деректерді сенімді сақтау, пайдаланушыларға жоғары жылдамдықта беру сияқты бірнеше тапсырмаларды шешуді қажет етеді. Деректер қоймасының негізгі тапсырмаларын шешу жолдарын зерттеу жұмысының келесі бөлімдерінде толық қарастыратын боламыз.
ШҚҚЖ басты тапсырмасы – талдаушы маманға деректерді талдауды жүзеге асыратын құралдарды ұсыну. Атап өтетін жағадай, ШҚҚЖ тиімді пайдалану үшін оны қолданатын – талдаушының сəйкесінше біліктілігі болуы шарт. Жүйе дұрыс шешімдерді өзі шығармайды, тек талдаушыға деректерді зерделеу жəне талдау үшін ұғынықты, қолайлы түрде (есеп беру, кесте, график жəне т.б.) береді, сондықтан мұндай жүйелер шешімдер қабылдауды қолдау функциясын орындайды. Шешім қабылдау сапасы бір жағынан талдаушы маманның біліктілігіне байланысты болса, екінші жағынан деректерді талдау нəтижесінде дұрыс нəтижелер алуға байланысты. Талданатын деректер көлемінің өсуі, өңдеу мен талдаудың жоғарғы жылдамдықтары, сондай-ақ машиналық түрде берілген деректерді пайдаланудың күрделілігі интеллектуалды ШҚҚЖ-ге зерттеу жүргізу мен əзірлеуге ынталандырады.
Аналитикалық құралдар өңделмеген деректерден білімді шығару деңгейі немесе дəрежесі бойынша бөлінеді. Білімдерді шығарудың ең қарапайым деңгейін OLTP (On-Line Transaction Processing) - деректерді тарнзакциялық өңдеу құралы иемденеді. Бұдан күрделірек деңгейлер OLAP (On-Line Analytical Processing) жəне Data Mining технологияларына тиесілі. Шешімдер қабылдауды қолдауға бағытталған ақпараттық-аналитикалық жүйе құрылымын 1.1-суреттен көруге болады.
Cрует 1.1 – Шешімдер қабылдауды қолдауға бағытталған ақпараттық- аналитикалық жүйенің толық құрылымы
Деректерді өңдеудің интеллектуадық деңгейі бойынша талдаудың үш негізгі тапсырмасын атап көрсетуге болады [7, 8-9 б.; 47]:
- Жекелеген деректер
саласы.
Бұл сала жүйелерінің
функциялары
ақпаратты іздеуге бағытталған. Мұндай тапсырмалармен реляциялық деректер
базасын басқару жүйелері (РДББЖ)
жақсы
жұмыс жасайды.
Реляциялық
деректермен
жұмыс
жасау тілі ретінде құрылымдандырылған сұраным
тілі-
structured query language (SQL) жалпылама танылған стандарт. Ақпараттық-
іздеу жүйесіндегі жекелеген деректерді іздеу тапсырмасында ақырғы
қолданушыны қамтамасыз ету интерфейсі, транзакциялық жүйенің жекелеген
деректер базасын, сондай-ақ жалпы деректер қоймасын пайдалануы мүмкін.
- Агрегациялық көрсеткіштер саласы. Ақпараттарды деректер қоймасына
жинаудың кешенді жүзеге асырылуы, оларды жалпылау жəне агрегациялау, көп
өлшемді текше түрінде ұсыну,көп
өлшемді
талдаулар деректерді жедел
аналитикалық талдау жүйелерінің (OLAP) негізгі тапсырмасы болып табылады.
Талдау деректерін арнайы көп өлшемді ДББЖ немесе реляциялық ДБ
жүйесінде ұйымдастыруға болады. Агрегациялық деректерді ұйымдастыру келесі бөлімдерде толық қарастырылатын болады.
Интеллектуалды талдау саласы. Бұл салада деректерді өңдеу деректерді интеллектуалды талдау əдістерімен (Data Mining) жүргізіледі. Негізгі тапсырмалары: жинақталған деректерден үдерістердің дамуын болжайтын немесе түсіндіретін функционалдық жəне логикалық заңдылықтарды іздеу, моделер мен ережелердіқалыптастыру.
ШҚҚЖ тек деректерді аналитикалық өңдеу саласынна ғана емес, деректермен жұмыс жасайтын басқа да салаларға бағытталуы мүмкін. Жоғарыда берілген шолулар деректерді аналитикалық өңдеу жүйесіде деректерден білім алу арқылы интеллектуалды ШҚҚЖ-нің негізгі бір түрін жүзеге асыруға болатынын көрсетеді. Аналитикалық өңдеулер нəтижесінде алынған деректер шешімдер қабылдауда құнды білім ретінде қолданылады жəне дұрыс шешім шешімдер қабылдауға көмектеседі. Сондықтан деректерді аналитикалық өңдеу шешім қабылдау үрдістерімен тығыз байланысты жəне белгілі бір мəндегі шешімдерді тиімді немесе барынша жақсы негіздеуге жəне дұрыс таңдау жасауға мүмкіндікбереді.
Шешімдер қабылдауға қажетті аналитикалық деректерді əзірлеудің проблемалық аспектілері:
көптеген дереккөздерден əр түрлі құрылымдарда сақталынған деректерді алу, оларды біріңғай қалыпқа жəне біріңғай құрылымғакелтіру;
шешім қабылдау үшін қажетті деректерді сақтауды ұйымдастыру жəне пайдаланушыларғаұсыну;
деректерді талдау, соның ішінде деректерді жедел аналитикалық жəне интеллектуалдыталдаулар;
жедел аналитикалық жəне интеллектуалды талдау нəтижелерін пайдаланушылар тиімді қолдана алатын қалыптаберу.