- •Мукажанов нуржан какенұлы Əр түрлі құрылымды деректерді жедел аналитикалық өңдеу үдерістерінің ақпараттық-есептеуін қамтамасыз ету
- •6D070400 – Есептеу техникасы жəне бағдарламалық қамтамасыз ету Философия докторы (PhD)
- •Мазмұны
- •Деректерді аналитикалықөңдеудіңқазіргікездегіжай-күйі 14
- •Жедел аналитикалық өңдеулерүшінреляциялық жəне nosql деректерді бірыңғай құрылымға келтіру үлгілеріменəдістері 48
- •Бөлімбойыншатұжырым 80
- •Деректерді жедел аналитикалықөңдеугеарналған деректер қоймасына тиімді деректер құрылымынəзірлеу 81
- •Бөлімбойыншатұжырым 113
- •Əзірленген үлгілер,əдістержəнеалгоритмдердің ашық үкіметпорталыашықдеректерін аналитикалықөңдеудегіпрактикалықапробациясы 114
- •4 Бөлімбойыншатұжырым 131
- •Пайдаланылғанəдебиеттертізімі 133
- •Нормативтік сілтемелер
- •Анықтамалар
- •Белгілеулер мен қысқартулар
- •Диссертациялық жұмысты қорғауға келесі нəтижелер шығарылады
- •Деректерді аналитикалық өңдеудің қазіргі кездегі жай-күйі
- •Деректерді аналитикалық өңдеудің шешімдер қабылдауды қолдау жүйелеріндегі орыны менрөлі
- •Деректерді аналитикалық өңдеудің əдістері, технологиялары жəне платформалары
- •Деректерді көп өлшемді жедел аналитикалық өңдеудің мəселелері жəне зерттеу тапсырмаларыныңқойылымы
- •Бөлім бойыншатұжырым
- •Жедел аналитикалық өңдеулер үшін реляциялық жəне nosql деректерді бірыңғай құрылымға келтіру үлгілері менəдістері
- •Деректерді бірыңғай құрылымға келтіруəдістері
- •Деректер базалары моделдерініңерекшеліктері
- •Реляциялық жəне NoSql деректерді бірыңғай құрылымға келтіру əдісінəзірлеу
- •Бөлім бойыншатұжырым
- •Деректерді жедел аналитикалық өңдеуге арналған деректер қоймасына тиімді деректер құрылымын əзірлеу
- •Деректер қоймасы ішкі құрлымыныңұйымдастырылуы
- •Аналитикалық деректерді өңдеудің көп өлшемді индекстік деректер құрылымынұйымдастыру
- •Агрегациялық мəндерді есептеудің ағаш түріндегі құрылымын əзірлеу
- •Бөлім бойыншатұжырым
- •Əзірленген үлгілер, əдістер жəне алгоритмдердің ашық үкімет порталы ашық деректерін аналитикалық өңдеудегі практикалықапробациясы
- •Ақпараттық-аналитикалық жүйелердің мемлекеттік секторларда қолданылуы
- •Деректерді жедел аналитикалық өңдеудің мемлекеттік секторда қолданылуы
- •Ашық деректерді жедел аналитикалық өңдеудің ақпараттық- аналитикалық жүйесінəзірлеу
- •4 Бөлім бойынша тұжырым
- •Қорытынды
- •Пайдаланылған əдебиеттер тізімі
- •Қосымша а
- •Қосымша б
- •Қосымша в
- •Қосымша г
- •Қосымша д
Қосымша а
Аппараттық жабдықтар сипаттамалары
Кесте А.1 – Деректерді өңдеусерверісипаттамасы (Деректер қоймасымен
OLAP-сервер)
Аппараттық жабдық |
Параметрлер сипаттамасы |
Моделі |
Intel Xeon E5620, |
Процессор типі |
Intel® Core i7 3.0 GHz (8Mb)(1333 Mhz) |
Ішкі кэш-жады |
12 MB L3 |
Процессорлар саны |
16 |
Процессор жиілігі |
3.0 ГГц |
Жүйелік шина (FSB): |
1066 MГц |
Чипсет |
INTEL 5520 |
Аналық тақша |
Asus |
Қатты диск |
1Тб |
RAID-контроллер |
Ішкі |
RAID-деңгейлерді қолдау |
Кэш 256 МВ |
Корпус |
RACK 2U |
Жедел жады |
8 ГБ (2 Х 4 ГБ) (1333 жəне жоғары) |
Жады слоттары саны |
DIMM 12 слот |
Жедел жады типі |
DDR3 |
Жалғағыштар |
COM, VGA, 5ХUSB 2.0, 2ХRJ-45 |
Желілік интерфейс |
Кіріктірілген екі портты гигабайттық желілік адаптер |
Оптикалық жетек |
DVD±R/RW,±R9, CD-R/RW 24x SATA LITEON iHAS 124-04 DU(WU), iHAS 124-14 EU internal, black |
Монитор |
LCD 19`, |
Программалық қамтама |
Атауы |
Амалдық жүйе |
MS Windows Server 2012 |
Деректер базасын басқару жүйелері (деректер қоймасы) |
MySQL Server 5.6 (DBMS) |
Аналитикалық программалық қамтама |
Pentaho Community Edition 5.2 |
Кесте А.2 – Жұмыс стансалары сипаттамалары (бастапқы деректер сақталынған түйіндер, компьютер)
Аппараттық жабдық |
Параметрлер сипаттамасы |
Моделі |
ESPRIMO P2560 |
Процессор типі |
Intel® Core™ i5-3470 3,2 Ghz (6Mb) (1333 Mhz) |
Процессор жиілігі |
3,2 Ghz (6Mb) (1333 Mhz) |
Процессорлар саны |
4 |
Жедел жады |
6 ГБ (1 Х 4 ГБ, 1 Х 2 ГБ) (1333 жəне жоғары) |
Жады слоттары саны |
DIMM 2 слот |
Жедел жады типі |
DDR3 |
Қатты диск |
1 Тб. SATA 3 SATA 6 Гб/с 3,5 дюйма (7200) 64 МБ (WD10EZEX) Blue |
Видеоадаптер |
Кіріктірілген видеоадаптер |
Оптикалық жетек |
Asus DRW-24F1ST/BLK/B/AS Black bulk |
Жалғағыштар |
COM, USB 2.0, VGA/DVI,1ХRJ-45 |
Желілік интерфейс |
Wireless PCI TP-Link TL-WN781ND, (802.11n) |
Монитор |
LCD 19 |
Программалық қамтама |
Атауы |
Амалдық жүйе |
MS Windows 7 |
Деректер базасын басқару жүйелері |
PostgreSQL 9.3, MongoDB 2.2.0, Cassandra (DataStax Community Edition) |
Қосымшаны əзірлеу жиынтығы |
Java Developer Kit |
Кесте А.3 – Жұмыс стансалары сипаттамалары (аналитикалық өңдеу нəтижелерін ұсыну,ноутбук)
Аппараттық жабдық |
Параметрлер сипаттамасы |
1 |
2 |
Моделі |
Sumsung |
Процессор типі |
Intel® Core i3 CPU M380 |
Процессор жиілігі |
2.5 ГГц |
Процессорлар саны |
4 |
Жедел жады |
8 ГБ (2 Х 4 ГБ) (1066 жəне жоғары) |
Жады слоттары саны |
DIMM 2 слот |
Жедел жады типі |
DDR2 |
Қатты диск |
500 Гб |
Видеоадаптер |
AMD Mobility Radeon HD 5000 Series, 256 Mb |
Оптикалық жетек |
DVD±R/RW, CD-R/RW |
Жалғағыштар |
COM,1ХRJ-45 |
Желілік интерфейс |
Marvell Yukon 88E8040 Family PCI - гигабайттық желілік адаптер Wireless Network Adapter |
Кесте А.3-тіңжалғасы
1 |
2 |
Программалық қамтама |
Атауы |
Амалдық жүйе |
MS Windows 7 |
Деректерді ұсыну жəне офистік қолданбалы программалар |
•Pentaho Analyzer; •Microsoft Office 2010. |
Қосымшаны əзірлеу жиынтығы |
Java Developer Kit |
Кесте А.4 – Желілік құрылғылар сипаттамасы (switch)
Аппараттық жабдық |
Параметрлер сипаттамасы |
Құрылғы |
Қосқыш хаб (switch hub) |
Стандарттар |
IEEE 802.3i, IEEE 802.3u, IEEE 802.3ab , IEEE 802.3x |
Интерфейс |
24 портты 10/100/1000 Мбит/с, желілік жетек RJ45 |
Деректерді беру ортасы |
10BASE-T: UTP category 3, 4, 5 cable (maximum 100m) 100BASE-TX/1000BASE-T: UTP category 5, 5e or above cable (maximum 100m) |
Желдеткіштер |
Желдеткішсіз |
Мөлшерлері (көлемі) |
440*360*44 мм (17,3*14,2*1,7 дюйм) |
Жұмыс сипаттамасы |
|
Пакеттерді беру жылдамдығы |
35.7Mpps |
Green Technology |
Innovative energy-efficient technology saves power up to 40% |
Ауыстыру əдісі (Transfer Method) |
Store-and-Forward |
Switching Capacity (opened (off) and close (on)) |
48Gbps |
Кесте А.5 – Тестілеуде қолданылған объектілер
Жұмыс стансалары |
Объектілер саны |
Деректерді өңдеу сервері |
1 |
Жұмыс стансасы, дербес компьютер |
4 |
Жұмыс стансасы, ноутбук |
2 |
Желілік құрылғылар |
1 |
