3. Olap-технології і сховища даних.
Різновидом баз даних є сховище даних (Data WarenHouse). Поняття сховищ даних виникло зовсім недавно. Необхідність розробки нової концепції сховищ даних обумовлена такими факторами:
Розвиток інформаційних технологій привів до систем нового типу, які дістали назву систем підтримки прийняття рішень. Ці системи основані на новій технології, яка дістала назву OLАР-технології. Основою OLАР-технології є реалізація аналітичних запитів.
Системи підтримки прийняття рішень, основані на формуванні аналітичних запитів, почали конфліктувати з трансакційними системами оперативної обробки даних (ОLТР- системами). Одночасне вирішення оперативних і аналітичних запитів на одній базі даних часто призводить до нестачі ресурсів.
Формування аналітичних звітів на основі традиційних баз даних, які вміщують оперативну інформацію, займає дуже багато часу. Причому витрати часу, необхідні для формування аналітичних звітів, невпинно зростають зі зростанням обсягів оперативної інформації в базі даних. Це призводить до того, що менеджери не встигають готувати відповідні рішення на основі отриманих аналітичних звітів.
Дуже часто на підприємстві чи в організації функціонує декілька ОLТР - систем, кожна з яких має свою окрему базу даних, в яких використовуються різні структури даних, способи кодування, одиниці вимірювання. Побудова зведеного аналітичного запиту на основі декількох баз даних є дуже складною проблемою, яка спочатку потребує вирішення проблеми узгодженності даних, що зберігаються в різних базах даних.
Вирішення перерахованих вище проблем було знайдено в розробці концепції сховища даних. Сховище даних має виконувати функції попереднього добору, агрегації та підготовки оперативних даних ОLТР - системам. Тобто в сховищі даних зберігаються не первинні дані, а певним чином інтегровані дані, які створюють основу для вирішення аналітичних задач і функціонування систем підтримки прийняття рішень. Взаємозв'язок між системами відбиває малюнок:
Схема взаємозв’язку OLTP та OLAP систем
Таким чином, сховище даних (Data WarenHouse ) це особливі форма організації бази даних, котра призначена для зберігання в погодженому вигляді агрегованої інформації, що отримується ні основі баз даних різних ОLТР - систем та зовнішніх джерел.
Сховища даних характеризуються предметною орієнтацією, інтегрованістю, підримкою хронології, незмінністю і мінімальною надлишковістю. Ці основні особливості сховищ даних були визначені в 1992 році їх винахідником Біллом Інмоном. Вони незалежно від реалізації притаманні всім сховищам даних і полягають ось у чому.
Предметна орієнтація. Дані в сховищі даних організовані у відповідності до основних напрямків діяльності підприємства чи фірми (замовники, продажі, склад і т.п.). У цьому полягає відмінність сховищ даних від організації оперативної БД, в якій дані подаються у відповідно до процесів (відвантаження товару, виписка рахунків і т.п.) Предметна організація даних не лише спрощує аналіз, а й значно прискорює проведення аналітичних розрахунків. Тобто сховища орієнтовані на бізнес-поняття, а не на бізнес процеси.
Інтегрованість. Первинні дані оперативних баз даних перевіряються, певним чином добираються, приводяться до одного виду, необхідною мірою агрегуються ( тобто обраховуються сумарні показники) і завантажуються у сховище; даних. Такі інтегровані дані набагато простіше аналізувати.
Підтримка хронології. Дані, які вибираються з оперативних баз даних нагромаджуються в сховищі даних у вигляді «історичних пластів», кожен із яких характеризує певний період часу. Це дозволяє проводити аналіз зміни показників у часі.
Незмінність. Дані сховища даних, що характеризують кожен „історичний пласт”, ні в якому разі не підлягають змінам. Це теж є суттєвою відмінністю даних, що зберігаються у сховища даних, від оперативних даних. Оперативні дані можуть дуже часто змінюватись, з даними сховища можливі лише операції їх первинного завантаження, пошуку та їх читання.
Мінімальна надлишковість. Незважаючи на те, що інформація до сховищ даних завантажується з БД ОLТР - систем, це не призводить надлишковості даних. Зведення до мінімуму надлишковості даних забезпечується тим, що перш ніж завантажувати дані до сховищ, їх фільтрують і певним чином очищають від таких даних, які не потрібні і не можуть бути використані в ОLАР-системах.
Сховища даних можуть включати такі компоненти:
Віртуальне сховище даних — це репозитарій метаданих, які описують джерела надходження інформації, структуру даних сховища, методи агрегації та завантаження даних, відомості про структуру бізнес-понять та інші дані про дані, що зберігаються у сховищі.
Корпоративні сховища даних (enterprise data warehouses) вміщують інформацію, зібрану із певної множити оперативних БД, яка характеризує всю корпорацію і необхідна для виконання консолідованого аналізу діяльності корпорації в цілому. Такі сховища охоплюють всі численні напрямки діяльності корпорації і використовуються для прийняття як тактичних та і стратегічних рішень. Розробка корпоративного сховища даних дуже трудомісткий процес, який може становити від одного до кількох років, а обсяги сховища можуть досягати від 50 Гбайт до кількох терабайт.
Кіоски чи вітрини даних (data marts) це певна підмножина корпоративних даних, які характеризують конкретний аспект діяльності корпорації, наприклад роботу якогось її підрозділу. Кіоск може отримувати дані з корпоративного сховища даних (залежний кіоск) чи бути незалежним, і тоді джерелом поповнення його даними будуть оперативні БД. Розробка кіоска даних потребує значно менше часу і в середньому триває близько трьох-чотирьох місяців.
Корпоративні сховища даних та кіоски будуються за подібними принципами і використовують практично одинакові технології.
В останні часи з'явилось поняття глобального сховища даних, в якому сховище даних розглядається як єдине джерело інтегрованих даних для всіх вітрин даних.
Сховища повинні надавати можливість параметризації даних за різними ознаками, наприклад банківські операції під час їх аналізу необхідно групувати за часом їх виконання, за клієнтами, за їх обсягами у вартісному виразі, за контрагентами, видами валют та іншими ознаками. Тобто дані мають бути представлені у сховищі таким чином, щоб надавати можливість їх багатовимірного аналізу. Основи багатовимірного аналізу були започатковані Е.Ф. Коддом (Е. F. Соdd) в 1993 р.
Найбільш вдалою формою представлення даних, що надасть можливість багатовимірної їх параметризації є подання даних у вигляді неплоскої реляційної моделі, а багатовимірної моделі. В основу ОLАР-систем покладено поняття гіперкуба, тобто багатовимірного куба, у комірках якого зберігаються необхідні для аналізу дані. Проте нині існує три варіанти побудови систем на основі сховищ даних: МОLАР ( Multidimensional ОLАР), RОLАР (Relational ОLАР) і НОLАР (Hybrid ОLАР).
В МОLАР-системі гіперкуб реалізується як спеціальна модель нереляційної структури, яка швидше забезпечує доступ до даних, ніж реляційні моделі, але вимагає додаткових витрат пам'яті.
В RОLАР-система гіперкуб це лише користувацький інтерфейс, який моделюється на традиційній реляційній базі даних. Дані в сховищі представляються у вигляді моделі, що дістала назву «зірка» (star schema). Ця модель складається з таблиць двох типів: однієї таблиці даних, що аналізуються, тобто фактів (fact table) — центр зірки і декількох таблиць, які характеризують певні виміри цих фактів (dimension table). Таблиця фактів вміщує числові характеристики якогось напрямку діяльності компанії чи фірми, наприклад обсяги продажу, а також ключі таблиць вимірів. Таблиці вимірів містять додаткові характеристики ключових полів, як правило, це довідкові дані, наприклад дані про назву товару, назву його виробника, тип товару та інші. Зауважимо, що дані таблиць вимірів денормалізовані. І якщо ж таблиці вимірів нормалізовані, то така модель називається «сніжинкою» (snowflake schema). В RОLАР- системах зберігаються агреговані дані.
НОLАР-системи — це комбінований варіант зберігання даних, який використовує обидва типи СУБД. У багатовимірній СУБД зберігаються агрегати даних, а докладні дані, які мають невеликий обсяг, зберігаються в реляційній СУБД.