4.6.8. Технологія olap

У 1993 р. засновник реляційного підходу до побудови баз даних Едгар Кодд (рис.4.14) з партнерами (Edgar Codd, математик і стипендіат IBM), опублікували статтю, ініційовану компанією ”Arbor Software” (сьогодні це відома компанія ”Hyperion Solutions”), озаглавлену ”Забезпечення OLAP (оперативної аналітичної обробки) для користувачів-аналітиків”, у якій сформульовані 12 особливостей технології OLAP, які згодом були доповнені ще шістьома. Ці положення стали основним змістом нової і дуже перспективної технології.

Рис.4.14. Едгар Франк Кодд (23.08.1923 – 18.04. 2003) – британський учений в галузі інформатики

OLAP (англ. online analytical processing, аналітична обробка в реальному часі) –технологія обробки інформації, яка дозволяє швидко отримувати відповіді на багатовимірні аналітичні запити.

Автор реляційної моделі даних Е.Ф. Кодд сформулював 18 правил OLAP, які розділив на 4 групи:

1. Основні властивості OLAP (Basic):

– багатовимірне подання даних;

– інтуїтивне оперування даними (без застосування меню);

– доступність;

– пакетне вилучення замість інтерпретації;

– моделі аналізу OLAP (за категоріями, тлумачний, абстрактний і стереотипний);

– архітектура ”клієнт-сервер”;

– прозорість;

– можливість одночасного обслуговування багатьох користувачів.

2. Спеціальні властивості (Special):

– обробка ненормалізованих даних;

– збереження результатів OLAP;

– вилучення значень, яких немає (відрізняються від нульових значень);

– обробка значень, яких немає (ігноруються OLAP-аналізатором без врахування їх джерел).

3. Особливості представлення звітів (Report):

– гнучкість формування звітів;

– стандартна продуктивність звітів (не знижується із зростанням кількості вимірів і об'єму бази даних;

– автоматичне налаштування фізичного рівня.

4. Управління вимірами (Dimension):

– універсальність вимірів;

– необмежена кількість вимірів і рівнів агрегації;

– необмежені операції над розмінностями.

Історично склалося так, що сьогодні термін ”OLAP” передбачає не тільки багатомірний погляд на дані з боку кінцевого користувача, але й багатомірне подання даних у цільовій БД. Саме з цим пов'язана поява самостійних термінів ”Реляційний OLAP” (ROLAP) і ”Багатомірний OLAP” (MOLAP).

OLAP-сервіс представляє собою інструмент для аналізу великих об'ємів даних в режимі реального часу. Взаємодіючи з OLAP-системою, користувач може здійснювати гнучкий перегляд інформації, одержувати довільні зрізи даних і виконувати аналітичні операції деталізації, згортки, наскрізного розподілу, одночасні порівняння у часі за багатьма параметрами. Уся робота з OLAP-системою відбувається в термінах предметної області і дозволяє будувати статистично обґрунтовані моделі ділової ситуації.

Програмні засоби OLAP – це інструмент оперативного аналізу даних, що містяться у сховищі. Головною особливістю є те, що ці засоби орієнтовані на використання не фахівцем в галузі ІТ, не експертом-статистиком, а професіоналом в прикладній галузі управління – менеджером відділу, департаменту, управління, і, нарешті, директором. Засоби призначені для спілкування аналітика з проблемою, а не з комп'ютером. На рис. 4.15 представлений елементарний OLAP-куб, який дозволяє здійснювати оцінки даних за трьома вимірами.

Рис. 4.15. Елементарний OLAP-куб

Багатомірний OLAP-куб і система відповідних математичних алгоритмів статистичної обробки дозволяє аналізувати дані будь-якої складності на будь-яких часових інтервалах.

Маючи у своєму розпорядженні гнучкі механізми маніпулювання даними і візуального відображення (рис.4.16, рис.4.17), менеджер спочатку розглядає з різних боків дані, які або пов’язані, або не пов’язані з розв'язуваною проблемою. Далі він зіставляє різні показники бізнесу між собою, намагаючись виявити приховані взаємозв'язки; може розглянути дані більш ретельно, деталізувавши їх, наприклад, розклавши на складові за часом, за регіонами або за клієнтами, або навпаки, ще більш узагальнити подання інформації, щоб прибрати відволікаючі подробиці. Після цього за допомогою модуля статистичного оцінювання та імітаційного моделювання будується декілька варіантів розвитку подій, і з них вибирається найбільш прийнятний варіант.

Рис. 4.16. Аналітична ІС добування, обробки даних і подання інформації

Рис. 4.17. Динамічна аналітична ІС добування, обробки даних і подання інформації

У керуючого компанією, наприклад, може зародитися гіпотеза про те, що розкид збільшення активів у різних філіях компанії залежить від співвідношення в них фахівців з технічною і економічною освітою. Щоб перевірити цю гіпотезу, менеджер може запросити зі сховища і відобразити на графіку співвідношення, що його цікавить, для тих філій, у яких за поточний квартал зростання активів знизився порівняно з минулим роком більше чим на 10%, і для тих, у яких підвищився більше чим на 25%. Він повинен мати можливість використовувати простий вибір із пропонованого меню. Якщо отримані результати помітно розпадуться на дві відповідні групи, то це повинне стати стимулом для подальшої перевірки висунутої гіпотези.

Сьогодні швидкий розвиток отримав напрямок, який називається динамічним моделюванням (Dynamic Simulation), що у повній мірі реалізує вищезазначений принцип FASMI.

Використовуючи динамічне моделювання, аналітик будує модель ділової ситуації, яка розвивається у часі за певним сценарієм. При цьому результатом такого моделювання можуть бути декілька нових бізнес-ситуацій, що породжують дерево можливих рішень з оцінкою імовірності і перспективності кожного.

Порівняльні характеристики статичного і динамічного аналізу наведені в таблице 4.1.

Таблиця 4.1.

Характеристика	Статичний аналіз	Динамічний аналіз
Типи питань	Хто? Що? Скільки? Як? Коли? Де?	Чому так? Що було б, якщо…? Що буде, якщо…?
Час відгуку	Не регламентується	Секунди
Типові операції роботи з даними	Регламентований звіт, діаграма, таблиця, малюнок	Послідовність інтерактивних звітів, діаграм, екранних форм. Динамічна зміна рівнів агрегації і зрізів даних
Рівень аналітичних вимог	Середній	Високий
Тип екранних форм	В основному, визначений заздалегідь, регламентований	Обумовлений користувачем, є можливість настроювання
Рівень агрегації даних	Деталізовані і сумарні	Визначається користувачем
"Вік" даних	Історичні і поточні	Історичні, поточні і прогнозовані
Типи запитів	Головним чином, передбачувані	Непередбачені – від випадку до випадку
Призначення	Регламентована аналітична обробка	Багатопроходний аналіз, моделювання і побудова прогнозів

Практично завжди задача побудови аналітичної системи для багатомірного аналізу даних – це задача побудови єдиної, узгоджено функціонуючої ІС, на основі неоднорідних програмних засобів і рішень. Сам вибір засобів для реалізації ІС, стає надзвичайно складною задачею. Тут повинні враховуватися безліч факторів, включаючи взаємну сумісність різних програмних компонент, легкість їх освоєння, використання і інтеграції, ефективність функціонування, стабільність і навіть форми, рівень і потенційну перспективність взаємовідношень різних фірм виробників.

OLAP можна застосувати усюди, де є задача аналізу багатофакторних даних. Загалом, при наявності певної таблиці з даними, у якій є хоча б один описовий стовпець і один стовпець з цифрами, OLAP-інструмент буде ефективним засобом аналізу і генерації звітів. В якості прикладу застосування OLAP-технології розглянемо дослідження результатів процесу продажів.

Ключові питання ”Скільки продано?”, ”На яку суму продано?” розширюються по мірі ускладнення бізнесу і нагромадження історичних даних до певної множини факторів, або розрізів: ”..в Чернігові, в Києві, на Волині, в Криму…”, ”..в минулому кварталі, порівняно з нинішнім”, ”..від постачальника А порівняно з постачальником Б…” тощо.

Відповіді на подібні питання необхідні для прийняття управлінських рішень: про зміну асортиментів, цін, закритті і відкритті магазинів, філій, розторгненні і підписанні угод з дилерами, проведення або припинення рекламних кампаній тощо.

Якщо спробувати виділити основні цифри (факти) і розрізи (аргументи вимірів), якими маніпулює аналітик, намагаючись розширити або оптимізувати бізнес компанії, то утвориться таблиця, придатна для аналізу продаж як певний шаблон, що вимагає відповідного корегування для кожного конкретного підприємства.

Поля таблиці: Час, Категорія товару, Товар, Регіон, Продавець, Покупець, Сума, Кількість.

Час. Зазвичай, це декілька періодів: Рік, Квартал, Місяць, Декада, Тиждень, День. Більшість OLAP-інструментів автоматично обчислюють старші періоди з дати й обчислюють підсумки за ними.

Категорія товару. Категорій може бути декілька, вони відрізняються для кожного виду бізнесу: Сорт, Модель, Вид упаковки тощо. Якщо продається тільки один товар або асортимент незначний, то категорія не потрібна.

Товар. Іноді застосовуються назва товару (або послуги), його код або артикул. У тих випадках, коли асортимент дуже великий (а деякі підприємства мають десятки тисяч позицій у своєму прайс-листі), первісний аналіз за усіма видами товарів може не проводитися, а узагальнюватися до певних узгоджених категорій.

Регіон. Залежно від глобальності бізнесу можна мати на увазі Континент, Група країн, Країна, Територія, Місто, Район, Вулиця, Частина вулиці. Зрозуміло, якщо є тільки одна торгова точка, то цей вимір відсутній.

Продавець. Цей вимір також залежить від структури і масштабів бізнесу. Тут може бути: Філія, Магазин, Дилер, Менеджер з продажів. В деяких випадках вимір відсутній, наприклад, коли продавець не впливає на обсяги збуту, магазин тільки один тощо.

Покупець. В деяких випадках, наприклад, у роздрібній торгівлі, покупець знеособлений і вимір відсутній, в інших випадках інформація про покупця є, і вона важлива для продажів. Цей вимір може містити назву фірму-покупця або множину угруповань і характеристик клієнтів: Галузь, Група підприємств, Власник тощо.

Важливе питання – наявність даних. Якщо вони є у якому-небудь вигляді (Excel- або Access-таблиця, дані з бази облікової системи, у вигляді структурованих звітів філій), ІТ-фахівець зможе передати їх OLAP-системі напряму або з проміжним перетворенням. Для цього OLAP-системи мають спеціальні інструменти конвертації даних.

Після настроювання OLAP-системи на дані користувач отримає можливість швидко одержувати відповіді на ключові питання шляхом простих маніпуляцій мишею над OLAP-таблицею і відповідними меню. При цьому будуть доступні певні стандартні методи аналізу, які логічно випливають з природи OLAP-технології.

Факторний (структурний) аналіз. Аналіз структури продажів для виявлення найважливіших складових. Для цього зручно використовувати, наприклад, діаграму типу ”Пиріг” (рис.4.16) в складних випадках, коли досліджується відразу 3 виміри. Наприклад, в магазині ”Комп'ютерна техніка” за квартал продаж комп'ютерів склав $100000, фототехніки – $10000, витратних матеріалів материалов – $4500.

Рис.4.16. Структура продажів в магазині ”Комп'ютерна техніка”

Висновок: товарообіг магазина залежить у більшому ступені від продажу комп'ютерів (в дійсності цілком можливо, витратні матеріали є складовою продажу комп’ютерів, проте це вже аналіз внутрішніх залежностей).

Аналіз динаміки (регресійний аналіз – виявлення трендів), виявлення тенденцій, сезонних коливань. Наочно динаміку відображає графік типу ”Лінія”. Наприклад, обсяги продажів продуктів компанії Intel протягом року падали, а об'єми продажів Microsoft зростали. Можливо, покращився добробут середнього покупця, або змінився імідж магазину, а з ним і склад покупців. Необхідно провести корегування асортименту.

Аналіз залежностей (кореляційний аналіз). Порівняння об'ємів продажу різних товарів у часі для виявлення необхідного асортименту – ”кошика”. Для цього також зручно використовувати графік типу ”Лінія”. Наприклад, при видаленні з асортименту принтерів протягом перших двох місяців виявилося падіння продажів картриджів з порошком.

Порівняння (порівняльний аналіз). Порівняння результатів продажів у часі, або за певний період, або для заданої групи товарів. В залежності від кількості факторів, що аналізується (від 1 до 3-х) використовується діаграма типу ”Пиріг” або ”Стовпці”, наприклад: порівняння результатів продажу однотипних магазинів для оцінки якості роботи менеджерів.

Дисперсійний аналіз. Дослідження розподілу ймовірностей і довірчих інтервалів розглядуваних показників. Застосовується для прогнозування й оцінки ризиків.

Цими видами аналізу можливості OLAP не вичерпуються. Наприклад, застосовуючи в якості алгоритму обчислення проміжних і остаточних підсумків функції статистичного аналізу – дисперсію, середнє відхилення, моди більш високих порядків, – можна отримати найвитончені види аналітичних звітів.

OLAP-системи є частиною більш загального поняття ”інтелектуальні ресурси підприємства” або ”засоби інтелектуального бізнес-аналізу” (Business Intelligence – BI), яке включає в себе крім традиційного OLAP-сервісу засоби організації спільного використання даних і інформації, що виникають в процесі роботи користувачів сховища. Технологія Business Intelligence забезпечує електронний обмін звітними документами, розмежування прав користувачів, доступ до аналітичної інформації з Internet і Intranet.