12.1. Концепция хранилища данных

Первые сведения по ХД появились в 1988г. Г.Инмон подробно описал концепцию в своей монографии “Построение хранилищ данных”.

В основе концепции ХД лежит идея разделения данных, используемых для оперативной обработки и для решения задач анализа.

Хранилище данных – предметно-ориентированный, интегрированный, неизменчивый, поддерживающий хронологию набор данных, организованный для целей поддержки принятия решений.

В СППР разделение данных происходит в двух направлениях:

1) ОИД – оперативные источники данных (это оперативные БД, файлы, электронные таблицы и т.п.)

2) структуры данных, предназначенных для анализа – это ХД.

Дальнейшее развитие – это использование витрин данных (ВД). ВД – это упрощенный вариант ХД, содержащий только тематические объединенные данные. ВД существенно меньше по объему ХД, является подмножеством данных.

Рис.12.1. Схема системы поддержки принятия решений (СППР)

Все данные в ХД делятся на три категории:

- детальные данные (переносимые непосредственно из ОИД);

- агрегированные (получают путем суммирования числовых фактических данных по определенным измерениям);

- метаданные (данные о данных).

Большинство СППР работают не с детальными данными, а с агрегированными данными. Перенос данных в ХД называют ETL – процессом (E –extraction, T – transformation, L – loading) – извлечение, преобразование и загрузка.

12.2. Многомерная модель данных

Реляционные модели не позволяют просматривать и анализировать данные с точки зрения множественности измерений. Множественность измерений предполагает представление данных в виде многомерной модели (гиперкуба).

Рис.12.2. Многомерная модель хранилища данных

Ребрами такого куба являются измерения, а ячейками – меры.

Измерения:

Исполнитель (предприятие – подразделение – отдел – служащий).

Время (Год – квартал – месяц – день).

Мера (measures) – представляет ячейку, которая хранит факты (объемы продаж, остатки на складе, издержки и т.п.).

Над гиперкубом могут быть произведены такие операции, как срез, вращение, консолидация и детализация.

Срез (Slice) – формирует подмножество многомерного массива данных.

Вращение (Rotate) – изменение расположения измерений.

Консолидация (Drill Up) – агрегирование.

Детализация (Drill Down)

12.3. Olap – системы

OLAP (On-Line Analytical Processing) – технология оперативной аналитической обработки данных, использующая методы и средства для сбора, хранения и анализа многомерных данных в целях поддержки процесса принятия решений.

18 правил, предъявляемых к OLAP:

- многомерное концептуальное представление данных,

- доступность,

- архитектура “клиент - сервер”

- прозрачность,

- обработка ненормализованных данных,

- универсальность измерений и т.д.

OLAP система должна обеспечивать выдачу большинства ответов в пределах не более 5 сек.

Архитектура OLAP – систем

Выделяют три основных способа реализации многомерных моделей:

- MOLAP – используют многомерные БД,

- ROLAP – используют реляционные БД,

- HOLAP – используют и многомерные и реляционные БД.

MOLAP – используют для хранения и управления данными - многомерные БД. Данные хранятся в виде многомерных массивов. Такие массивы подразделяются на гиперкубы и поликубы. Физически, данные, представлены в многомерном виде, хранятся в плоских файлах. Куб представляется в виде одной плоской таблицы, в которую построчно вписываются все комбинации членов всех измерений с соответствующими им значениям мер.

Достоинство – быстрый поиск, так как база данных денормализована и содержит агрегированные данные. Недостаток – чувствительность к изменениям. Так при добавлении нового измерения приходится изменять структуру всей БД. Рекомендуется для небольших БД (не более нескольких гигабайт).

ROLAP

Реляционные БД дополняются средствами анализа. Распространены две основные схемы реализации многомерного представления данных с помощью реляционных таблиц: схема “Звезда” и схема “Снежинка”.

Основными составляющими таких схем являются денормализованные таблицы фактов (Fact Table) и массивы таблиц измерений (Dimension Table).

Фактами являются:

- события (телефонный звонок, снятие денег со счета и т.д.),

- “моментальные снимки” – рассматривается состояние объекта (например, банковского счета, объем продаж за день или дневная выручка).

Таблицы измерений содержат неизменяемые, либо редко изменяемые данные.

Рис.12.3. Модель хранилища данных по схеме «звезда»

В снежинке используются иерархические измерения, правда это ведет к усложнению структуры БД. Недостаток ROLAP по сравнению с многомерными СУБД – меньшая производительность.

HOLAP

Используют гибридную архитектуру, объединяющую технологии ROLAP и MOLAP. MOLAP лучше работает с более плотными данными, а ROLAP лучше, когда данные являются довольно разделимыми.