Гибридное хранилище данных

Особенности гибридного хранилища данных

• совмещение концепции ХД и витрины данных

• использование ХД в качестве единственного источника интегрированных данных для всех витрин данных

• в результате естественной становится трехуровневая архитектура системы.

Гибрид нормализованного и пространственного ХД:

На первом уровне реализуется корпоративное ХД на основе одной из развитых современных реляционных СУБД, содержащее в основном детализированные данные.

Реляционные СУБД:

• обеспечивают эффективное хранение и управление данными очень большого объема;

• лучше хранилищ справляются с разряженными данными, то есть незаполненными показателями на многих уровнях иерархии;

• содержат давно известные и удобные системы и методы администрирования и управления.

На втором уровне поддерживаются витрины данных на основе многомерной системы управления базами данных. Они содержат агрегированные данные и почти идеально подходят для целей разработки OLAP-систем: они не позволяют хранить сверхбольшие объемы данных, но это и не требуется, поскольку речь идет о витринах данных.

На третьем уровне находятся клиентские рабочие места конечных пользователей, где устанавливаются средства оперативного анализа данных.

Это могут быть OLAP-системы или системы для Data Mining – интеллектуального анализа данных, аналитики, прогнозирования и т.д.

4. Форматы хранения данных в OLAP кубах. Их достоинства и недостатки.

OLAP-структура, созданная из рабочих данных, называется OLAP-куб. Куб создаётся из соединения таблиц с применением схемы звезды или схемы снежинки. В центре схемы звезды находится таблица фактов, которая содержит ключевые факты, по которым делаются запросы. Множественные таблицы с измерениями присоединены к таблице фактов. Эти таблицы показывают, как могут анализироваться агрегированные реляционные данные. Количество возможных агрегирований определяется количеством способов, которыми первоначальные данные могут быть иерархически отображены. Форматы хранения данных в кубах различаются методами хранения данных

Многомерный olap-формат (Multi-dimensional olap - molap)

MOLAP предполагает хранение в многомерных кубах и детализированных, и агрегированных данных

MOLAP является многомерным форматом хранения данных, который отличается высоким быстродействием. Помимо поддержки OLAP самих кубов данных при выборе данного формата данные будут храниться в многомерных структурах на OLAP-сервере (OLAP-структуры).

MOLAP обеспечивает наилучшее быстродействие выполнения запросов, поскольку этот формат специально оптимизирован для многомерных запросов к данным.

Преимущества и недостатки molap

Поскольку MOLAP требует копирования и преобразования всех данных в надлежащий формат для многомерной структуры хранилища данных, MOLAP можно применять для небольших или средних объемов данных.

Основное преимущество MOLAP заключается в превосходных свойствах индексации; ее недостаток — низкий коэффициент использования дискового пространства, особенно в случае разреженных данных.

Область применения molap

• объем исходных данных для анализа не слишком велик (не более нескольких гигабайт), т.е. уровень агрегации данных достаточно высок;

• набор информационных измерений стабилен (поскольку любое изменение в их структуре почти всегда требует полной перестройки гиперкуба);

• время ответа системы на нерегламентированные запросы является наиболее критичным параметром;

• широкое использование сложных встроенных функций требуется для выполнения кроссмерных вычислений над ячейками гиперкуба, в том числе возможности написания пользовательских функций.