4. Разработка плана хранилища данных

Требования, которые предъявляются к аппаратному и про­граммному обеспечению хранилища данных, приводят к сущест­венным отличиям в его структуре и обслуживанию по сравнению с традиционной базой данных. Архитектура хранилищ данных:

а) хранилище может состоять из нескольких магазинов данных, потоки информации из которых объединяются в единое целое;

б) хранилище может предоставлять специа­лизированную информацию в меньшие по объему магазины дан­ных.

При разработке хранилища следует учитывать следующие принципы:

• объединять всех, кто заинтересован в создании хра­нилища;

• оценить масштаб проекта, его стоимость и преиму­щества;

• определить цель создания хранилища, связи между данными;

• оценить реальную ситуацию на предприятии и объемы инфор­мации, относящейся к различным темам;

• выявить, с какой частотой будут загружаться, выбираться, фильтроваться и преобразовываться данные;

• определить преимущества от завершенного проекта, как его адаптировать к вероятным изменениям в будущем. Лучший путь создания хранилища - «сверху-вниз»: создавая структуру всего предприятия и разделяя его далее на отдельные потоки. Необходимо сразу определить все стандарты и требования, предъявляемые к данным.

При разработке хранилищ используют пространственное моделирование («звезда» и «сне­жинки»). В традиционной модели связей между элементами (ER – enitity relationship) используется нормализованный подход к планированию базы данных. Нормализация позволяет удалить из структуры лишние элементы, чтобы оптимизировать объем со­храняемой информации. Для хранилища данных вопросы объема сохраняемых данных не так критичны, важнее обеспечить простоту доступа к информации со стороны пользователя, поэтому некоторая избыточность информации обычно считается приемлемой. Для разработки структуры хранилища данных использу­ется пространственное моделирование: разработка структуры, при которой общая работа предприятия делится на логические события или факты и применяется набор соответствующих изме­рений. Получается так называемая звездообразная структура: не­сколько больших центральных таблиц фактов и множество таб­лиц меньшего размера.

Центральная таблица фактов (fact table) обычно со­стоит из событий бизнеса, которые связаны со временем, напри­мер, банковских транзакций, продаж, заказов, возврата, отгрузки и посещения Web-узлов. Она содержит внешние ключи к различ­ным таблицам и набор числовых значений. Информация в табли­цах фактов обычно статична.

Размерные таблицы (dimension tables) – содержит в ос­новном текстовую информацию, связанную с записями фактов: имена клиентов, описание товаров, сведения о поставщиках и ди­лерах. Эти таблицы меньше по размеру, чем таблицы фактов и не являются статичными, т.е. записи в них могут обновляться. Это главный инструмент отслеживания информации, изменяющейся с течением времени.

Существует несколько вариантов классической звездооб­разной структуры. Иногда к размерным таблицам применяется нормализация, при которой они связываются друг с другом. В результате получается структура, которая называется «снежин­кой».

Структура «снежинка» часто обеспечивает оптимальную производительность, однако приводит к усложнению работы с метаданными хранилища, кроме того, необходимо преобразова­ние данных, поступающих из нескольких СУБД.

Пространственная модель – это логический способ орга­низации информации, оптимизированный для запросов и генера­ции отчетов.

Хранилище данных – это постоянно развивающийся про­ект. Удачные модели порождают все новых пользователей и но­вые требования, увеличивая нагрузку на ресурсы системы, по­этому необходимо решать задачи:

1. резервное копирование и/или восстановление;

2. расписание загрузок;

3. репликация (дублирование) – можно делать так, чтобы можно было подписаться на всю информацию, находя­щуюся в хранилище данных, подписчиками могут быть магазины данных разных отделов предприятия;

4. настройка параметров запросов – обслуживание хра­нилища предусматривает предоставление пользователям фик­сированных запросов или сокращение времени ответа путем из­менения индекса или структуры таблицы базы данных.

5. Вклад фирмыMicrosoftиMSSQLServer2000 в об­ласти разработки хранилищ данных

Продукты фирмы Microsoft позволяют значительно усовершен­ствовать процесс создания хранилища данных (см. рис. 3).

Средства фирмы Microsoft, которые можно использовать для создания хранилища данных