9.3. Проектирование хранилищ данных

Хранилище данных – Предметно-ориентированный, интегрированный, привязанный ко времени и неизменяемый набор данных, предназначенный для поддержки принятия решений.

Типичная архитектура хранилища данных показана на слайде 18

Исходные данные, помещаемые в хранилище, поступают из следующих источников.

• Оперативные данные мейнфреймов, содержащиеся в иерархических и сетевых базах данных первого поколения.

• Данные различных подразделений, сохраняемые в специализированных файловых системах типа VSAM, RMS и базах данных таких реляционных СУБД, как Informix и Oracle.

• Закрытые данные, которые хранятся на рабочих станциях и закрытых серверах.

• Внешние системы, например Internet, коммерчески доступные базы данных или базы данных, принадлежащие поставщикам или клиентами организации.

Менеджер загрузки (load manager), который часто называют внешним (front-end) компонентом, выполняет все операции, связанные с извлечением и загрузкой данных в хранилище.

Менеджер хранилища (warehouse manager) выполняет все операции, связанные с управлением информацией, помещенной в хранилище данных.

Менеджер запросов (query manager), который часто называют внутренним (back-end) компонентом, выполняет все операции, связанные с управлением пользователь­скими запросами.

В части Детальные данные хранилища данных хранятся все детальные данные, описанные в схе­ме базы данных. В большинстве случаев детальные данные хранятся не на оператив­ном уровне, а в виде информации, обобщенной до следующего уровня детализации. Как правило, детальные данные периодически добавляются в хранилище с автоматиче­ским выполнением обобщения исходной информации до необходимого уровня.

В области Частично и глубоко обобщенные данные хранилища размещаются все данные, предварительно обработан­ные менеджером хранилища с целью их частичного или глубокого обобщения (aggregate). Эта часть хранилища данных является временной, поскольку она посто­янно подвергается изменениям в ответ на изменения профилей запросов.

Компонент Архивные и резервные копии хранилища данных отвечает за подготовку детальной и обобщен­ной информации к помещению в резервные и архивные копии.

В области Метаданные хранилища данных хранятся все те метаданные (данные про дан­ные), которые используются любыми процессами хранилища.

Средства доступа к данным конечного пользователя могут быть:

• инструменты создания отчетов и запросов;

• инструменты разработки приложений;

• инструменты информационной системы руководителя (Executive Information System — EIS);

• инструменты оперативной аналитической обработки (OLAP-инструменты);

• инструменты разработки данных.

В технологии хранилищ данных основное внимание уделяется управлению пятью основными информационными потоками: входным, восходящим, нисходящим, .вы­ходным и метапотоком.С каждым из этих потоков связаны определенные процессы, которые представле­ны ниже.

Входной поток – Процессы, связанные с извлечением, очисткой и загрузкой информации из источников данных в хранилище данных.

Восходящий поток – Процессы, связанные с повышением ценности сохраняемых в хранилище данных посредством обобщения, упаковки и распределения исходных данных.

Нисходящий поток – Процессы, связанные с архивированием и резервным копированием информации в хранилище данных.

Выходной поток – Процессы, связанные с предоставлением данных пользователям.

Метапоток – Процессы, связанные с управлением метаданными.

Магазин (витрина) данных – Подмножество хранилища данных, которое поддерживает требования отдельного подразделения или деловой сферы организации. Магазин данных может быть независимым или определенным образом связанным с централизо­ванным хранилищем данных.

Основные отличительные черты мага­зина данных от хранилища данных:

• Магазин данных отвечает требованиям пользователей только одного из подразделений организации или некоторой ее деловой сферы.

• Магазин данных обычно не содержит детальных оперативных сведений (в отличие от хранилища данных).

• Поскольку магазин данных содержит меньше информации, чем хранилище, структура информации магазина данных более понятна и проста в управлении.

Метод проектирования базы данных как компонента хранилища или магазина данных, который называется моделированием размерно­стей (dimensionality modeling)

При проектировании базы данных для хранилища или магазина данных необходи­мо иметь представление о том, как они будут использоваться. База данных должна быть спроектирована таким образом, чтобы произвольные запросы пользователей вы­полнялись с приемлемой производительностью. В хранилище данных большое количе­ство запросов будет относиться к детальным данным, которые могут анализироваться самыми разными способами.