Data Vault. Серия 2: Компоненты Data Vault

Submitted by admin on Wed, 10/21/2009 - 15:49

Author(s): 

Линстедт, Дэн (Linstedt, Dan)

Translated by: 

Бралгин Игорь

Original source: 

Первоисточник статьи на английском языке доступен на www.tdan.com

Аннотация

Назначение этого документа – представить и обсудить заявленную на патент технологию под названием Data Vault™ (прим. переводчика: статья была написана в 2001 году, в предоставлении патента было отказано в январе 2005; сейчас архитектура Data Vault – общедоступна – FREE and PUBLIC DOMAIN). Data Vault™ – новый этап эволюции моделирования данных для хранилищ данных масштаба предприятия. Это – вторая статья в ряду публикаций о Data Vault. Эта статья исследует конкретный приме: преобразование базы данных Northwind (Microsoft SQL Server 2000) в Data Vault. Одной из наиболее интересных концепций сопутствующих Data Vault является объединение идей S.E.I. и CMM уровня 5. Это относится к вопросу: может ли Data Vault быть автоматически перепроектирована (reverse engineered) из существующей модели? Ответ: «Да, это возможно». Будет ли это совершенство? Нет, но алгоритм, который был разработан, создает модель Data Vault из существующей оперативной модели 3-ей нормальной формы. Дело в том, что этот процесс повторим и последователен; поэтому частично это может быть автоматизировано.

1.0 Введение

Назначение этого документа – представить и обсудить заявленную на патент технологию под названием Data Vault™ (прим. переводчика: статья была написана в 2001 году, в предоставлении патента было отказано в январе 2005; сейчас архитектура Data Vault – общедоступна – FREE and PUBLIC DOMAIN). Data Vault™ – новый этап эволюции моделирования данных для хранилищ данных масштаба предприятия. Этот документ, предназначен для аудитории, состоящей из проектировщиков данных, желающих разработать модель Data Vault.

Здесь мы сосредотачиваемся на конкретном примере: базе данных Northwind (Microsoft SQL Server 2000). Это подразумевает, что в целях обсуждения, читатель, станет обладателем, как минимум, ограниченной по времени копией СУБД SQL Server 2000. Пожалуйста, прочитайте первую статью серии, определяющую архитектуру Data Vault, чтобы узнать, что это за модель данных и как это вписывается в бизнес. В этой статье рассмотрены следующие темы:

• Исследование модели OLTP в 3NF для преобразования.

• Процесс моделирования хранилища Data Vault.

• Наполнение Data Vault.

• Выводы и заключение.

Прочитав это документ, Вы можете узнать:

• Как компоненты Data Vault взаимодействуют друг с другом.

• Как моделировать Data Vault.

• Как наполнять Data Vault.

• Как конвертировать систему OLTP из 3NF в корпоративное хранилище Data Vault (Enterprise Data Warehouse, EDW).

Давайте представим на мгновение, что возможно перепроектировать модель данных в хранилище. Что это означало бы для проекта по созданию хранилища данных? Предположим, что это можно сделать в автоматическом режиме, это было бы лучше или хуже? Что, если необходимо только подтверждение, чтобы интегрировать различные аспекты генерируемых моделей данных? Эти и многие другие вопросы приходят на ум, когда начинают рассматривать автоматизацию моделирования данных для хранилищ, особенно когда рассмотрение касается механизации инженерной работы.

Для наших целей, наличие этих функциональных возможностей, порождающих основу Data Vault, оказало огромную помощь. Модель данных Northwind была преобразована и вручную, и автоматизированным способом. При сравнении двух моделей данных были обнаружены только незначительные различия. Дальнейшая экспертиза показала, что ручное преобразование создало возможности для ошибок в таблицах Связи, где автоматизированный конвертер сохранил Связи чистыми. Некоторые из наиболее важных моментов для автоматизации процесса это: соглашения о наименованиях, соглашения об аббревиатурах и спецификация первичных / внешних ключей.

Здесь важно, что это первый шаг в применении «динамического хранилища данных», или динамического изменения модели (пожалуйста, см. мою другую статью: «Bleeding Edge Data Warehousing», которая должна выйти в журнале «Data Warehousing Fall» в 2002). Она также представила модель данных через десять минут (для этого конкретного примера), когда потребовалось около двух часов, чтобы преобразовать вручную. Затем потребовались дополнительные двадцать минут, чтобы настроить модель немного, и осуществить ее. Имейте в виду, что это - маленькая модель данных и все, что предложено автоматически изменяет только одну модель данных OLTP. Автоматизированный процесс еще не достаточно умен, чтобы интегрировать модели данных Data Vault с окончательным результатом.

Код DDL доступен на сайте: www coreintegration.com (прим. переводчика: в настоящее время уже не доступен, если у кого-то из читателей сохранился код, пришлите, пожалуйста, выложим на сайте)…

Пожалуйста, имейте в виду; что это не лучший образец Data Vault и не стоит и думать передавать такие модели клиентам. Это задумывалось только в качестве примера для ознакомления. Не стесняйтесь обращаться непосредственно ко мне с вопросами и замечаниями.

«Вы должны стремиться делать то что, по Вашему мнению, Вы не сможете сделать», Элеонора Рузвельт.