Сравнение субд и хранилища данных

Характеристики СУБД	Характеристики храни­лища данных
1)Выполнение транзак­ций, основанных на реляцион­ных связях	1)Тематический поиск, основанный на данных и измерении
2)Множество таблиц, нормализованная структура	2)Небольшое количе­ство таблиц, ненормализован­ная структура
3)Используются жур­налы транзакций для отмены операций	3)Журнал транзакций для отмены операций не нужен
4)Множество строк с очень подробной информацией	4)Строки с объединен­ной итоговой информацией
5)Небольшие индексы для быстрого обновления	5)Большие индексы для выполнения оптимизирован­ных запросов

2. Компоненты хранилища данных. Хранилища дан­ных и магазины данных

Компоненты хранилища данных:

1. СУБД предприятия (OLTP-системы) – могут быть рассредоточены по предприятию;

2. службы преобразования данных;

3. метаданные – сведения о данных в хранилище;

4. хранилище данных (с физической точки зрения) – аппаратное обеспечение сервера и базы данных, на которых строится хранилище данных. Оно может быть центральным хранилищем или включать несколько специализированных магазинов данных;

5. средства доступа к данным конечного пользова­теля – это могут быть программы формирования запросов или генерации отчетов от сторонних фирм или встроенные при­ложения, обеспечивающие доступ к информации, находя­щейся в хранилище данных.

Магазин данных (Data Mart) – это «склад» данных, соб­ранных из СУБД или других источников, который предназначен для использования конкретным отделом или группой.

Назначение магазина данных – удовлетворить потребно­сти конкретного отдела в плане анализа, содержания, предостав­ления данных и простоты их использования. Информация в мага­зине данных сохраняется в привычном для пользователя формате.

3. Преобразование данных. Метаданные

Преобразование данных – это набор операций, которые выполняются над необходимыми данными по мере их переноса на место назна­чения. Типичное преобразование данных включает сбор данных из различных источников и их объединение в одно целое, кор­рекцию данных, сведение различных типов данных к единой мо­дели и обобщение слишком подробных записей. Процедуры пре­образования данных отнимают большую часть времени, необхо­димого для создания хранилища или магазина данных.

Преобразование данных из СУБД включает:

1. Интеграцию (объединение) данных – процедура объ­единения может просто сводиться к копированию данных из различных источников в одно место, но возможно потребуется немного преобразовать данные, чтобы они соответствовали тре­бованиям унифицированной модели. В хранилище данных можно объединить отдельные части разных СУБД в одной общей таб­лице.

2. Коррекцию данных – приведение данных к одному формату, проверка допустимости данных – данные должны быть согласованы.

3. Преобразование значений – во многих СУБД (напри­мер, юридических) некоторые поля зашифрованы с помо­щью ключей, кодов и т.д, поэтому при передаче этих данных в хранилище они должны быть преобразованы в содержательные термины. В хранилище или магазине большая часть информации должна быть открытой.

4. Обобщение данных – при создании хранилища ин­формация накапливается и обобщается по мере поступления из различных СУБД. Предварительная обработка позволяет повы­сить производительность системы по сравнению с суммирова­нием данных при каждом выполнении одного и того же запроса, что позволяет сократить объем первоначально сохраняемых дан­ных. Для хранилища свойственны достаточно простые методы сбора информации, но сложные методы её накопления из не­скольких различных таблиц.

5. Выборку, загрузку и обновление данных. Информация из хранилища данных представ­ляет собой «временной срез» информации из СУБД. Можно загружать данные еженедельно или после некоторого периода накопления информации, например, месяца. Лучше всего выполнять такую загрузку после работы или в вы­ходные,– когда трафик в сети достаточно низкий. Выборка дан­ных может включать процедуры, работающие с существующими источниками данных – триггеры или работы, выполняемые:

а) по расписанию;

б) одновременно. Это можно осуществить с помощью службы преобразования данных (DTS) SQL Server 2000. Когда хранилище данных будет создано, основная часть его работы бу­дет заключаться в периодическом использовании программы об­новления информации.

В хранилище данных отслеживание содержимого ведется с помощью метаданных. Их назначение – сообщить, какие дан­ные находятся в хранилище, когда они были в него помещены, какие модификации были над ними выполнены, и когда это про­изошло.

Метаданные объясняют, что собой представляет каждый столбец и зачем он может понадобиться пользователю. Кроме того, они предоставляют сведения о том, какие преобразования были применены к столбцам. Этот журнал истории, в котором отслеживается «происхождение» каждого элемента информации, называется родословной данных (data lineage). Метаданные при­меняются также для анализа степени воздействия одного про­цесса или объекта на другой. Такой анализ позволяет определить, какие преобразования данных будут нарушены в случае измене­ния структуры базы данных хранилища.