Проблемы хранилищ данных.

Недооценка ресурсов, необходимых для загрузки данных. По статистическим исследованиям доля времени на загрузку данных достигает 80% от общего времени на разработку хранилища данных. Основная проблема – возможная несогласованность данных.

Скрытые проблемы источников данных. Такие проблемы могут быть обнаружены спустя несколько лет после начала использования хранилища. При этом возникает необходимость внесения изменений в данные хранилища. Например, для некоторых объектов недвижимости не был введен адрес. А в новой порции загружаемых данных эта информация уже появилась.

Отсутствие требуемых данных в имеющихся архивах. В некоторый момент времени для выполнения некоторого анализа потребовалась информация, отсутствующая в хранилище. В этом случае необходимо либо изменить существующие системы оперативной обработки с целью дальнейшего учета информации, либо написать новую систему для ввода необходимой информации. /*Ага, и заставить ею пользоваться :) */

Повышение требований конечных пользователей. После того, как пользователи получат в свое распоряжение инструменты работы с хранилищами данных, их требования к помощи и консультациям сотрудников информационной службы организации возрастут. В силу того, что пользователи начнут осознавать мощь предлагаемой системы.

Гомогенизация данных. Создание хранилища на основе нескольких систем оперативной обработки может потребовать решения задачи гомогенизации данных (создание однородной структуры). А это в свою очередь может способствовать обесцениванию интегрированных данных. Например, разработчик хранилища может подчеркнуть не различия, а сходства между данными, используемыми при аренде и продаже объектов недвижимости.

Высокие требования к ресурсам. /*Объемы данных большие и все увеличивающиеся, следовательно, нужно много дискового пространства. С вычислительными ресурсами дело обстоит лучше, так как есть специальные подходы к обработке информации в хранилищах. */

Владение данными. Возможно, при разработке хранилища придется изменить права доступа к информации различных подразделений.

Сложность интеграции. Доступ к информации хранилища должны получать разнородные инструменты.

Архитектура хранилища данных

рис. стр.952

Оперативные данные. К источникам оперативных данных относятся

а) Информация, хранящаяся в различных БД OLTP-систем. Причем СУБД, поддерживающие их, могут быть как реляционные, так и иерархические и сетевые.

б) Внешние системы, например, Internet, коммерчески доступные БД или БД, принадлежащие поставщикам и клиентам организации.

Менеджер загрузки . /*Существующий в СУБД или собственной разработки. */ Этот компонент выполняет все действия, связанные с извлечением данных источников и загрузкой их в хранилище. В том числе этот компонент выполняет при необходимости различные преобразования форматов.

Менеджер хранилища. /*Существующий в СУБД или собственной разработки. */ Этот компонент выполняет все операции, связанные с управлением информацией, находящейся в хранилище. Основные функции:

а) Анализ непротиворечивости данных.

б) Преобразование и перемещение данных из временного хранилища в основные таблицы.

в) Создание индексов и представлений для базовых таблиц.

г) Денормализация данных, если она требуется.

д) Обобщение данных, если оно требуется

е) Резервное копирование и архивирование.

Менеджер запросов. Этот компонент отвечает за выполнение операций с данными со стороны конечных пользователей. Функциональные возможности компонента определяются возможностями СУБД, под управлением которой эксплуатируется хранилище.

Детальные данные. В этой части хранилища находятся все детальные данные, полученные из оперативных систем. Однако не всегда эти данные хранятся непосредственно в том же виде, что и в оперативных системах: часто они при переносе в хранилище уже подвергаются некоторому обобщению.

Частично и глубоко обобщенные данные. В этой части хранилища находятся данные, обработанные менеджером хранилища. Назначение обобщенных данных состоит в повышении производительности запросов. Хотя предварительное обобщение требует некоторых дополнительных затрат на обслуживание, оно окупается исключением многократного выполнения сортировок и группировок данных.

Архивные копии. Чаще всего в архивы помещаются детальные данные хранилища. Однако может потребоваться сохранить и обобщенные данные, несмотря на то, что их можно вновь получить на основе детальных. Это нужно в случае, когда принято решение удалить детальные данные.

Метаданные. Кроме обычной для системного каталога информации метаданные хранилища должны содержать информацию об оперативном источнике данных. Также метаданные должны сохранять информацию о преобразовании источника, например, смене типа поля.

Средства доступа к данным конечных пользователей.

а) Инструменты создания отчетов и запросов. Это продукты, позволяющие пользователям строить запросы к БД, не зная языка БД и не в даваясь в нюансы реализации структуры БД. Чаще всего являются визуальными. Однако по мере усложнения запросов снижается эффективность их использования конечными пользователями.

б) OLAP- инструменты. Инструменты оперативной аналитической обработки данных, основной идеей которых является концепция многомерной БД. Они позволяют квалифицированным пользователям анализировать данные с помощью сложных многомерных запросов.

в) Инструменты разработки приложений. /*Работают с через внутренний языка БД, могут использовать генераторы отчетов или средства OLAP */

г) Инструменты разработки данных. Разработка данных – это процесс открытия новых осмысленных корреляция и тенденций путем переработки больших массивов информации. /*Могут быть частью OLAP */