19. Управління сводними даними

В функцию управления сводными данными в Oracle входят следующие компоненты:

- сущность, называющаяся «материализованное представление», которая по сути представляет собой сводную таблицу;

- функция «переписывание запросов», которая явным образом переписывает запросы SQL под использование материализованных представлений;

- механизм обновления сводок, использующий либо полное, либо инкрементное обновление;

- Summary Advisor (Консультант по сводкам), дающий рекомендации по созданию сводок;

- измерения (Dimensions), дающие возможность объявлять иерархические связи, такие, как вложения уровней данных (rollup), помогающие переписывать запросы.

С помощью Summary Advisor можно легко определить, какие материализованные представления можно создать для данного набора запросов, чтобы уложиться в заданный объем дискового пространства. Как только сводки созданы и сделаны доступными для переписывания запросов, запросы автоматически начинают использовать эти сводки. Значительное преимущество такого подхода в том, что конечным пользователям базы и приложениям, использующим базу, больше не нужно знать о существовании сводок. Многие средства работы с запросами, такие, как DSS Agent от Microstrategy или Decision Suite от Advantage, также предоставляют некоторые возможности для переписывания запросов (известные также как агрегатная навигация). Однако, в отличии от этих инструментов, переписывание запросов в Оракл имеет общий характер и не ограничивается звездообразной схемой или запросами, включающими агрегацию. Любое клиентское средство может воспользоваться этой функцией на сервере и обеспечить все возможности агрегатной навигации. Например, Oracle Discoverer использует Управление сводными данными для улучшения времени обработки запроса.

Управление сводными данными также предоставляет процедуры дл\ полного и быстрого обновления сводок при загрузке новых данных в хранилище. Это устраняет необходимость писать сложные программы инкрементного обновления.

20. Проблеми сховищ даних

1. Проблемы качества данных.

Орфографические ошибки во время внесения данных в БД. Ошибочно внесенные данные несколько раз. Результаты запросов, добычи данных или бизнес-анализа над хранилищем, содержащим большое число грязных данных, не могут считаться надежными и полезными. Только сейчас предприятия начинают внедрять инструменты очистки данных.

Наличие грязных данных может привести к финансовым потерям и юридической ответственности, если их присутствие не предотвращается, или они не обнаруживаются и не очищаются.

Для обеспечения высокого качества данным предприятиям нужно иметь процесс, методологии и ресурсы для отслеживания и анализа качества данных, методологию для предотвращения или обнаружения и очистки грязных данных и методологии для оценки стоимости грязных данных и затрат на обеспечение высокого качества данных.

2. Проблемы выбора источников данных

Как проектировщики могут убедиться в том, что хранилище данных содержит все данные, нужные приложениям, которые будут над ним выполняться, и не содержит никаких данных, которые приложениям не нужны? Сегодня это основывается на основе догадок опытных проектировщиков. Проектировщикам приходится выявлять потребности в данных (таблицы и столбцы), опрашивая разработчиков приложений, бизнес-аналитиков (людей, которые понимают потребности приложений и бизнеса) и администраторов баз данных. После начального создания хранилища часто оказывается, что в нем отсутствуют данные, требуемые для получения ответов на некоторые запросы, и присутствуют данные, которые никогда не требуются приложениям.

3. Проблемы производительности и масштабируемости

Методы доступа в общем случае не помогают при ответе на запросы, результатами которых является значительная часть таблицы. Примерами являются запросы: <<найти всех сотрудников женского пола>>, <<найти всех некурящих сотрудников>> и <<найти молодых сотрудников>>. Кроме того, методы доступа не приносят пользы, если значения столбца часто изменяются, поскольку такие изменения требуют перестройки методов доступа. Это примеры <<простых>> запросов, для выполнения которых методы доступа в системах РБД оказываются бесполезными.

К другому классу относится операции <<перемещения файлов>>, читающие и/или записывающие файл(ы) целиком. Этот тип операций важен на этапе требующем больших временных затрат <<преобразования данных>> при создании хранилища данных или на этапе <<подготовки данных>> при автоматическом извлечении знаний (добыче данных) из имеющихся источников.