32. Індексування сховищ даних. Индексирование данных

Как уже отмечалось, стандартным приемом повышения эффективности доступа к записям в базах данных является создание индексных массивов по отдельным, обычно ключевым полям. Идея индексов основана на том факте, что если для повышения эффективности доступа к конкретному кортежу-записи использовать линейное упорядочение кортежей в таблице (скажем, по алфавиту для текстовых ключевых полей или по возрастанию для числовых ключевых полей), то накладные расходы по «перетряске» всей таблицы после добавления/удаления строк-кортежей превысят выигрыш во времени доступа. Структура индексов (индексных массивов) строится так, чтобы на основе некоторого критерия можно было бы быстро находить по значению индексируемого поля указатель на нужную запись (строку) таблицы и получать к ней доступ. При этом совокупность записей-кортежей базовой таблицы не обязательно упорядочивать, а при их изменении необходимо изменить только лишь индексный массив.

Как и для информационных массивов самих данных (таблиц), так и для индексных массивов применяются линейные и нелинейные структуры. В качестве линейных структур индексов в большинстве случаев выступают инвертированные списки. Инвертированный список строится по схеме таблицы с двумя колонками — «Значение индексируемого поля» и «Номера строк»* (см. рис. 2.16). Инвертированные списки чаще всего применяются для индексации полей, значения которых в разных строках-записях могут повторяться, к примеру, поле «Год рождения» таблицы «Сотрудники» (в реляционных базах данных такие поля не могут быть ключевыми).

Первый тактический подход - индексирование данных (см. рис. 1). Существует ряд нестандартных решений (вместо того, чтобы просто увеличивать число индексов):

• Создание "перевернутых" списков (inverted lists);

• Создание "перевернутых" списков, содержащих неиндексированные данные;

• Иерархические индексы;

• Создание небольшого количества индексов для данных, лишь некоторые экземпляры которых представляют интерес и т.д.

Использование индексов - это просто еще один способ, с помощью которого можно хранить данные для оптимального использования, а не оптимального хранения.

33. Стандарти технології OLAP

В стандарт SQL’99 включён набор операторов для

работы с OLAP данными.

Расширения стандартов SQL-1999 и SQL-2003,

восполняющие OLAP функциональность языка SQL:

✧ Grouping Set запросы;

✧ Cube By запросы;

✧ Rollup By запросы;

✧ Window By запросы;

✧ Model By запросы в Oracle 10g и выше

34. Бази даних і технологія XML

Эффективное и безопасное управление большими объемами данных - непростая задача, которая традиционно решается системами управления базы данных. Причины для хранения XML в системе базы данных те же, что и для реляционных данных: надежное хранилище, транзакционная стойкость, восстанавливаемость, высокая доступность, безопасность, эффективные поиск и модификация, масштабируемость. Все эти особенности делают базы данных более подходящим репозиторием для XML-данных чем, например, файловая система. Так что, в последние годы XML базы данных получили растущую популярность и важность.

Что же такое XML база данных? Мы можем в общем случае различить базы данных с возможностями XML (XML-enabled) и базы данных с естественным XML (native XML). Мы называем базу данных XML-enabled, если ее модель ее ядра хранения и обработки данных - не XML модель данных.

Термин native XML база данных используется в различных смыслах разными группами. Одно определение, с которым вы, вероятно, столкнетесь, гласит, что native XML база данных имеет следующий три характеристики:

• Она определяет логическую модель для XML-документа. Данные хранятся и выбираются в соответствии с этой моделью. Модель должна включать в себя элементы, атрибуты, PCDATA и порядок документа.?

• XML-документ является базовой единица логического хранения.?

• Не требуется никакая специфическая физическая модель хранения. Это означает, что она может быть основана на реляционных, иерархических или объектно-ориентированной базе данных.?

В частности, это определение допускает преобразование данных из модели данных XML в другие модели данных для их хранения и обработки.

Таким образом, требуется, чтобы native XML база данных также имела следующий два свойства:

• модель данных XML (XML Infoset или XQuery/XPath Data Model) - фундаментальная логическая модель данных, которая и используется внутри базы данных и предоставляется пользователям базы данных, если XML является типом данных.?

• модель данных XML является основной единицей физического хранения всех XML-данных, без отображения в другую модель данных.?

Данные, представленые в XML, соответствуют физической схеме хранения на диске. Эта модель является лучшей для эффективного поиска XML-данных. Она также хорошо приспособлена для применения XML-схем. В последние годы появились различные native XML базы данных, обычно предлагаемые небольшими специализированными продавцами.

Гибридная база данных - реляционная база данных, которая является XML-enabled базой данных, но в то же время предлагает и возможности native XML базы данных. Это база данных, которая поддерживает, и реляционную модель данных, и модель данных XML во всех ее механизмах обработки и хранения.

35. XML: можливості та перспективи

35. XML: возможности и перспективы

Одной из важнейших целей создания платформы XML является привнесение в среду Web метаданных, описывающих свойства поддерживаемых в ней информационных ресурсов, прежде всего, структуры XML-документов и их смыслового содержания (семантики).

В стандартах платформы XML предусмотрено несколько средств определения метаданных. Для определения структуры XML-документов специальные синтаксические конструкции предусмотрены в языке XML. Представленные их средствами метаданные называются определением типа документов (Document Type Definition, DTD). В DTD XML-документы данного типа описываются как иерархические структуры, состоящие из их элементов. Это описание может быть встроено в XML-документ или оно хранится где-либо в Web, и в документе дается на него ссылка. Для описания структуры XML-документов так же могут использоваться средства стандарта XML Schema. По сравнению с DTD, этот стандарт предоставляет для описания XML-документов дополнительные возможности, в частности более развитую систему типов значений атрибутов элементов.

Семантика XML-документа может быть определена явным или неявным образом (по умолчанию). Явное определение может быть формализовано в различной степени. Простейший способ задания семантики – использование пространства имен. Механизм пространства имен может, как уже отмечалось, определять явным или неявным образом семантику элементов XML-документов различных типов, их атрибутов, а также принимаемых атрибутами значений.

Более формализованный способ явного описания семантики XML-документов обеспечивается средствами стандарта W3C - Resource Definition Framework (RDF) [16, 17]. Такое описание, называемое RDF-спецификацией, аналогично по своим возможностям концептуальной схеме в системах баз данных. По сравнению с рассмотренными выше средствами, оно представляет собой более высокий уровень семантического описания информационных ресурсов, приблизительно эквивалентный ER-модели.

В RDF-спецификации объявляется некоторое множество ресурсов, для каждого из которых определяются пары "свойство-значение". Информационные ресурсы в RDF - это ресурсы Web, идентифицируемые уникальным образом с помощью их URI. Они могут также представлять собой коллекции других информационных ресурсов или литералов, называемые контейнерами. В настоящее время уже создано значительное количество свободно распространяемых и коммерческих инструментальных средств для поддержки RDF-спецификаций [40] - синтаксических анализаторов, программного обеспечения репозиториев, реализаций языков запросов RDF и т.д.

Перспективы развития и применения XML-платформы

Распространению стандартов XML-платформы существенным образом способствует политика W3C, направленная на обеспечение доступности их спецификаций, создание ряда свободно распространяемых синтаксических анализаторов для языка и другого свободно распространяемого программного обеспечения, то большое внимание, которые создатели стандартов XML уделяют обеспечению преемственности для существующей HTML-платформы и накопленных на ее основе ресурсов.

При оценке перспектив языка XML нельзя также не учитывать, что он начинает играть существенную роль в других широко распространенных технологиях - CASE-технологиях, технологиях хранилищ данных, потоков работ, в технологиях баз данных, становится основой интеграции информационных ресурсов Web и реляционных баз данных. Предпринимаются также шаги, направленные на интеграцию XML-среды с объектными средами.

Что касается применения технологий XML в области электронных библиотек, то вполне уместный здесь оптимизм базируется прежде всего на таких важных в рассматриваемых приложениях свойствах XML-среды, как: наличие средств поддержки метаданных, описывающих свойства информационных ресурсов, в том числе и семантические свойства; способность технологий XML к интеграции с другими технологиями информационных систем, возможность обеспечивать совместно с ними интеграцию неоднородных информационных ресурсов; возможность транспортировки XML-данных в глобальной коммуникационной среде Web.