6.3.6. Реализации хранилищ данных

Реализация ХД невозможна без разрешения таких вопросов как:

• Неоднородность программной среды.

• Распределённость.

• Защита данных от несанкционированного доступа.

• Построение и ведение многоуровневых справочников метаданных.

• Эффективное хранение и обработка очень больших объёмов данных.

Неоднородность программной среды. Основополагающим отличием ХД от традиционных систем обработки данных СОД является то, что они практически никогда не создаются на пустом месте. И практически всегда конечное решение будет разнородным (с точки зрения производителей программных средств, принципов построения, операционных систем и т. д.)

Задача построения ХД, это задача построения единой согласованно функционирующей информационной системы на основе неоднородных программных средств и решений.

Распределённость. ХД уже по своей природе являются распределённым решением.

В основе концепции ХД лежит физическое разделение узлов, в которых выполняется операционная обработка и анализ данных. И хотя при реализации такой системы нет необходимости в строгой синхронизации данных в различных узлах (например, на основе средств двухфазной фиксации транзакций), средства асинхронной асимметричной репликации данных являются неотъемлемой частью практически любого решения.

Защита данных от несанкционированного доступа. Одним из первых же вопросов, встающих при обсуждении проекта ХД, является вопрос защиты данных. Многих пугают не столько затраты на реализацию системы ХД, сколько а то, что доступ к критически значимой информации может получить кто либо, не имеющий на это прав.

Региональный менеджер должен видеть только те данные, которые относятся к его региону, а менеджер подразделения не должен видеть данные, относящиеся ко всей фирме. Но для повышения эффективности доступа к данным в целевой БД Хранилища Данных все эти данные, как правило, хранятся в виде единой фактологической таблицы.

Построение и ведение многоуровневых справочников метаданных. В случае информационных систем, ориентированных на аналитическую работу с данными, наличие метаданных и средств их представления конечным пользователям является одним из основополагающих факторов успешной реализации системы (таблица 6.4).

Таблица 6.4. Уровни метаданных в Хранилище Данных

Уровень приложения (внешних источников данных)	Описывает структуру данных в операционных БД и других источниках данных. Обычно, этот уровень достаточно сложен для понимания неподготовленного пользователя и является приложение ориентированным
Уровень ядра Хранилища Данных	Описывает логическую и физическую структуру и взаимосвязи данных в Хранилище Данных.
Уровень конечного пользователя	Описывает структуры данных в Хранилище Данных в терминах предметной области конечного пользователя.

Эффективное хранение и обработка очень больших объёмов данных.

Характеристика целевой БД Хранилища Данных определяется по объёму данных (таблица 6.5).

Таблица 6.5. Классификация Хранилищ Данных

в соответствии с объёмом целевой БД

Маленькое Хранилище Данных	До 3–х Гигабайт	До нескольких миллионов строк в одной таблице
Среднее Хранилище Данных	До 25–ти Гигабайт	До ста миллионов строк в одной таблице
Большое Хранилище Данных	До 200 Гигабайт	До нескольких сотен миллионов строк в одной таблице
Очень Большое Хранилище Данных	Свыше 200 Гигабайт	Сотни миллионов или миллиарды строк в одной таблице

Следует понимать, когда говорится о 100 гигабайтах исходных данных, реальное дисковое пространство, требуемое для реализации целевой БД, будет в несколько раз больше (Соотношение между реальным объёмом исходных данных и размером дискового массива по результатам усредненного теста – 100Гб:500Гб) [106].