2117

–проектирование ВД для ответов на определенный круг вопросов;

–быстрое внедрение ВД и получение отдачи;

–упрощение процедур заполнения ВД и повышения их производительности за счет учета потребностей определенного круга пользователей.

Недостатком автономных ВД является многократное хранение данных в разных ВД, что приводит к увеличению расходов на их хранение.

ВД могут использоваться и совместно с ХД. В этом случае ХД представляет собой единый централизованный источник информации для всей предметной области, а ВД являются подмножествами данных, организованными для представления информации по тематическим разделам данной области. При этом конечные пользователи имеют возможность доступа к детальным данным хранилища, если данных в витрине недостаточно. Достоинствами такого подхода являются:

–простота создания и наполнения ВД, поскольку наполнение происходит из единого стандартизованного источника очищенных данных – хранилища;

–простота расширения СППР за счет добавления новых

ВД;

–снижение нагрузки на основное ХД.

К недостаткам можно отнести:

–избыточность (данные хранятся как в ХД, так и в ВД);

–дополнительные затраты на разработку СППР с ХД и

ВД.

В процессе анализа данных и поиска решений часто возникает необходимость в построении зависимостей между различными параметрами, число которых может варьироваться в широких пределах. Традиционные средства анализа,

61

оперирующие данными, представленными в виде таблиц реляционной база данных, не могут в полной мере удовлетворять таким требованиям, в первую очередь, из–за невозможности объединять, просматривать и анализировать данные с точки зрения множественности измерений.

Измерение – это последовательность значений одного из анализируемых параметров (например, для параметра «время» это могут быть дни или месяцы). Каждое измерение может быть представлено в виде иерархической структуры (например, год – квартал – месяц – неделя – день).

Множественность измерений предполагает представление данных в виде многомерной модели, в которой по измерениям откладываются параметры, относящиеся к анализируемой предметной области (например, время, города, должности и т.д.).

Представление данных, включающее несколько независимых измерений, вдоль которых могут быть проанализированы определенные совокупности данных, называется многомерным. Одновременный анализ по нескольким измерениям – многомерный анализ.

Многомерная модель данных может быть представлена в виде гиперкуба (рис. 13), ребра которого являются измерениями, а ячейками – меры – данные, количественно характеризующие анализируемые факты (объемы продаж).

62

данные. Между тем способ реализации очень важен, т. к. от него зависят такие характеристики, как производительность и занимаемые ресурсы.

Выделяют три основных способа реализации модели данных: многомерная, реляционная и смешанная.

Многомерные модели (MOLAP – многомерный

(multivariate) OLAP) – для реализации многомерной модели используют многомерные БД, при этом ри этом куб представляется в виде одной плоской таблицы, в которую построчно вписываются все комбинации членов всех измерений с соответствующими им значениями мер (табл. 10).

К преимуществам использования многомерных БД в OLAP–системах относятся:

– быстрый поиск и выборка данных, т. к. многомерная база данных денормализована и содержит заранее агрегированные показатели, обеспечивая оптимизированный доступ к запрашиваемым ячейкам и не требуя дополнительных преобразований при переходе от множества связанных таблиц к многомерной модели;

64

–многомерные БД легко справляются с задачами включения в информационную модель разнообразных встроенных функций, тогда как объективно существующие ограничения языка SQL делают выполнение этих задач на основе реляционных БД достаточно сложным, а иногда и невозможным.

С другой стороны, имеются также существенные недостатки многомерных БД:

–за счет денормализации и предварительно выполненной агрегации многомерная таблица требует большего объема памяти по сравнению с реляционной БД;

–многомерные БД чувствительны к изменениям в многомерной модели. Так при добавлении нового измерения приходится изменять структуру всей БД, что влечет за собой большие затраты времени.

На основании анализа достоинств и недостатков многомерных БД можно выделить следующие условия, при которых их использование является эффективным:

–объем исходных данных для анализа не слишком велик (не более нескольких гигабайт), т. е. уровень агрегации данных достаточно высок;

–набор информационных измерений стабилен;

–время ответа системы на нерегламентированные запросы является наиболее критичным параметром;

–требуется широкое использование сложных встроенных функций для выполнения кроссмерных вычислений над ячейками гиперкуба, в том числе необходима возможность написания пользовательских функций.

Реляционная модель (ROLAP – реляционный

(relational) OLAP) – для реализации многомерной модели используют реляционные БД. В настоящее время распространены две основные схемы реализации многомерного представления данных с помощью реляционных таблиц: схема «звезда» (рис. 14) и схема «снежинка» (рис. 15).

65

в определенные моменты времени (например, на конец дня или месяца). Типичными примерами таких фактов является объем продаж за день или дневная выручка;

–факты, связанные с элементами документа – основаны на том или ином документе (например, счете за товар или услуги) и содержат подробную информацию об элементах этого документа (например, о количестве, цене, проценте скидки);

–факты, связанные с событиями или состоянием объекта – представляют возникновение события без подробностей о нем (например, просто факт продажи или факт отсутствия таковой без иных подробностей).

Рис. 15. Схема представления многомерной модели «снежинка»

67

Таблица фактов, как правило, содержит уникальный составной ключ, объединяющий первичные ключи таблиц измерений. При этом как ключевые, так и некоторые не ключевые поля должны соответствовать измерениям гиперкуба. Помимо этого таблица фактов содержит одно или несколько числовых полей, на основании которых в дальнейшем будут получены агрегатные данные.

Таблицы измерений содержат неизменяемые или редко изменяемые данные. В подавляющем большинстве случаев эти данные представляют собой по одной записи для каждого элемента нижнего уровня иерархии в измерении. Таблицы измерений также содержат как минимум одно описательное поле (обычно с именем члена измерения) и, как правило, целочисленное ключевое поле для однозначной идентификации члена измерения. Каждая таблица измерений должна находиться в отношении «один–ко–многим» с таблицей фактов.

Скорость роста таблиц измерений должна быть незначительной по сравнению со скоростью роста таблицы фактов. Например, новая запись в таблицу измерений, характеризующую товары, добавляется только при появлении нового товара, не продававшегося ранее.

Схема «снежинка» используется в более сложных задачах с иерархическими измерениями. Например, если в таблице измерений используется ссылка на категории товаров, названия которых содержатся в отдельной таблице.

Использование реляционных БД в OLAP–системах имеет следующие достоинства:

–в большинстве случаев корпоративные хранилища данных реализуются средствами реляционных СУБД, и инструменты ROLAP позволяют производить анализ непосредственно над ними. При этом размер хранилища не является таким критичным параметром, как в случае MOLAP;

–в случае переменной размерности задачи, когда изменения в структуру измерений приходится вносить

достаточно часто, ROLAP–системы с динамическим

68

представлением размерности являются оптимальным решением, т. к. в них такие модификации не требуют физической реорганизации БД;

– реляционные СУБД обеспечивают значительно более высокий уровень защиты данных и хорошие возможности разграничения прав доступа.

Главный недостаток ROLAP по сравнению с многомерными СУБД – меньшая производительность. Для обеспечения производительности, сравнимой с MOLAP, реляционные системы требуют тщательной проработки схемы базы данных и настройки индексов, т. е. больших усилий со стороны администраторов БД.

Смешанная модель (HOLAP – гибридный (hybrid)

OLAP) – для реализации модели данных используют и многомерные, и реляционные БД.

4.3. Интеллектуальный анализ данных (Data Mining)

OLAP–системы предоставляют аналитику средства проверки гипотез при анализе данных. При этом основной задачей аналитика является генерация гипотез. Он решает ее, основываясь на своих знаниях и опыте. Однако знания есть не только у человека, но и в накопленных данных, которые подвергаются анализу. Такие знания часто называют "скрытыми", т. к. они содержатся в гигабайтах и терабайтах информации, которые человек не в состоянии исследовать самостоятельно. В связи с этим существует высокая вероятность пропустить гипотезы, которые могут принести значительную выгоду.

Очевидно, что для обнаружения скрытых знаний необходимо применять специальные методы автоматического анализа, при помощи которых приходится практически добывать знания из "завалов" информации. За этим направлением закрепился термин добыча данных или Data

Mining.

69

Data Mining – исследование и обнаружение средствами искусственного интеллекта в сырых данных скрытых знаний, которые ранее не были известны, нетривиальны, практически полезны, доступны для интерпретации человеком.

Рассмотрим свойства обнаруживаемых знаний, данные в определении, более подробно.

–знания должны быть новые, ранее неизвестные;

затраченные усилия на открытие знаний, которые уже известны пользователю, не окупаются, поэтому ценность представляют именно новые, ранее неизвестные знания;

–знания должны быть нетривиальны; результаты анализа должны отражать неочевидные, неожиданные закономерности в данных, составляющие так называемые скрытые знания; результаты, которые могли бы быть получены более простыми способами (например, визуальным просмотром), не оправдывают привлечение мощных методов

Data Mining;

–знания должны быть практически полезны и

приносить определенную выгоду при их применении;

–знания должны быть доступны для понимания

человеку; найденные закономерности должны быть логически объяснимы, в противном случае существует вероятность, что они являются случайными; кроме того, обнаруженные знания должны быть представлены в понятном для человека виде.

Основными задачами, решаемыми с помощью методов

Data Mining, являются:

–задача классификации – определение класса объекта по его характеристикам, при этом множество классов, к которым может быть отнесен объект, известно заранее;

–задача регрессии – определение по известным характеристикам объекта значение некоторого его параметра;

–поиск ассоциативных правил – нахождение частых зависимостей (ассоциаций) между объектами или событиями; найденные зависимости представляются в виде правил и могут быть использованы как для лучшего понимания природы

70