33. Современные технологии анализа данных в бизнесе: оlap – оперативная аналитическая обработка данных

33. OLAP – современная технология анализа данных, кот.пр.с. методику операт.извлечения нужной инфо из больших массивов данных и формир-ния аналит. отчетов в реальном времени. В его основе лежит многомерное представление данных, кот. раздел.на кол-ные и кач-ные. На основе многомерных срезов хранилищ БД м.б.сформир. кросс-таблица и с ее помощью очень быстро получен аналит.отчет.

Назначение OLAP: - многомерный анализ; - построение аналит.отчетов; - создание произвольных запросов лиц, приним-щих решение; - первичная проверка гипотез об изучаемой предметной области; - обработка СППР.

По рез-там запросов в хранилище БД формир.в аналит.системах сценарии – последовательность действий.

Хранилище данных – предметно-ориентир-ные, неизменчивые, интегрированные, поддерживающие хронологию наборы данных, организованные для целей поддержки управления. В основе построения многомерных хранилищ лежит многомерная модель данных, т.е. многомерный куб (гиперкуб, OLAP-куб), т.е. упорядоч-ные многомерные массивы инфо.

Многомерный OLAP (MOLAP). В специал-ных СУБД, основ. на многомерном представлении данных, данные организованы не в форме реляционных таблиц, а в виде упорядоченных многомерных массивов:

1) гиперкубов (все хранимые в БД ячейки должны иметь одинаковую мерность, то есть находиться в максимально полном базисе измерений) или

2) поликубов (каждая переменная хранится с собственным набором измерений, и все связанные с этим сложности обработки перекладываются на внутренние механизмы системы).

Использование многомерных БД в системах оперативной аналитической обработки имеет след. Достоинства: 1) в случае использ-ния многомерных СУБД поиск и выборка данных осуществляется значительно быстрее, чем при многомерном концептуальном взгляде на реляционную БД, т.к. многомерная БД денормализована, содержит заранее агрегированные показатели и обеспечивает оптимизированный доступ к запрашиваемым ячейкам.

2) Многомерные СУБД легко справляются с задачами включения в информ-ную модель разнообразных встроенных функций

С другой стороны, имеются существенные ограничения.

Многомерные СУБД не позволяют работать с большими БД. К тому же за счет денормализации и предварительно выполненной агрегации объем данных в многомерной базе, как пр., соотв. в 2.5-100 раз меньшему объему исходных детализированных данных.

Многомерные СУБД по сравнению с реляционными очень неэффективно используют внешнюю память.

34. Deductor Studio:принцип работы. Deductor – аналитическая платформа для создания законченных прикладных решений в области анализа данных: от создания систем аналитической отчетности до решения задач Data Mining. Применяется: * в оптовой торговле - прогнозирование спроса, оптимизация продаж, анализ клиентской базы; * в розничной торговле: консолидация данных, многомерный анализ, оптимизация закупок; * банки: скоринговые системы (система оценки кредитоспособности лица). Компоненты: Warehouse-многомерные хранилища данных; Studio-аналитическое приложение, рабочее место аналитика;Viewer-средство тиражирования знаний, рабочее место конечного пользователя;Server-аналитический сервер;Client-клиент доступа к аналитическому серверу. Функции Deductor Studio: импорт данных, обработка данных, визуализация (просмотр), экспорт данных. DS может функционировать и без хранилища данных, получая информацию из любых других подключений, но наиболее оптимальным является их совместное использование. Существует 3 варианта постановки Deductor: Enterprise, Professional, Academic. Ключевым понятием DS является сценарий обработки – последовательность действий при помощи которых из данных извлекаются знания. Сценарий – иерархическая последовательность (дерево операций по обработке и визуализации наборов данных). Сценарий обработки может быть представлен в виде дерева или графа. Все действия по обработке данных аналитик проводит при помощи 4 мастеров: импорт, обработка, визуализация и экспорт. Принцип работы Deductor: Получение исходных данных из внешнего источника с помощью мастера импорта. Настройка параметров данных. Настройка визуализации (таблица, диаграмма, OLAP куб). Просмотр полученных данных при помощи ранее выбранных способов визуализации. Настройка механизмов обработки данных с помощью мастера обработки. Просмотр полученных в результате обработки данных. Настройка параметров и построение аналитической модели в Мастере обработки. Отображение построенной модели при помощи специализированных визуализаторов. Экспорт результатов обработки в сторонние системы.