Лекция 14

Інформаційні технології у системному аналізі

Технології оперативного (OLTP, OLAP)та інтелектуального аналізу даних (Data Mining)

Информационные технологии в системном анализе: oltp, olap, Data Mining

1 Оперативная обработка данных (olap)

Для того чтобы существующие хранилища данных способствовали принятию управленческих решений, информация должна быть представлена аналитику в нужной форме, то есть он должен иметь развитые инструменты для доступа к данным хранилища и их обработки.

Системы поддержки принятия решений (СППР) обычно обладают средствами предоставления пользователю агрегатных данных в виде различных выборок из исходного набора. Причём в удобном для восприятия и анализа виде. Как правило, такие агрегатные функции образуют многомерный набор данных (нередко называемый гиперкубом или метакубом). Оси гиперкуба содержат параметры, а ячейки — зависящие от них агрегатные данные. Вдоль каждой оси данные могут быть организованы в виде иерархии, представляющей различные уровни их детализации. То есть – это иерархическая структура, но многомерная. Благодаря такой модели данных пользователи могут формулировать сложные запросы, генерировать отчеты, получать подмножества данных по выбранным наборам («срезы данных»).

Технология комплексного многомерного анализа данных получила название "процесс онлайнового анализа" (OLAP, On-Line Analytical Processing) [Барсегян и др.]. OLAP — это ключевой компонент организации хранилищ данных. В 1995 году был сформулирован так называемый тест FASMI (Fast Analysis of Shared Multidimensional Information — быстрый анализ разделяемой многомерной информации), включающий такие требования к OLAP- приложениям для многомерного анализа:

- предоставление пользователю результатов анализа за приемлемое время (обычно не более 5 с), пусть даже ценой менее детального анализа;

- возможность осуществления любого логического и статистического анализа, характерного для данного приложения, и его сохранения в доступном для конечного пользователя виде;

- многопользовательский доступ к данным с поддержкой механизмов блокировок и средств авторизованного доступа;

- многомерное концептуальное представление данных, включая полную поддержку для иерархий и множественных иерархий (это — ключевое требование OLAP);

- возможность обращаться к любой нужной информации независимо от ее объема и места хранения.

OLAP является ключевым компонентом построения и применения хранилищ данных. Эта технология основана на построении многомерных наборов данных — OLAP-кубов (гиперкубов), оси которых содержат параметры, а ячейки — зависящие от них агрегатные данные.

Многомерное концептуальное представление (multi-dimensional conceptual view) информации представляет собой множественную перспективу, состоящую из нескольких независимых измерений, вдоль которых могут быть проанализированы определенные совокупности данных. Одновременный анализ по нескольким измерениям определяется как многомерный анализ. Каждое измерение включает направления консолидации данных, состоящие из серии последовательных уровней обобщения, где каждый вышестоящий уровень соответствует большей степени агрегации данных по соответствующему измерению. Так, измерение "Исполнитель" может определяться направлением консолидации, состоящим из уровней обобщения "предприятие - подразделение - отдел - служащий". Измерение "Время" может даже включать два направления консолидации - "год - квартал - месяц - день" и "неделя - день", поскольку счет времени по месяцам и по неделям несовместим. В этом случае становится возможным произвольный выбор желаемого уровня детализации информации по каждому из измерений. Операция спуска (drilling down) соответствует движению от высших ступеней консолидации к низшим; напротив, операция подъема (rolling up) означает движение от низших уровней к высшим (рис. 3.4).

Рисунок 3.4 - Уровни детализации информации

OLAP – это часть технологий, направленных на поддержку принятия решений. Многомерный анализ данных в OLAP – технологиях может быть произведен с помощью различных средств, которые условно можно разделить на клиентские и серверные OLAP-средства.

Клиентские OLAP-средства представляют собой приложения, осуществляющие вычисление агрегированных данных (сумм, средних величин, максимальных или минимальных значений) и отображение их, при этом сами агрегатные данные содержатся внутри адресного пространства такого OLAP-средства.

Как правило, OLAP-функциональность реализована в средствах статистической обработки данных (из продуктов этого класса на российском рынке широко распространены продукты компаний StatSoft и SPSS) и в некоторых электронных таблицах. В частности, неплохими средствами многомерного анализа обладает Microsoft Excel 2000. С помощью этого продукта можно создать и сохранить в виде файла небольшой локальный многомерный OLAP-куб и отобразить его двух- или трехмерные сечения.

Необходимо отметить, что клиентские OLAP-средства применяются, как правило, при малом числе измерений (обычно рекомендуется не более шести) и небольшом разнообразии значений параметров, — ведь полученные агрегатные данные должны умещаться в адресном пространстве подобного средства, а их количество растет экспоненциально при увеличении числа измерений. Поэтому клиентские OLAP-средства как правило, позволяют произвести предварительный подсчет объема требуемой оперативной памяти для создания в ней многомерного куба.

Таким образом, главной задачей OLAP-приложений является возможность с заданной функциональностью предоставлять пользователю результаты анализа за приемлемое время, осуществлять логический и статистический анализ, поддерживать многопользовательский доступ к данным, осуществлять многомерное концептуальное представление данных и иметь возможность обращаться к любой нужной информации.