15.Системы оперативной аналитической обработки данных (olap). Назначение. Особенности построения. Основные классы olap-продуктов.

OLAP (On-Line Analytical Processing) - оперативная аналитическая обработка. OLAP – это совокупность концепций и принципов, лежащих в основе программных продуктов, облегчающих аналитикам доступ к данным. Задача аналитика - находить закономерности в больших массивах данных, поэтому аналитик не будет обращать внимания на отдельно взятый факт - ему нужна информация о сотнях и тысячах подобных событиях. В основе OLAP лежит идея многомерной модели данных: Первичные (“сырые”) данные из БД: 1) очищаются; 2)агрегируются (обрабатываются с помощью агрегатных функций – вычисление сумм, средних значений, числа записей, максимальных и минимальных значений); 3)помещаются в специальное хранилище данных, которое в дальнейшем используется аналитиками. Хранилище данных проектируется в виде многомерного куба (гиперкуба). Принципы организации гиперкуба:По осям куба откладываются признаки анализа, их называют измерениями куба. В ячейках куба размещаются агрегированные данные – это могут быть различные экономические показатели деятельности предприятия. Наполнение куба ведется как реальными данными, так и прогнозируемыми на основе исторических данных. При хранении признаки анализа (измерения) отделяются от фактических данных. Количество измерений, как правило, колеблется от 6 (простые OLAP приложения) до 20 (серьезные OLAP продукты). Характеристики OLAP-системы: 1.Добавление в систему новых данных происходит относительно редко крупными блоками (например, раз в квартал загружаются данные по итогам квартальных продаж из OLTP-приложения). 2.Перед загрузкой данные проходят различные процедуры “очистки”, т. к. в одну систему могут поступать данные из многих источников, имеющих различные форматы представления (данные могут быть некорректны или ошибочны). 3.Запросы к системе бывают, как правило, достаточно сложными. Часто новый запрос создается для уточнения результата, полученного в результате предыдущего запроса. Основные классы OLAP–продуктов: Первоначально рынок OLAP развивался как MOLAP (Multidimensional OLAP), т. к. первые системы появились еще в 60-х годах до разработок Кодда. В середине 90-х годов появились продукты ROLAP (Relational OLAP), для реляционных СУБД. Дальнейшее развитие OLAP систем привело к появлению HOLAP (Hybrid OLAP) – гибридной оперативной аналитической обработки данных. В основе продуктов MOLAP лежит структура данных, обеспечивающая многомерное хранение, обработку и представление данных. Исходные и агрегированные данные хранятся в многомерной базе данных. Хранение данных в многомерных структурах позволяет манипулировать данными как многомерным массивом, благодаря чему скорость вычисления агрегированных значений одинакова для любого из измерений. Продукты ROLAP: Многомерная структура в таких системах реализуется реляционными таблицами. Исходные данные хранятся в реляционной базе данных. Агрегированные данные помещают в специально созданные для их хранения служебные таблицы в той же БД. Продукты HOLAP: Инструменты этого класса позволяют сочетать оба подхода – реляционного и многомерного. Исходные данные остаются в той же реляционной базе данных, где они изначально находились, а агрегированные данные хранятся в многомерной БД.