Раздел 1. Накопление и обработка данных Лекция 1. Информационно-аналитические системы

Лекция посвящена теме операционной обработки, оперативного и интеллектуального анализа данных в информационных системах различного назначения. Обсуждаются технологии и средства обработки, анализа данных масштаба предприятия.

Цель лекции – изучение учащимися технологий и средств операционной обработки, оперативного и интеллектуального анализа данных масштаба предприятия.

Агентство Gartner Group, занимающееся анализом рынков информационных технологий, в 1980-х годах ввело термин "Business Intelligence" (BI), деловой интеллект или бизнес-интеллект. Этот термин, предложен для описания различных концепций и методов, которые улучшают бизнес решения путем использования систем поддержки принятия решений (СППР). В 1996 году агентство уточнило определение данного термина. Business Intelligence - программные средства, функционирующие в рамках предприятия и обеспечивающие функции доступа и анализа информации, которая находится в хранилище данных, а также обеспечивающие принятие правильных и обоснованных управленческих решений [1].

Понятие BI объединяет в себе различные средства и технологии анализа и обработки данных масштаба предприятия. На основе этих средств создаются BI-системы, цель которых - повысить качество информации для принятия управленческих решений. BI-системы также известны под названием Decision Support System (DSS). Эти системы превращают данные в информацию, на основе которой принимаются решения. Агенство Gartner Group определяет состав рынка систем Business Intelligence как набор программных продуктов следующих классов:

• средства построения хранилищ данных (Data warehousing);

• системы оперативной аналитической обработки (OLAP);

• информационно-аналитические системы (Enterprise Information Systems, EIS);

• средства интеллектуального анализа данных (Data mining);

• инструменты для выполнения запросов и построения отчетов (Query and reporting tools).

Как показано на рисунке 1.1, эти вопросы можно соотнести с тремя основными компонентами: сервер хранилища данных (Data Warehouse, DW), инструментарий оперативной аналитической обработки и добычи данных и инструменты для пополнения хранилищ данных (ХД).

Рисунок 1.1 – Архитектура систем поддержки принятия решений

ХД содержат информацию, собранную из нескольких операционных баз данных (БД). Объем данных в ХД, как правило, на порядок больше объёма операционных БД и может достигать сотен гигабайт или нескольких терабайт. Как правило, хранилище данных поддерживается независимо от оперативных баз данных организации, поскольку требования к функциональности и производительности аналитических приложений отличаются от требований к транзакционным системам. ХД создаются специально для приложений поддержки принятия решений и предоставляют накопленные за определенное время, сводные и консолидированные данные, которые более приемлемы для анализа, чем детальные индивидуальные записи. Рабочая нагрузка ХД состоит из нестандартных, сложных запросов к миллионам записей. При выполнении запросов осуществляется огромное количество операций сканирования, соединения и агрегирования. Поэтому время ответа на запрос в ХД значительно важнее, чем пропускная способность.

Поскольку конструирование ХД представляет собой сложный процесс, который может занять несколько лет, некоторые организации вместо этого строят витрины данных (Data mart), содержащие информацию для конкретных подразделений. Инструментарий оперативной аналитической обработки и добычи данных позволяет проводить развернутый анализ информации. Базовые инструменты, включая средства извлечения, преобразования и загрузки, служат для пополнения хранилища из внешних источников данных [2].