Технологии автоматизации аналитических исследований

Современные аналитические системы строятся с учетом появления новых технологий, с учетом подготовленности среднестатистического сотрудника организации к восприятию аналитической информации.

Среди технологий используемых для аналитических исследований нужно отметить нижеследующие, которые подробно описаны в теме 5, посвященной организации информации.

Средства построения информационных хранилищ и витрин данных: средства создания Хранилищ данных, средства извлечения, преобразования и загрузки данных, готовые предметно- ориентированные хранилища данных. Средства создания Хранилищ данных обычно входят в состав реляционных или многомерных СУБД Microsoft, Oracle, IBM и Sybase, где после описания структур хранения данных специальными утилитами выполняется их генерация. Средства извлечения, преобразования и загрузки данных (ETL – Extraction, Transformation, Loading) обеспечивают процессы переноса данных из одного приложения или системы в другие. Примером может служить Ascential DataStage компании Ascential Software. Готовые предметно – ориентированные хранилища данных уже содержат в себе механизмы построения хранилищ и витрин данных, но они ориентированны только на одну область применения[31].

OLAP – продукты, различаемые:

• по способу хранения данных: ROLAP –Relation OLAP, где исходные данные хранятся в плоских локальных таблицах или в реляционных БД. Преобразование в многомерные кубы происходит по запросу OLAP – средства; MOLAP –Multidimensional OLAP, где исходные и многомерные данные хранятся в многомерной БД или многомерном кубе; HOLAP – Hybrid OLAP, где исходные данные остаются в реляционной базе, а агрегаты данных размещаются в многомерной.

• по месту размещения OLAP – машины: OLAP – серверы , которые выполняют вычисления и хранение агрегатных данных, а клиентское приложение получает результаты запросов к многомерным кубам; OLAP – клиенты , у которых построение многомерного куба и OLAP – вычисления выполняются на клиентском компьютере. OLAP – клиенты поддерживают три способа хранения ROLAP, MOLAP и HOLAP.

Инструменты Data Mining, которые являются составной частью процесса поиска полезных знаний в разрозненных данных. Data Mining — процесс анализа баз данных, направленный на поиск новой полезной информации. Обнаружение новых знаний или ранее неизвестных отношений между переменными можно использовать для повышения маркетинговой эффективности проводимых исследований. Интеллектуальный анализ данных - "добывание данных" - процесс выявления тенденций, трендов, взаимных корреляций данных, находящихся в хранилище с использованием средств искусственного интеллекта или статистического анализа. Технология Data Mining возникла буквально в последние годы и сейчас находится на пике своего развития. Основная цель Data Mining - обнаружить скрытые зависимости и тенденции, незаметные на первый взгляд, и обратить внимание менеджера на них. Дословно эти слова означают «добыча, раскопки, извлечение данных». Добываются эти данные из баз данных (БД), где они как бы свалены в кучу. Добываются они для поддержки принятия решений менеджеров.

Примеры применения добычи знаний?

Пример из области финансов: "Кто из ваших заказчиков имеет наибольшую предрасположенность отозваться на предложение вашей новой Золотой кредитной карты?".

В телекоммуникации: "Кто из заказчиков наиболее вероятно перейдет к конкурентам в условиях кризиса?".

В дистрибуции: "Через какой канал и кому следует предлагать эти продукты?".

В розничной торговле: "Какие продукты следует продвигать со скидками, чтобы это привело к росту продаж наиболее прибыльных линеек?";

Кто наши наиболее выгодные покупатели, какова потенциальная прибыль от них и каков риск их истощения?".

Замечание: первые два примера относятся к области простых прогнозов, которые составляют около 75% сегодняшнего применения data mining (так называемое predictive modeling - предсказание модели).

Таким образом, средства этого типа позволяют не только анализировать данные, но и представить данные таким образом, чтобы явно наблюдались тенденции и зависимости.

Методы, используемые в инструментах «добычи данных

• Фильтрация – отделение полезной информации от искажающего ее шума за счет: сглаживания, очистки, редактирования аномальных значений, устранения незначащих факторов, понижения размерности информации (Применение фильтрации относится к первичной обработке и позволяет повысить качество исходных данных и точность результатов анализа);

• Дерево решений – оно позволяет представить правила в иерархической структуре, где каждому объекту соответствует единственный узел, дающий решение (это может быть логическая конструкция «если…то» (применяется при решении задач поиска оптимальных решений на основе описанной модели поведения);

• Ассоциативные правила позволяют находить закономерности между связанными событиями. Например, если произошло событие А, то произойдет и событие Б с вероятностью С. Впервые эта задача была предложена для нахождения типичных шаблонов покупок, совершаемых в супермаркетах, поэтому ее еще называют анализом рыночной корзины (market basket analysis)

• Нейронные сети, построенные по аналогии с группами взаимодействующих нервных клеток человека, применяются: для восстановления пропусков в данных, прогнозирования, поиска закономерностей