3. Применение olap – технологии анализа данных.

Оперативная аналитическая обработка (данных), технология OLAP (On-Line Analytical Processing) - класс приложений и технологий, предназначенных для сбора, хранения и анализа многомерных данных в целях поддержки принятия управленческих решений.

В основе OLAP лежит модель куба, в котором объединены показатели и признаки.

Признаки (или по-другому измерения) – характеризуют качественную сторону, состоят из меток (например для персонала меткой будет ФИО). Метки часто образуют иерархии, которых может быть несколько. Ячейка куба содержит значение показателей. С каждым показателем связана либо функция агрегирования, либо алгоритм вычисления. Функция агрегирования показывает как от детальных данных можно перейти к общим.

OLAP позволяет совершать следующие операции с данными:

- срез ( аналог фильтрации, в итоге получается куб меньшей размерности, остаются только те значения, которые соответствуют меткам)

- агрегирование

- детализация

- вращение.

OLAP применяется для разведочного анализа. Цель – выделить какой-либо феномен или выброс.

Сама технология заключается в следующих этапах:

1. Загрузка данных в хранилище данных

2. Хранение данных

3. OLAP-обработка (операции с данными)

Возможности реализовать OLAP-функциональность есть в Excel.

Примеры задач, решаемых с помощью OLAP-систем:

Анализ продаж. Включает в себя структурный анализ, анализ зависимостей, сравнительный анализ, анализ динамики продаж.

Анализ закупок. Выявление наиболее выгодных/надежных/быстрых поставщиков.

Анализ цен. Данный анализ позволяет упростить и структурировать процесс ценообразования.

Маркетинг. Анализ особенностей покупателей в разных разрезах позволяет выявить портрет основного потребителя товара. Выявление сезонных и других периодических колебаний. Анализ эффективности маркетинговых акций.

Движение денежных средств. Анализ движения наличных и безналичных денежных средств, оптимизации денежного потока.

Склад. Анализ сроков хранения, загруженности складов, отгрузок по клиентам. Такой анализ позволит иметь на складе минимальный запас продукции, при этом вся требуемая продукция будет всегда в наличие. Благодаря этому компания может серьезно сэкономить на складских помещениях, высвободить дополнительные средства для оборота.

4. Информационные технологии интеллектуального анализа данных (Data Mining).

Data Mining - исследование и обнаружение "машиной" (алгоритмами, средствами искусственного интеллекта) в сырых данных скрытых знаний, срытых закономерностей, которые ранее не были известны, нетривиальны, практически полезны, доступны для интерпретации.

Основная особенность Data Mining - это сочетание широкого математического инструментария (от классического статистического анализа до новых кибернетических методов) и последних достижений в сфере информационных технологий. В технологии Data Mining гармонично объединились строго формализованные методы и методы неформального анализа, т.е. количественный и качественный анализ данных.

К методам и алгоритмам Data Mining относятся следующие: искусственные нейронные сети, деревья решений, символьные правила, методы ближайшего соседа и k-ближайшего соседа, метод опорных векторов, байесовские сети, линейная регрессия, корреляционно-регрессионный анализ; иерархические методы кластерного анализа, неиерархические методы кластерного анализа, в том числе алгоритмы k-средних и k-медианы; методы поиска ассоциативных правил, в том числе алгоритм Apriori; метод ограниченного перебора, эволюционное программирование и генетические алгоритмы, разнообразные методы визуализации данных и множество других методов.

Задачи Data mining: классификация, кластеризация, регрессия, прогнозирование, определение взаимосвязей, анализ последовательностей, анализ отклонений.

Data mining – является основным этапом в процессе интеллектуального анализа данных. Весь процесс можно разбить на следующие этапы:

- понимание и формулировка задачи анализа

- подготовка данных для автоматизированного анализа

- применение методов Data mining и построение моделей

- проверка построенных моделей

- интерпретация моделей человеком.

В технологии data mining можно определить следующие стадии анализа данных:

1. Выявление закономерностей, в т.ч. поиск скрытых закономерностей.

2. Использование выявленных закономерностей для предсказания неизвестных значений (прогностическое моделирование)

3. Стадия валидации - проверка достоверности найденных закономерностей.

4. Анализ исключений - стадия предназначена для выявления и объяснения аномалий, найденных в закономерностях.

Примерами известных систем Data Mining являются статистические пакеты STATGRAPHICS, STATISTICA, STADIA, See5/С5.0 (RuleQuest, Австралия), Clementine (Integral Solutions, Великобритания), SIPINA (University of Lyon, Франция), IDIS (Information Discovery, США), KnowledgeSeeker (ANGOSS, Канада). Стоимость этих систем варьируется от 1 до 10 тыс. долл.