Инструменты Data Mining. SAS Enterprise Miner

Программный продукт SAS Enterprise Miner (разработчик SAS Institute Inc., [102]) - это интегрированный компонент системы SAS, созданный специально для выявления в огромных массивах данных информации, которая необходима для принятия решений. Разработанный для поиска и анализа глубоко скрытых закономерностей в данных SAS, Enterprise Miner включает в себя методы статистического анализа, соответствующую методологию выполнения проектов Data Mining (SEMMA) и графический интерфейс пользователя. Важной особенностью SAS Enterprise Miner является его полная интеграция с программным продуктом SAS Warehouse Administrator, предназначенным для разработки и эксплуатации информационных хранилищ, и другими компонентами системы SAS. Разработка проектов Data Mining может выполняться как локально, так и в архитектуре клиент-сервер.

Назначение пакета SAS Enterprise Miner. Пакет SAS Enterprise Miner позволяет оптимизировать процесс Data Mining в целом, начиная от организации доступа к данным и заканчивая оценкой готовой модели [104].

Пакет поддерживает выполнение всех необходимых процедур в рамках единого интегрированного решения с возможностями коллективной работы и поставляется как распределенное клиент-серверное приложение, что особенно удобно для осуществления анализа данных в масштабах крупных организаций. Пакет SAS Enterprise Miner предназначен для специалистов по анализу данных, маркетинговых аналитиков, маркетологов, специалистов по анализу рисков, специалистов по выявлению мошеннических действий, а также инженеров и ученых, ответственных за принятие ключевых решений в бизнесе или исследовательской деятельности.

Пакет SAS Enterprise Miner обеспечивает эффективную обработку огромных объемов данных и предоставляет простые способы публикации результатов анализа для различных аудиторий, что позволяет встраивать эти модели в бизнес-процессы предприятия.

Обзор программного продукта

Пакет SAS Enterprise Miner 5.1 поставляется в виде современной распределенной клиентсерверной системы для Data Mining или для углубленного анализа данных в крупных организациях. Пакет позволяет оптимизировать процессы анализа данных, поддерживая все необходимые шаги в рамках единого решения, а также возможности гибкого сотрудничества больших рабочих групп в рамках единого проекта. Система обеспечивает расширенную интеграцию с системами управления данными и развертывания моделей, а благодаря широкому спектру выбора конфигурации пакета в зависимости от требований бизнеса нет необходимости приобретать системы специализированных решений.

Графический интерфейс (GUI) для анализа данных

В пакете SAS Enterprise Miner реализован подход, основанный на создании диаграмм процессов обработки данных и позволяющий устранить необходимость ручного кодирования и ускорить разработку моделей благодаря методике Data Mining SEMMA. Среда для формирования диаграмм процессов обработки данных пакета SAS Enterprise

255

Miner устраняет необходимость ручного кодирования, диаграммы выступают в качестве самоописательных шаблонов, которые можно изменять или применять для решения новых проблем, не повторяя анализ с самого начала. Существует возможность обмена диаграммами между аналитиками в масштабах предприятия.

Графический пользовательский интерфейс пакета является интерфейсом типа "указать и щелкнуть". С его помощью пользователи могут выполнить все стадии процесса Data Mining от выбора источников данных, их исследования и модификации до моделирования и оценки качества моделей с последующим применением полученных моделей, как для обработки новых данных, так и для поддержки процессов принятия решений. Главное окно SAS Enterprise Miner представлено на рис. 23.1.

Рис. 23.1. Главное окно SAS Enterprise Miner

Инструментарий для углубленного интеллектуального анализа данных

Новая версия пакета SAS Enterprise Miner 5.1 спроектирована с использованием архитектуры Java-клиент / SAS-сервер, которая позволяет отделить вычислительный сервер, выполняющий обработку данных, от пользовательского интерфейса. Это обеспечивает гибкость в выборе конфигурации эффективного решения - от однопользовательской системы до крупнейших решений корпоративного масштаба. Обработку данных можно выполнять на мощных серверах, а конечные пользователи могут перемещаться из офиса домой или в отдаленные филиалы, не теряя связи с аналитическими проектами и сервисами. Некоторые серверные задачи, интенсивно использующие ресурсы процессора, например сортировка и агрегация данных, отбор переменных и регрессионный анализ, сделаны многопоточными, что позволяет распределить их выполнение между несколькими процессорами.

256

Процессы в Enterprise Miner могут работать параллельно и в асинхронном режиме. Масштабные или повторяющиеся процессы обучения модели или скоринга могут быть выполнены в виде пакетного задания, назначенного на наименее загруженные часы работы аналитического сервера.

Набор инструментов для подготовки, агрегации и исследования данных

Пакет SAS Enterprise Miner предлагает различные инструменты для осуществления подготовки данных, которые дают возможность, например, сделать выборку или разбивку данных, осуществить вставку недостающих значений, провести кластеризацию, объединить источники данных, устранить лишние переменные, выполнить обработку на языке SAS посредством специализированного узла SAS code, осуществить преобразование переменных и фильтрацию недостоверных данных. Пакет оснащен функциями описательной статистики, а также расширенными средствами визуализации, которые позволяют исследовать сверхбольшие объемы данных, представленных в виде многомерных графиков, и производить графическое сравнение результатов моделирования.

Платформенно-независимый пользовательский интерфейс пакета SAS Enteprise Miner 5.1 создан на базе Java и предоставляет пользователям широкий набор средств статистической графики с гибкими возможностями настройки и управления. Для создания специальных графиков предусмотрен Java-мастер. Все графики и лежащие в их основе таблицы динамически связаны между собой и поддерживают интерактивные режимы работы.

Интегрированный комплекс разнообразных методов моделирования

Пакет SAS Enterprise Miner предоставляет набор инструментов и алгоритмов прогностического и описательного моделирования, включающий деревья решений, нейронные сети, самоорганизующиеся нейронные сети, методы рассуждения, основанные на механизмах поиска в памяти (memorybased reasoning), линейную и логистическую регрессии, кластеризацию, ассоциации, временные ряды и многое другое.

Интеграция различных моделей и алгоритмов в пакете Enterprise Miner позволяет производить последовательное сравнение моделей, созданных на основе различных методов, и оставаться при этом в рамках единого графического интерфейса. Встроенные средства оценки формируют единую среду для сравнения различных методов моделирования, как с точки зрения статистики, так и с точки зрения бизнеса, позволяя выявить наиболее подходящие методы для имеющихся данных. Результатом является качественный анализ данных, выполненный с учетом специфических проблем конкретного бизнеса.

Интегрированные средства сравнения моделей и пакеты результатов

Пакет SAS Enterprise Miner оснащен рядом встроенных функций контроля, работающих в рамках единой оболочки и обеспечивающих сравнение результатов различных методов моделирования как с точки зрения статистики, так и с точки зрения бизнеса.

Полученные модели можно публиковать для совместного использования в рамках предприятия при помощи репозитария моделей, представляющего собой первую на рынке систему управления моделями. Управление моделями обеспечивает модуль Enterprise

257

Miner Repository. Пакет предоставляет ряд встроенных оценочных функций, позволяющих сравнить результаты различных методов моделирования, как в терминах бизнеса, так и с использованием статистической диагностики. Это дает возможность измерить эффективность модели в терминах ее прибыльности. Аналитики могут наблюдать за обновляемыми моделями и отслеживать улучшение их точности с течением времени. Созданные диаграммы можно сохранять и импортировать в виде XML-файлов, что облегчает процесс их передачи другим аналитикам. SAS Enterprise Miner позволяет создавать сжатые пакеты с результатами моделирования, в которых хранится вся информация о процессе обработки данных, включая предварительную обработку данных, логику моделирования, результаты моделирования и оценочный код. Эти пакеты результатов могут быть зарегистрированы на сервере метаданных (SAS Metadata Server), откуда их потом могут извлекать для изучения специалисты по анализу данных и представители бизнеса. Специальный модуль с Web-интерфейсом предусмотрен для просмотра репозитария моделей.

Скоринг по модели и простота развертывания модели

Итогом работ по интеллектуальному анализу данных является развертывание созданной модели - это заключительная стадия, на которой реализуется экономическая отдача от проведенных исследований. Процесс применения модели к новым данным, известный как скоринг, часто требует ручного написания или преобразования программного кода. Пакет SAS Enterprise Miner автоматизирует процесс подбора коэффициентов и предоставляет готовый программный код для скоринга на всех стадиях создания модели, поддерживает создание различных программных сред для развертывания модели на языках SAS, C, Java и PMML. Этот программный код может использоваться в различных средах (в пакетном режиме или в реальном времени) в системе SAS, в Web или непосредственно в реляционных базах данных. Пакет создает код для аналитических моделей и для предварительной обработки данных.

Когда оценочный код создан, можно проводить скоринг наборов данных как непосредственно в Enterprise Miner, так и экспортировать скоринг-код и выполнить скоринг на другой машине, а также отторгнуть формулу для скоринга для применения в пакетном режиме или в режиме реального времени в Web или непосредственно в реляционных базах данных.

Гибкость благодаря открытости и расширяемости

Пакет Enterprise Miner предоставляет настраиваемую и расширяемую среду интеллектуального анализа данных, позволяющую добавлять инструментальные средства и интегрировать персонифицированный код на языке SAS. Стандартную инструментальную библиотеку, входящую в состав пакета SAS Enterprise Miner 5.1, легко расширить при помощи средств настройки, использующих язык SAS и XML-логику. Кроме того, есть возможность использования экспериментального интерфейса Java API, позволяющего встраивать процессы пакета Enterprise Miner в различные пользовательские приложения. Эта возможность может оказаться особенно плодотворной для компаний, стремящихся создать собственное аналитическое приложение, которое будет сочетать в себе, например, возможности создания OLAP-отчетов и выполнения интеллектуального анализа данных в рамках единого интерфейса.

258