10. Стандарты интеллектуального анализа данных (методология semma, стандарты cwm, crisp, pmml и др.)

Стандарты, описывающие методологию Data Mining - рассматривают организацию процесса Data Mining и разработку Data Mining- систем.

CRISP-DM - стандартный межотраслевой процесс Data Mining, является наиболее популярной и распространенной методологией. В соответствии со стандартом CRISP, Data Mining является непрерывным процессом со многими циклами и обратными связями.

Data Mining по стандарту CRISP-DM включает следующие фазы:

1. Осмысление бизнеса (Business understanding).

2. Осмысление данных (Data understanding).

3. Подготовка данных (Data preparation).

4. Моделирование (Modeling).

5. Оценка результатов (Evaluation).

6. Внедрение (Deployment).

К этому набору фаз иногда добавляют седьмой шаг - Контроль, он заканчивает круг.

При помощи методологии CRISP-DM Data Mining превращается в бизнес-процесс, в ходе которого технология Data Mining фокусируется на решении конкретных проблем бизнеса.

Методология CRISP-DM описывается в терминах иерархического моделирования

процесса, который состоит из набора задач, описанных четырьмя уровнями

обобщения (от общих к специфическим): фазы, общие задачи, специализированные задачи и запросы.

SEMMA методология реализована в среде SAS Data Mining Solution (SAS). Ее аббревиатура образована от слов "Отбор данных", т.е. создание выборки, "Исследование отношений в данных", "Модификация данных", "Моделирование взаимозависимостей", Оценка полученных моделей и результатов".

Подход SEMMA подразумевает, что все процессы выполняются в рамках гибкой

оболочки, поддерживающей выполнение всех необходимых работ по обработке и анализу данных. Подход SEMMA сочетает структурированность процесса и логическую организацию инструментальных средств, поддерживающих выполнение каждого из шагов. Благодаря диаграммам процессов обработки данных, подход SEMMA упрощает применение методов статистического исследования и визуализации, позволяет выбирать и преобразовывать наиболее значимые переменные, создавать модели с этими переменными, чтобы предсказать результаты, подтвердить точность модели и подготовить модель к развертыванию.

Эта методология не навязывает каких-либо жестких правил. Разработчик может располагать научными методами построения концепции проекта, его реализации, а также оценки результатов проектирования.

Как уже отмечалось, описанные стандарты являются методологиями Data Mining, т.е. рассматривают организацию процесса и разработку систем Data Mining. Помимо этой группы, сущ-т ряд стандартов, цель которых - согласовать

достижения в Data Mining, упростить управление моделированием процессов и

дальнейшее использование созданных моделей. Эти стандарты условно можно поделить

на две категории:

1. Стандарты, относящиеся к выработке единого соглашения по хранению и передаче

моделей Data Mining.

2. Стандарты, относящиеся к унификации интерфейсов.

Стандарт PMML

PMML - язык описания предикторных (или прогнозных) моделей или языке

разметки для прогнозного моделирования.

PMML относится к группе стандартов по хранению и передаче моделей Data Mining.

Основа этого стандарта - язык XML. Примером другого стандарта, также основанного на языке XML, является стандарт обмена статистическими данными и метаданными. Стандарт PMML используется для описания моделей Data Mining и статистических моделей.

Основная цель стандарта PMML - обеспечение возможности обмена моделями данных между программным обеспечением разных разработчиков (с другими PMML-инструментами).

Таким образом, модель, созданная в одном программном продукте, может использоваться для прогнозного моделирования в другом.

Стандарт PMML включает:

описание анализируемых данных (структура и типы данных);

описание схемы анализа (используемые поля данных);

описание трансформаций данных (например, преобразования типов данных);

описание статистик, прогнозируемых полей и самих прогнозных моделей.

Стандарты, относящиеся к унификации интерфейсов

С помощью стандартов этой группы любое приложение может получить доступ к

функциональности Data Mining. Здесь можно выделить стандарты, направленные на стандартизацию интерфейсов для объектных языков программирования, и стандарты, направленные на разработку надстройки над языком SQL.

К стандартам, направленным на стандартизацию интерфейсов для объектных языков программирования, можно отнести: CWM Data Mining, JDM.

Стандарт CWM включает описание базовых элементов объектной модели, реляционных отношений, языка XML, структуры семантики предметной области, архитектуры OLAP, добычи данных, технологии перегрузки данных и некоторых расширений.

JDM - это первая попытка создать стандартный Java API (программный интерфейс приложения) для получения доступа к инструментам Data Mining из Java-приложений.

Вторая группа стандартов направлена на разработку надстройки над языком SQL, которая позволяла бы обращаться к инструментарию Data Mining, встроенному непосредственно в реляционную базу данных. К этой группе можно отнести следующие стандарты:

SQL/MM, OLE DB for Data Mining.

Стандарт SQL/MM представляет собой набор определенных пользователем SQL

процедур для возможностей вычислений и использований моделей Data Mining.

The OLE DB for Data Mining standard of Microsoft. Этот стандарт позволяет, применять методы Data Mining в структуре реляционных баз данных. Этот стандарт является расширением OLE DB.

Стандарты, имеющие прямое или опосредованное отношение к Data Mining, можно

объединить в группы:

стандарты, базирующиеся на услугах Data Mining (услуги создания модели управления,

скоринговые услуги, услуги анализа данных, услуги исследования данных, статистические

услуги моделирования);

стандарты web-службы (SOAP/XML, WSRF, и т.д), Grid-Услуги (OGSA, OGSA/DAI, и т.д.),

Семантические Стандарты Web (RDF, OWL, и т.д.);

242

стандарты, которые должны появиться в ближайшее время: стандарты для

технологического процесса, стандарты для преобразований данных, стандарты для

оперативного (real time) Data Mining, стандарты для сетей данных (data webs).