- •7. Методы и алгоритмы искусственного интеллекта, стадии Data Mining.
- •Методы классификации и прогнозирования.
- •Методы кластерного анализа.
- •Методы поиска ассоциативных правил
- •Методы визуализации
- •1. Определение и анализ требований к данным
- •2. Сбор данных
- •3. Предварительная обработка данных
- •4. Построение моделей;·
- •Этап 5. Проверка и оценка моделей
- •9. Инструментальные среды интеллектуальной обработки информации и их характеристика.
- •10. Стандарты интеллектуального анализа данных (методология semma, стандарты cwm, crisp, pmml и др.)
10. Стандарты интеллектуального анализа данных (методология semma, стандарты cwm, crisp, pmml и др.)
Стандарты, описывающие методологию Data Mining - рассматривают организацию процесса Data Mining и разработку Data Mining- систем.
CRISP-DM - стандартный межотраслевой процесс Data Mining, является наиболее популярной и распространенной методологией. В соответствии со стандартом CRISP, Data Mining является непрерывным процессом со многими циклами и обратными связями.
Data Mining по стандарту CRISP-DM включает следующие фазы:
1. Осмысление бизнеса (Business understanding).
2. Осмысление данных (Data understanding).
3. Подготовка данных (Data preparation).
4. Моделирование (Modeling).
5. Оценка результатов (Evaluation).
6. Внедрение (Deployment).
К этому набору фаз иногда добавляют седьмой шаг - Контроль, он заканчивает круг.
При помощи методологии CRISP-DM Data Mining превращается в бизнес-процесс, в ходе которого технология Data Mining фокусируется на решении конкретных проблем бизнеса.
Методология CRISP-DM описывается в терминах иерархического моделирования
процесса, который состоит из набора задач, описанных четырьмя уровнями
обобщения (от общих к специфическим): фазы, общие задачи, специализированные задачи и запросы.
SEMMA методология реализована в среде SAS Data Mining Solution (SAS). Ее аббревиатура образована от слов "Отбор данных", т.е. создание выборки, "Исследование отношений в данных", "Модификация данных", "Моделирование взаимозависимостей", Оценка полученных моделей и результатов".
Подход SEMMA подразумевает, что все процессы выполняются в рамках гибкой
оболочки, поддерживающей выполнение всех необходимых работ по обработке и анализу данных. Подход SEMMA сочетает структурированность процесса и логическую организацию инструментальных средств, поддерживающих выполнение каждого из шагов. Благодаря диаграммам процессов обработки данных, подход SEMMA упрощает применение методов статистического исследования и визуализации, позволяет выбирать и преобразовывать наиболее значимые переменные, создавать модели с этими переменными, чтобы предсказать результаты, подтвердить точность модели и подготовить модель к развертыванию.
Эта методология не навязывает каких-либо жестких правил. Разработчик может располагать научными методами построения концепции проекта, его реализации, а также оценки результатов проектирования.
Как уже отмечалось, описанные стандарты являются методологиями Data Mining, т.е. рассматривают организацию процесса и разработку систем Data Mining. Помимо этой группы, сущ-т ряд стандартов, цель которых - согласовать
достижения в Data Mining, упростить управление моделированием процессов и
дальнейшее использование созданных моделей. Эти стандарты условно можно поделить
на две категории:
1. Стандарты, относящиеся к выработке единого соглашения по хранению и передаче
моделей Data Mining.
2. Стандарты, относящиеся к унификации интерфейсов.
Стандарт PMML
PMML - язык описания предикторных (или прогнозных) моделей или языке
разметки для прогнозного моделирования.
PMML относится к группе стандартов по хранению и передаче моделей Data Mining.
Основа этого стандарта - язык XML. Примером другого стандарта, также основанного на языке XML, является стандарт обмена статистическими данными и метаданными. Стандарт PMML используется для описания моделей Data Mining и статистических моделей.
Основная цель стандарта PMML - обеспечение возможности обмена моделями данных между программным обеспечением разных разработчиков (с другими PMML-инструментами).
Таким образом, модель, созданная в одном программном продукте, может использоваться для прогнозного моделирования в другом.
Стандарт PMML включает:
описание анализируемых данных (структура и типы данных);
описание схемы анализа (используемые поля данных);
описание трансформаций данных (например, преобразования типов данных);
описание статистик, прогнозируемых полей и самих прогнозных моделей.
Стандарты, относящиеся к унификации интерфейсов
С помощью стандартов этой группы любое приложение может получить доступ к
функциональности Data Mining. Здесь можно выделить стандарты, направленные на стандартизацию интерфейсов для объектных языков программирования, и стандарты, направленные на разработку надстройки над языком SQL.
К стандартам, направленным на стандартизацию интерфейсов для объектных языков программирования, можно отнести: CWM Data Mining, JDM.
Стандарт CWM включает описание базовых элементов объектной модели, реляционных отношений, языка XML, структуры семантики предметной области, архитектуры OLAP, добычи данных, технологии перегрузки данных и некоторых расширений.
JDM - это первая попытка создать стандартный Java API (программный интерфейс приложения) для получения доступа к инструментам Data Mining из Java-приложений.
Вторая группа стандартов направлена на разработку надстройки над языком SQL, которая позволяла бы обращаться к инструментарию Data Mining, встроенному непосредственно в реляционную базу данных. К этой группе можно отнести следующие стандарты:
SQL/MM, OLE DB for Data Mining.
Стандарт SQL/MM представляет собой набор определенных пользователем SQL
процедур для возможностей вычислений и использований моделей Data Mining.
The OLE DB for Data Mining standard of Microsoft. Этот стандарт позволяет, применять методы Data Mining в структуре реляционных баз данных. Этот стандарт является расширением OLE DB.
Стандарты, имеющие прямое или опосредованное отношение к Data Mining, можно
объединить в группы:
стандарты, базирующиеся на услугах Data Mining (услуги создания модели управления,
скоринговые услуги, услуги анализа данных, услуги исследования данных, статистические
услуги моделирования);
стандарты web-службы (SOAP/XML, WSRF, и т.д), Grid-Услуги (OGSA, OGSA/DAI, и т.д.),
Семантические Стандарты Web (RDF, OWL, и т.д.);
242
стандарты, которые должны появиться в ближайшее время: стандарты для
технологического процесса, стандарты для преобразований данных, стандарты для
оперативного (real time) Data Mining, стандарты для сетей данных (data webs).