ТЕХНОЛОГИИ

ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ

DATA MINING, DM

ИВАНОВ ИВАН БСТ17ХХ

ВВЕДЕНИЕ

•DATA MINING (РУС. ДОБЫЧА ДАННЫХ, ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ДАННЫХ, ГЛУБИННЫЙ АНАЛИЗ ДАННЫХ) — СОБИРАТЕЛЬНОЕ НАЗВАНИЕ, ИСПОЛЬЗУЕМОЕ ДЛЯ ОБОЗНАЧЕНИЯ СОВОКУПНОСТИ МЕТОДОВ ОБНАРУЖЕНИЯ В ДАННЫХ РАНЕЕ НЕИЗВЕСТНЫХ, НЕТРИВИАЛЬНЫХ, ПРАКТИЧЕСКИ ПОЛЕЗНЫХ И ДОСТУПНЫХ ИНТЕРПРЕТАЦИИ ЗНАНИЙ, НЕОБХОДИМЫХ ДЛЯ ПРИНЯТИЯ РЕШЕНИЙ В РАЗЛИЧНЫХ СФЕРАХ ЧЕЛОВЕЧЕСКОЙ ДЕЯТЕЛЬНОСТИ.

•НА БЫТОВОМ УРОВНЕ ЭТО ЗВУЧИТ ПРИМЕРНО ТАК: «ВЫ МУЧАЕТЕ ДАННЫЕ, ПОКА ОНИ НЕ ПРИЗНАЮТСЯ».

ДЕКОМПОЗИЦИЯ «DATA MINING» ВКЛЮЧАЕТ:

•НЕКИЕ ТЕХНОЛОГИИ, ИНСТРУМЕНТЫ И МЕТОДЫ;

•ДАННЫЕ УЖЕ СТРУКТУРИРОВАНЫ, ТАК КАК УЖЕ КАК-ТО ХРАНЯТСЯ И С НИМИ УЖЕ КАК-ТО РАБОТАЮТ;

•ДАННЫЕ МОГУТ БЫТЬ ЛЮБЫХ РАЗМЕРОВ;

•ОБРАБОТКА ДАННЫХ ДОЛЖНА БЫТЬ ПРОДУКТИВНОЙ (БЫТЬ ВЫГОДНА В КАКОМ-ЛИБО СМЫСЛЕ ДЛЯ КОНЕЧНЫХ ЛИЦ).

ВАЖНОЕ ПОЛОЖЕНИЕ DATA MINING

•- НЕТРИВИАЛЬНОСТЬ РАЗЫСКИВАЕМЫХ ШАБЛОНОВ. ЭТО ОЗНАЧАЕТ, ЧТО НАЙДЕННЫЕ ШАБЛОНЫ ДОЛЖНЫ ОТРАЖАТЬ НЕОЧЕВИДНЫЕ, НЕОЖИДАННЫЕ РЕГУЛЯРНОСТИ В ДАННЫХ, СОСТАВЛЯЮЩИЕ ТАК НАЗЫВАЕМЫЕ СКРЫТЫЕ ЗНАНИЯ. К ОБЩЕСТВУ ПРИШЛО ПОНИМАНИЕ, ЧТО СЫРЫЕ ДАННЫЕ СОДЕРЖАТ ГЛУБИННЫЙ ПЛАСТ ЗНАНИЙ, ПРИ ГРАМОТНОЙ РАСКОПКЕ КОТОРОГО МОГУТ БЫТЬ ОБНАРУЖЕНЫ НАСТОЯЩИЕ САМОРОДКИ.

ТРАДИЦИОННЫЙ ПРОЦЕСС DATA MINING ВКЛЮЧАЕТ СЛЕДУЮЩИЕ ЭТАПЫ:

•АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ

•ПОСТАНОВКА ЗАДАЧИ

•ПОДГОТОВКА ДАННЫХ

•ПОСТРОЕНИЕ МОДЕЛЕЙ

•ПРОВЕРКА И ОЦЕНКА МОДЕЛЕЙ

•ВЫБОР МОДЕЛИ

•ПРИМЕНЕНИЕ МОДЕЛИ

•КОРРЕКЦИЯ И ОБНОВЛЕНИЕ МОДЕЛИ

ОСНОВНЫЕ МЕТОДЫ:

•АССОЦИАЦИЯ

•КЛАССИФИКАЦИЯ

•КЛАСТЕРИЗАЦИЯ

•ПРОГНОЗИРОВАНИЕ

•ПОСЛЕДОВАТЕЛЬНЫЕ МОДЕЛИ

•ДЕРЕВЬЯ РЕШЕНИЙ

•КОМБИНАЦИИ

•ОБРАБОТКА С ЗАПОМИНАНИЕМ

ПРИМЕР ДЛЯ МЕТОДА КЛАСТЕРИЗАЦИЯ

ПРИМЕР ДЛЯ МЕТОДА ДЕРЕВЬЯ РЕШЕНИЙ

ОБЛАСТИ ПРИМЕНЕНИЯ

•РОЗНИЧНАЯ ТОРГОВЛЯ

•БАНКОВСКОЕ ДЕЛО

•ТЕЛЕКОММУНИКАЦИИ

•СТРАХОВАНИЕ

•МЕДИЦИНА

•МОЛЕКУЛЯРНАЯ ГЕНЕТИКА И ГЕННАЯ ИНЖЕНЕРИЯ

•ПРИКЛАДНАЯ ХИМИЯ

ЗАКЛЮЧЕНИЕ

•КАК МЫ ВИДИМ ИЗ ПРИМЕРОВ, ТЕХНОЛОГИЯ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ ЯВЛЯЕТСЯ ПЕРЕДОВОЙ, ИСПОЛЬЗУЕТСЯ ПО СЕЙ ДЕНЬ И НЕ ИМЕЕТ АНАЛОГОВ ЛУЧШЕ (И ВРЯД ЛИ ОНИ ПОЯВЯТСЯ В БЛИЖАЙШЕЕ ВРЕМЯ). СФЕРЫ ПРИМЕНЕНИЯ DATA MINING ПРАКТИЧЕСКИ БЕСКОНЕЧНЫ. ПРИНЯТИЕ РЕШЕНИЙ ПРИ РАБОТЕ С МАСШТАБНЫМИ БАЗАМИ ДАННЫХ НЕВОЗМОЖНО БЕЗ ПРИМЕНЕНИЯ DM.