ТЕХНОЛОГИИ
ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ
DATA MINING, DM
ИВАНОВ ИВАН БСТ17ХХ
ВВЕДЕНИЕ
•DATA MINING (РУС. ДОБЫЧА ДАННЫХ, ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ДАННЫХ, ГЛУБИННЫЙ АНАЛИЗ ДАННЫХ) — СОБИРАТЕЛЬНОЕ НАЗВАНИЕ, ИСПОЛЬЗУЕМОЕ ДЛЯ ОБОЗНАЧЕНИЯ СОВОКУПНОСТИ МЕТОДОВ ОБНАРУЖЕНИЯ В ДАННЫХ РАНЕЕ НЕИЗВЕСТНЫХ, НЕТРИВИАЛЬНЫХ, ПРАКТИЧЕСКИ ПОЛЕЗНЫХ И ДОСТУПНЫХ ИНТЕРПРЕТАЦИИ ЗНАНИЙ, НЕОБХОДИМЫХ ДЛЯ ПРИНЯТИЯ РЕШЕНИЙ В РАЗЛИЧНЫХ СФЕРАХ ЧЕЛОВЕЧЕСКОЙ ДЕЯТЕЛЬНОСТИ.
•НА БЫТОВОМ УРОВНЕ ЭТО ЗВУЧИТ ПРИМЕРНО ТАК: «ВЫ МУЧАЕТЕ ДАННЫЕ, ПОКА ОНИ НЕ ПРИЗНАЮТСЯ».
ДЕКОМПОЗИЦИЯ «DATA MINING» ВКЛЮЧАЕТ:
•НЕКИЕ ТЕХНОЛОГИИ, ИНСТРУМЕНТЫ И МЕТОДЫ;
•ДАННЫЕ УЖЕ СТРУКТУРИРОВАНЫ, ТАК КАК УЖЕ КАК-ТО ХРАНЯТСЯ И С НИМИ УЖЕ КАК-ТО РАБОТАЮТ;
•ДАННЫЕ МОГУТ БЫТЬ ЛЮБЫХ РАЗМЕРОВ;
•ОБРАБОТКА ДАННЫХ ДОЛЖНА БЫТЬ ПРОДУКТИВНОЙ (БЫТЬ ВЫГОДНА В КАКОМ-ЛИБО СМЫСЛЕ ДЛЯ КОНЕЧНЫХ ЛИЦ).
ВАЖНОЕ ПОЛОЖЕНИЕ DATA MINING
•- НЕТРИВИАЛЬНОСТЬ РАЗЫСКИВАЕМЫХ ШАБЛОНОВ. ЭТО ОЗНАЧАЕТ, ЧТО НАЙДЕННЫЕ ШАБЛОНЫ ДОЛЖНЫ ОТРАЖАТЬ НЕОЧЕВИДНЫЕ, НЕОЖИДАННЫЕ РЕГУЛЯРНОСТИ В ДАННЫХ, СОСТАВЛЯЮЩИЕ ТАК НАЗЫВАЕМЫЕ СКРЫТЫЕ ЗНАНИЯ. К ОБЩЕСТВУ ПРИШЛО ПОНИМАНИЕ, ЧТО СЫРЫЕ ДАННЫЕ СОДЕРЖАТ ГЛУБИННЫЙ ПЛАСТ ЗНАНИЙ, ПРИ ГРАМОТНОЙ РАСКОПКЕ КОТОРОГО МОГУТ БЫТЬ ОБНАРУЖЕНЫ НАСТОЯЩИЕ САМОРОДКИ.
ТРАДИЦИОННЫЙ ПРОЦЕСС DATA MINING ВКЛЮЧАЕТ СЛЕДУЮЩИЕ ЭТАПЫ:
•АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ
•ПОСТАНОВКА ЗАДАЧИ
•ПОДГОТОВКА ДАННЫХ
•ПОСТРОЕНИЕ МОДЕЛЕЙ
•ПРОВЕРКА И ОЦЕНКА МОДЕЛЕЙ
•ВЫБОР МОДЕЛИ
•ПРИМЕНЕНИЕ МОДЕЛИ
•КОРРЕКЦИЯ И ОБНОВЛЕНИЕ МОДЕЛИ
ОСНОВНЫЕ МЕТОДЫ:
•АССОЦИАЦИЯ
•КЛАССИФИКАЦИЯ
•КЛАСТЕРИЗАЦИЯ
•ПРОГНОЗИРОВАНИЕ
•ПОСЛЕДОВАТЕЛЬНЫЕ МОДЕЛИ
•ДЕРЕВЬЯ РЕШЕНИЙ
•КОМБИНАЦИИ
•ОБРАБОТКА С ЗАПОМИНАНИЕМ
ПРИМЕР ДЛЯ МЕТОДА КЛАСТЕРИЗАЦИЯ
ПРИМЕР ДЛЯ МЕТОДА ДЕРЕВЬЯ РЕШЕНИЙ
ОБЛАСТИ ПРИМЕНЕНИЯ
•РОЗНИЧНАЯ ТОРГОВЛЯ
•БАНКОВСКОЕ ДЕЛО
•ТЕЛЕКОММУНИКАЦИИ
•СТРАХОВАНИЕ
•МЕДИЦИНА
•МОЛЕКУЛЯРНАЯ ГЕНЕТИКА И ГЕННАЯ ИНЖЕНЕРИЯ
•ПРИКЛАДНАЯ ХИМИЯ
ЗАКЛЮЧЕНИЕ
•КАК МЫ ВИДИМ ИЗ ПРИМЕРОВ, ТЕХНОЛОГИЯ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ ЯВЛЯЕТСЯ ПЕРЕДОВОЙ, ИСПОЛЬЗУЕТСЯ ПО СЕЙ ДЕНЬ И НЕ ИМЕЕТ АНАЛОГОВ ЛУЧШЕ (И ВРЯД ЛИ ОНИ ПОЯВЯТСЯ В БЛИЖАЙШЕЕ ВРЕМЯ). СФЕРЫ ПРИМЕНЕНИЯ DATA MINING ПРАКТИЧЕСКИ БЕСКОНЕЧНЫ. ПРИНЯТИЕ РЕШЕНИЙ ПРИ РАБОТЕ С МАСШТАБНЫМИ БАЗАМИ ДАННЫХ НЕВОЗМОЖНО БЕЗ ПРИМЕНЕНИЯ DM.