31.Определение метода и алгоритма. Классификация стадий Data Mining. Прогностическое моделирование.

Метод- норма или правило, определенный путь, способ, прием решений задачи теоретического, практического, познавательного, управленческого характера.

Алгоритм- это точное предписание относительно последовательности действий(шагов), преобразующих исходные данные в исполненный результат.

Классификация стадий:1. Выявление закономерностей, их свободный поиск.2.Использование выявленных закономерностей для предсказания неизвестных значений.Валидация- проверка закономерностей.3.Анализ исключений

Прогностическое моделирование:

2 направления:1.прогнозирование.2.предсказание неизвестных значений(классификация, кластеризация) если возраст >35, зарплата > 3000 руководитель.

32.Определение метода и алгоритма. Классификация стадий Data Mining. Анализ исключений.

Метод- норма или правило, определенный путь, способ, прием решений задачи теоретического, практического, познавательного, управленческого характера.

Алгоритм- это точное предписание относительно последовательности действий(шагов), преобразующих исходные данные в исполненный результат.

Классификация стадий:1. Выявление закономерностей, их свободный поиск.2.Использование выявленных закономерностей для предсказания неизвестных значений.Валидация- проверка закономерностей.3.Анализ исключений

Анализ исключений.основная задача-обнаружение и анализ данных, наиболее отличающихся от общего мн-ва данных, выявления так называемых нехарактерных шаблонов.

Анализ исключений входит: 1.выявление закономерностей.2.прогностическое моделирование.+3.валидация.4анализ исключений.

33.Основные этапы процесса подготовки к Data Mining. Анализ предметной области, постановка задачи, подготовка данных.

3 этапа:1.анализ предметной области.2.постановка задачи.3.подготовка данных.

1.Анализ. Исследование- это процесс познания определенной предметной области, объекта или явления с определенной целью. Предметная область- мысленно ограниченная область реальной действительности, подлежащая описанию или моделированию и исследованию.

Стандарты: SADT- методика структурного анализа, IDEFO- частично базируется на SADT

UML- активно заменяет IDEFO для разработки бизнес – процессов.

2.Постановка задачи.

1.сформулировать задачу(определить контингень клиентов)

2.формализация задачи(более подробное описание с использованием специфических терминов)

3.подготовка данных(создание базы данных под задачи дата мининг)

3.1определить и проанализировать требования к данным(состав,структура,определенность,формат)

3.2.Сбор данных

3.3 Предварительная подготовка данных обеспечение приемлемого кач-ва данных.

34.Понятие Text Mining. Основные этапы.

Text Mining - это набор технологий и методов, предназначенных для извлечения информации из текстов. Основная цель - дать аналитику возможность работать с большими объемами исходных данных за счет автоматизации процесса извлечения нужной информации. Назовем основные технологии Text Mining.

Этапы:

1.не знаю

2.этап предварительной обработки документов.

3.извлечение информации.

4.применение метода текст мининг

1.задача классификации- отнесение документов к нужной тематике

2.задача кластеризации- выявить семантически похожие группы данных

3.автоматитческое аннотирование- несколько фраз, наиболее полно отражающих весь текст.

4.извлечение ключевых понятий- выявить факты, взаимосвязанные с основным

5.навигация по тексту.

Этап №5.Интерпретация результатов , как представить результат работы.