Санкт-Петербургский государственный электротехнический университет им. В.И. Ульянова (Ленина)
ТЕХНОЛОГИИ DATA MINING. АЛГОРИТМЫ КЛАССИФИКАЦИИ И РЕГРЕССИИ
Студент: |
Наволоцкий И.Р. |
Группа: 1302
ЦЕЛЬ РАБОТЫ
•Цель: Анализ алгоритмов обучения с учителем.
•Задачи:
•Изучить процесс KDD (Knowledge Discovery in Databases).
•Рассмотреть методы предобработки.
•Сравнить алгоритмы классификации.
•Проанализировать методы регрессии.
2
ПРОЦЕСС ОБНАРУЖЕНИЯ ЗНАНИЙ (KDD)
• KDD (Knowledge Discovery in Databases) — процесс поиска полезных знаний
3
ПОДГОТОВКА ДАННЫХ
•Очистка от шума и пропусков.
•Кодирование категорий.
•Масштабирование
признаков.
(2)
(1)
4
ОБУЧЕНИЕ С УЧИТЕЛЕМ: КЛАССИФИКАЦИЯ VS РЕГРЕССИЯ
•Обучающая выборка:
•Классификация:
•Регрессия:
5
АЛГОРИТМЫ КЛАССИФИКАЦИИ: ЛОГИЧЕСКИЕ МЕТОДЫ
•Деревья решений (Decision Trees).
•Критерий: Энтропия.
(3)
6
АЛГОРИТМЫ КЛАССИФИКАЦИИ: МЕТРИЧЕСКИЕ И ГЕОМЕТРИЧЕСКИЕ
•k-ближайших соседей (k-NN).
•Метод опорных векторов (SVM).
(6)
7
ОЦЕНКА КАЧЕСТВА КЛАССИФИКАЦИИ
•Матрица ошибок (Confusion Matrix).
(7) |
(8) |
(9)
8
АЛГОРИТМЫ РЕГРЕССИИ
•Линейная регрессия.
•Метод наименьших квадратов (МНК).
(10)
9
МЕТРИКИ КАЧЕСТВА РЕГРЕССИИ
•Оценка отклонения прогноза от факта.
(13) |
(14) |
(15)
10