- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Прогнозирование с помощью построения пользовательских моделей
Пользовательская модель позволяет создавать аналитические модели на основании формул и экспертных оценок. Такая возможность требуется в тех случаях, когда объем исходной выборки мал, либо ее качество недостаточно для того, чтобы, например, обучить нейронную сеть. В этом случае можно воспользоваться хорошо известными простыми моделями, которые задаются с помощью формул.
1) Рассмотрим применение пользовательской модели на примере данных по продажам, находящихся в файле Trade.txt (файл L6_2.ded). Будем строить пользовательские модели на ветке Данные по продажам товаров сразу после обработчика Скользящее окно.
Рассмотрим две пользовательские модели.
Первая пользовательская модель.
Пусть аналитику известен характер продаж определенных товаров. Так, например, известно, что каждый месяц наблюдается постоянный прирост объема продаж, равный 160 000, и спад продаж, равный 12 % от аналогичного периода прошлого года, а также прирост в 2 % по сравнению с текущим месяцем. Таким образом, аналитик может рассчитать прогноз по формуле:
Прогноз = ОбъемТекущегоМесяца · 1,02 +
+ 160 000 – ОбъемМесяцаГодНазад · 0,12 .
Для построения пользовательской модели необходимо запустить Мастер обработки и выбрать в качестве обработки данных Пользовательскую модель.
На втором шаге Мастера настроим поля исходных данных.
Необходимо выбрать в качестве
входных полей Количество-12 и Количество-1,
а выходным будет поле Количество.
На следующем шаге Мастера необходимо написать формулу получения прогноза. В поле ввода выражения необходимо написать правую часть формулы, известную аналитику, а именно
160 000 – 0.12 · COL2B12 + 1.02 · COL2B1
(COL2B12 и COL2B1 – соответственно имена полей Количество-12 и
Количество-1) (рис. 6.40).
– Далее необходимо перейти на следующий шаг и выбрать способ визуализации – Диаграмму рассеяния. Далее построим прогноз на 3 месяца вперед (используем метод Прогнозирование) (рис. 6.41).
Вторая пользовательская модель.
Также аналитик может воспользоваться реализованной моделью Скользящего среднего, которая подразумевает, что объем продаж следующего месяца равен среднему объему продаж некоторого количества предшествующих месяцев. В данной задаче количество предшествующих месяцев – 5.
а |
|
б |
Рисунок 6.40 – Написание формулы получения прогноза |
||
|
||
Рисунок 6.41 – Диаграмма рассеяния и диаграмма прогноза |
||
При
построении второй пользовательской
модели необходимо
на данном этапе в
качестве входов указать поля Количество-5
…
Количество-1.
Формула для получения прогноза:
MOVINGAVERAGE(COL2B1;COL2B2;COL2B3;COL2B4;COL2B5)
Здесь используется встроенная функция расчета среднего значения, в данном случае среднего объема продаж за пять предыдущих месяцев (рис. 6.42).
Рисунок 6.42 – Результат реализованной моделью Скользящего среднего
Сохраните результаты в файл L6_2.ded.
Задание
Используя предложенный преподавателем набор кредитных историй, хранящихся в текстовом файле potreb.txt, решите самостоятельно в системе Deductor следующие задачи.
Постройте скоринговую модель на основе логистической регрессии.
Определите оптимальный порог отсечения и порог, при котором чувствительность модели Se = 90 %.
Постройте несколько моделей деревьев решений при различных настройках алгоритма, а также отдельные деревья решений для заемщиков, состоящих и не состоящих в браке. Выберите модель, которая чаще отказывает в выдаче кредита.
1)
2)
3)
4) При условиях, принятых по умолчанию
использовать
кнопки
.
5) При условиях, принятых по умолчанию:
Сравните качество полученных моделей и сформулируйте рекомендации по их выбору при различной кредитной политике.
Вопросы для проверки
Что необходимо для построения модели логистической регрессии?
Как построить ROC-кривую?
Как произвести сравнение ROC-кривых?
Что значит – обучение логистической регрессионной модели?
Как при помощи логистической регрессии построить несложную скоринговую карту?
Чем задается нормализация для полей, подаваемых на входы?
При помощи какого инструмента проводят расчет рейтинга по такой скоринговой карте?
Чем больше уровень доверия, тем более ветвистым получается дерево, так ли это?
В чем измеряется уровень доверия, используемый при отсечении узлов?
Как работает алгоритм прогнозирования?
