- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Выполнение abc-xyz -анализа
1) Для получения результирующей таблицы ABC-XYZ-анализа необходимо выполнить слияние узла Калькулятор АВС-группа и узла Калькулятор XYZ-группа (рис. 5.65).
Рисунок 5.65 – Слияние узла Калькулятор АВС-группа
и узла Калькулятор XYZ-группа
Для узла Калькулятор АВС-группа используем слияние типа Внешнее левое соединение. Это позволит присоединить к набору данных группы ABC
все строки из набора XYZ, которые совпадают с исходными по ключевым полям.
В качестве ключевого поля выбираем поле Код товара, а в выходную таблицу передаем поля Код товара, Наименование товара, Группа ABC и Группа XYZ (рис. 5.66, 5.67).
Рисунок 5.66 – Установление связи между наборами данных
Рисунок 5.67 – Выбор полей необходимых для выходной таблицы
Выбираем визуализацию Куб. Группы ABC и XYZ будут измерениями,
остальные поля – информационные (рис. 5.68):
Рисунок 5.68 – Настройка назначений Куба
Распределяем измерения по строкам и колонкам и выбираем в качестве фактов число записей, соответствующих каждой группе (рис. 5.69).
Факты и варианты агрегации, а также варианты отображения укажите в соответствии с рис. 5.70.
Рисунок 5.69 – Настройка измерений по строкам и колонкам
Рисунок 5.70 – Выбор отображаемых фактов
Результат приведен на рис. 5.71, 5.72.
Рисунок 5.71 – Таблица
Рисунок 5.72 – Куб
Сохраните результаты работы в файле L5_2.ded.
Проанализируйте полученные результаты и укажите в отчете по лабораторной работе каковы выводы ABC-XYZ анализа.
Вопросы для проверки
Обработчик, позволяющий проводить вычисления «на лету»?
Основные функции, используемые при создании формул?
Назначение функции Today()?
Какая функция возвращает номер текущей записи источника данных?
Какая функция используется для вычисления доли с накопительным итогом?
Суть XYZ-анализа?
Что означает выражение:
Round(SUM_F_SUM*100/Stat(“SUM_F_SUM”;”Sum ”);2)?
Возможно ли слияние двух разных узлов?
Как вычислить коэффициент вариации?
Где настраивается отображение фактов?
Лабораторная работа № 6
ЛОГИСТИЧЕСКАЯ РЕГРЕССИЯ И ДЕРЕВЬЯ РЕШЕНИЙ В ЗАДАЧЕ КРЕДИТНОГО СКОРИНГА
Прогнозирование с помощью линейной регрессии
Система кредитных баллов (Кредитный скоринг) – технология, которая используется кредитно-финансовыми учреждениями, для определения и оценки платежеспособности клиентов. Кредитный скоринг позволяет на основе определенных характеристик существующих клиентов, путем подсчета баллов, определить риски, связанные с кредитованием и в конечном счете разделить заемщиков на два класса – тех, кому кредит выдать можно и тех, кому нельзя.
История скоринга тесно связана с именем американского финансиста Дюрана, который впервые разработал балльную модель оценки заемщика по совокупности его имущественных и социальных параметров (возраст, пол, профессия и т.д.). Если сумма баллов превышала определенный порог, заемщик считался кредитоспособным. И хотя в настоящее время применяют куда более сложные модели, иногда под скорингом по-прежнему понимают балльную (рейтинговую) методику оценки заемщика.
Для расчета баллов скоринговой карты сейчас используют два основных метода – логистическую регрессию и деревья решений.
