- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
4. Визуализатор Что-если в ассоциативных правилах
Кроме уже изученных визуализаторов Правила, Популярные наборы и Дерево правил, в Deductor Studio к узлу Ассоциативные правила доступен визуализатор Что-если. Он позволяет ответить на вопрос, что мы получим в качестве следствия, если выберем данные условия, например, какие товары, приобретаются совместно с выбранными товарами (рис. 9.13).
Рисунок 9.13 – Визуализатор Что-если
В окне слева расположен список всех элементов транзакций. Справа от каждого элемента указана поддержка: сколько раз данный элемент встречается в транзакциях.
В правом верхнем углу расположен
список элементов, входящих в условие,
выбирается
он
с
помощью
двойного
щелчка
левой
кнопки
мыши или вспомогательных
кнопок
.
Это, например, список
товаров, которые
приобрел
покупатель.
Для
них
можно
найти
следствие,
нажав
на
кнопку
(Вычислить
правила)
или
(Автоматически
вычислить
правила). Причем в
условие могут
входить несколько элементов, или
товаров. Тогда в
следствие попадут
все товары, условия которых
удовлетворяют списку
ассоциативных
правил.
Например, клиент заказал Зубную паста и Пятновыводитель. Что еще ему можно предложить? Поскольку у нас имеются два правила, а именно:
а) Зубная паста → Чистящий порошок;
б) Пятновыводитель → Отбеливатель;
то в следствие попадут два элемента – Чистящий порошок и
Отбеливатель.
Это проиллюстрировано на рис. 9.14.
Информация о купленных товарах вносится продавцом в отчет и тут же формируется набор предложений, который озвучивается клиенту.
С помощью встроенных возможностей можно настроить интерактивный отчет возможных предложений-напоминаний клиенту. Для этого используются следующие кнопки:
Автоматически вычислить правила – позволяет рассчитывать новый набор следствий после каждого добавления товара в набор условий;
Порядок
сортировки,
Направление
сортировки –
позволяют
упорядочить «список предложений» по
одному из выбранных
параметров
(поддержка, достоверность,
лифт);
Фильтрация
правил –
задаются ограничения на
формируемый
«список предложений»;
Тип
определения лучшего правила –
при повторении
наименований
товаров в «списке
предложений» позволяет отображать,
один из них,
в соответствии с
лучшей
характеристикой.
Рисунок 9.14 – Настройка интерактивного отчета
Результаты сохраните в файле L9_1.ded.
Задание
Определите, что приобретет клиент купивший: Гель для туалетов; Средство для мытья посуды и Пятновыводитель с величиной лифта больше 3.
Небольшая сеть из трех магазинов, продающих мелкие штучные товары, желает провести исследование связанных покупок. По мнению специалистов компании, знание того, какие товары покупаются совместно, поможет правильно расположить их на витринах. С этой целью были собраны все чеки за последние три месяца (около 20 тыс.). В них присутствуют 17 товаров (анальгетик, дезодорант, журнал, зубная паста, карандаши и др.). Таблица данных содержится в файле transactions.txt и включает два столбца: Транзакция и Товар. Опираясь на имеющиеся данные, выполните следующие действия.
Решите задачу поиска ассоциаций в Deductor (достоверность 20–50, правил – 17).
Выделите непонятные, на ваш взгляд, ассоциативные правила, а также правила, представляющие интерес. Сколько правил попало в эти категории?
Найдите правило, имеющее максимальный лифт.
Заказчика данного исследования интересует, какие товары покупают с поздравительной открыткой (используйте все визуализаторы).
Сколько таких товаров оказалось в выбранном перечне? Какая из ассоциаций представляет в этом плане наибольший интерес (имеет максимальный лифт)?
Результаты сохраните в файле L9_2.ded.
Вопросы для проверки
Какой алгоритм генерации ассоциативных правил имеется в
Deductor?
Какие входные поля набора данных необходимы для запуска обработчика Ассоциативные правила в Deductor?
Какие специализированные визуализаторы предлагаются к узлу- обработчику Ассоциативные правила?
Какова вероятность того, что клиент, купивший Антистатик-спрей,
купит и Средство для мытья посуды?
Приведите пример, когда после анализа ассоциативного правила, товары размещают на большом расстоянии друг от друга или их не советуют приобретать вместе.
Какой визуализатор используется для формирования предложений клиенту?
С помощью, каких кнопок можно отсортировать сформированный
«список предложений» по убыванию лифта?
Какой обработчик является зависимым к узлу Ассоциативные правила?
Как обработать новые чеки по имеющимся ассоциативным правилам?
