- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Алгоритм xyz-анализа
Определить объекты анализа (клиент, поставщик, товарная группа/подгруппа, номенклатурная единица и т.п.).
Определить параметр, по которому будет проводиться анализ объекта (средний товарный запас, объем продаж, доход, количество единиц продаж, количество заказов и т.п.).
3) Определить период и количество периодов, по которым будет проводиться анализ (неделя, месяц, квартал, полугодие, год).
Определить коэффициент вариации для каждого объекта анализа:
определить средние продажи за месяц (агрегация при группировке не требует дополнительного введения формул);
определить стандартное отклонение вариационного ряда (агрегация при группировке не требует дополнительного введения формул).
Отсортировать объекты анализа по возрастанию значения коэффициента вариации.
Определить группы X, Y и Z.
Сценарий XYZ-анализа (рис. 5.37).
Результирующая таблица по XYZ-анализу (рис. 5.38): Рекомендуемое распределение:
Группа X – объекты, коэффициент вариации по которым не превышает 10 %.
Группа Y – объекты, коэффициент вариации по которым составляет
10–25 %.
Группа Z – объекты, коэффициент вариации по которым превышает
25 %.
Рисунок 5.37 – Сце |
нарий XYZ-анализа Рисунок 5.38 – Результирующая таблица по XYZ-анализу |
Данный метод ан периодов больше ! показательными не меньше чем го |
ализа имеет смысл, если количество анализируемых трех; чем больше количество периодов, тем более будут результаты. При этом сам период должен быть ризонт планирования, принятый в компании. |
XYZ-анализ представляет интерес для дистрибьюторов и производителей, имеющих свои склады. Любая закупка связана с большими издержками для компании (логистика, хранение и т.д), а также с прямыми рисками, например, списание товара по сроку годности. Ведение точной сбалансированной закупки является приоритетной задачей как оптового, так и розничного предприятия. Применяя XYZ-анализ в отношении своих клиентов, можно строить прогноз продаж на будущие периоды, разрабатывать специальные программы для постоянных лояльных (не подверженным различным всплескам заказов) клиентов. А также проводить различные мероприятия по переводу клиентов из группы Y, Z в группу X.
Выполнение xyz-анализа
Переименуем узел Настройка набора данных в АВС-анализ.
Применим к ветке сценария Иванов.Фармация: Продажи обработчик Настройки набора данных для изменения наименования столбцов (дадим название этому узлу – XYZ-анализ) (рис. 5.39).
Рисунок 5.39 – Результат использования обработчика Фильтр
Используя обработчик Фильтр (из Мастера обработки) оставляем все данные, кроме тех, что относятся к последнему месяцу (см. аналогичные пункты при проведении АВС-анализа).
Применяем обработчик Дата и время.
Необходимо преобразовать дату таким образом, чтобы в ней фигурировали только месяц и год (без конкретизации дня месяца). Для этого в качестве выходного параметра устанавливаем Год+Месяц (т.е. все, что продано в декабре 2008 года, будет отмечено как 01.12.2008) (рис. 5.40).
Рисунок 5.40 – Применение обработчика Дата и время
Выполняем группировку полученных данных по месяцам (рис. 5.41): Для этого оставляем два измерения Дата (Год + Месяц) и Код товара,
по фактам Количество и Сумма выполняем агрегацию по параметру Сумма,
а для факта Наименование товара – Минимум.
Рисунок 5.41 – Выполнение группировки
Видно, что таблица содержит число проданных единиц товара и сумму вырученных средств от продажи этого товара за каждый месяц необходимого периода.
Вычисляем среднее число проданных единиц товара за период. Эту операцию выполняют последовательно две ветки сценария – Группировка по товарам и Калькулятор.
Первая ветка позволяет посчитать общее число проданных единиц товара за квартал, а вторая – получить среднее значение этого параметра за три месяца.
Результат представлен на рис. 5.42.
Выполняем группировку полученных данных по товарам.
В качестве фактов используем столбец Количество (агрегация – Сумма)
и столбец Наименование товара (агрегация Минимум) (рис. 5.43).
В качестве измерения – Код товара.
Это позволит получить таблицу, содержащую данные о количестве проданных единиц товара за квартальный период.
Рисунок 5.42 – Результат выполнения группировки
Рисунок 5.43 – Группировка полученных данных
Получаем среднее число продаж за квартал. Для этого используем обработчик Калькулятор (рис. 5.44, 5.45). Результат представлен на рис. 5.46.
Рисунок 5.44 – Настройка среднего числа продаж за квартал
Рисунок 5.45 – Обработчик Калькулятор
Рисунок 5.46 – Среднее число проданных единиц товара за период
Вычисление коэффициента вариации. Для этого необходимо вычислить:
величину отклонения числа проданных единиц товара от средней величины продажи данного товара за период;
квадрат отклонения числа проданных единиц товара от среднего значения.
Вычислим величину отклонения числа проданных единиц товара от средней величины продажи данного товара за период.
Для выполнения этой операции необходимо числу продаж в каждый месяц поставить в соответствие среднее число продаж за квартал, после чего вычислить квадрат их разности.
Первое действие выполняется при помощи обработчика Слияние с узлом
(рис. 5.47), второе – при помощи обработчика Калькулятор.
Применяем обработчик Слияние с узлом для узла Группировка по периоду Месяц. Выбираем в качестве типа слияние – Внутреннее соединение, а в качестве узла – Калькулятор: X-среднее. Такой тип слияния позволит
получить таблицу, состоящую только из тех строк, для которых найдено совпадение по ключевым полям каждого из узлов.
Рисунок 5.47 – Обработчик Слияние с узлом
В качестве ключевого поля, по которому будет производиться слияние, выбираем поле Код товара (рис. 5.48).
Рисунок 5.48 – Выбор ключевого поля
На следующем шаге обработчика выбираем те поля узлов, которые мы хотим увидеть в результирующей таблице (рис. 5.49).
Рисунок 5.49 – Выбор полей необходимых в выходном наборе данных
Результирующая таблица имеет следующий вид (рис. 5.50).
Рисунок 5.50 – Таблица вычисления величины отклонения числа проданных единиц товара от средней величины продажи данного товара за период
Вычислим квадрат отклонения числа проданных единиц товара от среднего значения (рис. 5.51, 5.52).
Рисунок 5.51 – Настройка параметров выражения
Рисунок 5.52 – Создание параметров выражения
Результат отражен на рис. 5.53.
Рисунок 5.53 – Результат вычисления квадрата отклонения числа проданных единиц товара от среднего значения
Для вычисления коэффициента вариации воспользуемся, обработчиками Группировка (рис. 5.54) и Калькулятор (рис. 5.55, 5.56).
Применяем к полученной на предыдущем шаге таблице обработчик Группировка по измерению Код товара, что позволит нам получить сумму квадратов отклонений числа проданных единиц товара от средней величины.
Для факта SKO выбираем способ агрегации – Сумма.
для факта Наименования товара – Минимум.
для факта X_MEAN – Первый из списка.
Вычисляем коэффициент вариации, используя Калькулятор.
Рисунок 5.54 – Настройка группировки данных
Рисунок 5.55 – Вычисление коэффициента вариации (шаг 1)
Рисунок 5.56 – Вычисление коэффициента вариации (шаг 2)
Результат представлен таблицей на рис. 5.57.
Рисунок 5.57 – Результат суммы квадратов отклонений числа проданных единиц товара от средней величины.
Получим разбиение товаров на группы XYZ.
Для этого сначала необходимо выполнить сортировку полученной на предыдущем шаге таблицы по возрастанию коэффициента вариации, а затем разбить на основании результатов этой сортировки товары по трем группам.
Сортировка по возрастанию коэффициента вариации (рис. 5.58):
Рисунок 5.58 – Сортировку полученной на предыдущем шаге таблицы по возрастанию коэффициента вариации
Для выполнения разбиения используем обработчик Калькулятор
(рис. 5.59, 5.60).
Рисунок 5.59 – Обработчик Калькулятор |
Рисунок 5.60 – Разбиение на основании результатов сортировки товаров по трем группам |
Полученный результат приведен на рис. 5.61, 5.62.
Рисунок 5.61 – Таблица
Рисунок 5.62 – Куб
Сохраните результаты работы в файле L5_2.ded.
