- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Манипуляции с измерениями
Измерения в кубе изображаются специальными полями. Поля синего цвета показывают измерения, участвующие в построении куба. Поля темно- зеленого цвета указывают на скрытые измерения, не участвующие в построении.
В данной кросс-таблице измерения Дата(Год), Дата(Месяц) и
Наименование отдела являются рабочими.
Дата, Наименование товара и Группа – скрытыми. Количество и Сумма – факты.
Наибольший интерес OLAP-куб представляет с точки зрения визуального анализа данных, поиска особенностей и закономерностей в данных.
Умелое использование OLAP-анализа и работа с кубом порой позволяют получить результаты даже в тех случаях, когда методы Data Mining оказываются малоэффективными (например, из-за недостатка или низкого качества данных).
Для того чтобы сделать процесс извлечения информации из куба более гибким и эффективным, в OLAP-системах обычно предусматривается набор операций с измерениями, позволяющих получить максимум возможных представлений данных.
Чтобы сделать измерение, участвующее в построении таблицы, скрытым, нужно перетащить поле с заголовком измерения в строку со скрытыми измерениями. Перетащим, например, поле Дата(Месяц) (рис. 4.12).
Рисунок 4.12 – Создание скрытых измерений
Сделать скрытое измерение участвующим в построении таблицы. При этом его можно добавить к измерениям в строках или столбцах. В исходной таблице перетащим измерение Группа и поместим его рядом с измерением Дата(Месяц) (рис. 4.13).
Здесь видно, например, что декабре 2008 года Аптека1 и Аптека2 не покупали Биологические активные добавки.
Можно отсортировать по Итогам(Сумма) и посмотреть в каком месяце каких препаратов покупали больше всего.
При этом можно было расположить измерение Группа как слева, так и справа от измерения Дата(Месяц).
Используя соответствующие кнопки измерения можно сворачивать и разворачивать.
Рисунок 4.13 – Использование скрытых измерений
Транспонирование куба. В результате данные, ранее отображавшиеся в строках, отображаются в столбцах, а данные в столбцах преобразуются в строки. Транспонирование во многих случаях позволяет оперативно сделать таблицу более удобной для восприятия.
Для
того чтобы применить операцию
транспонирования
следует
воспользоваться
кнопкой
Транспонировать
таблицу на
панели
инструментов,
либо нажать Ctrl+T
(рис.
4.14).
Рисунок 4.14 – Транспонирование таблиц
Здесь видно, например, что марте 2009 года Аптека2 и Аптека3 не закупали ничего.
Формирование отчета по каждой аптеке за каждый месяц
Для узла Иванов.Фармация: Продажи снять условие среза (за последние 4 месяца). Используя кнопку
Настроить
узел (рис.
4.15).
Рисунок 4.15 – Настройка размещения измерений
Для узла Преобразование даты выбрать способ визуализации – Куб и настроить значение следующим образом (рис. 4.16).
Рисунок 4.16 – Выбор отображаемых параметров
В результате получили отчет по каждой аптеке за каждый месяц (рис. 4.17).
Рисунок 4.17 – Отчет по каждой аптеке за каждый месяц
