- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Базовые визуализаторы
К каждому узлу сценария, который содержит структурированный набор данных, всегда предлагается несколько визуализаторов. Мастер визуализации в интерактивном пошаговом режиме позволяет выбрать и настроить наиболее удобный способ представления данных. В зависимости от выбранного способа будут настраиваться различные параметры, а Мастер, соответственно, будет содержать различное число шагов. Первый шаг Мастера визуализации будет одинаков для всех видов, поскольку на нем и производится выбор визуализатора.
Вызов мастера визуализации:
кнопка
на
панели
инструментов
закладки
Сценарии;клавиша F5;
Контекстное меню Мастер визуализации…
Мастер визуализации запускается для выделенного узла сценария. Кроме того, этот мастер всегда является продолжением мастера обработки, т.е. активизируется при создании (настройке) любого узла. Желаемые способы отображения следует пометить флажками. Одновременно может быть выбрано несколько визуализаторов, при этом каждый из них будет открыт в отдельном окне.
Базовыми визуализаторами в Deductor являются следующие.
Таблица – каждое поле набора данных размещается в отдельном столбце. Столбцы озаглавлены метками полей, а если метка не была задана, то именами полей.
Статистика – для отображения основных статистических характеристик набора данных конкретного узла.
Сведения – позволяет просмотреть все параметры, с которыми был выполнен тот или иной процесс преобразования данных, в результате которого была сформирована новая выборка: импорт, обработка одним из методов или экспорт.
Построение многомерной диаграммы
Исходные данные.
Рассмотрим построение многомерной диаграммы на примере данных из файла fuel.txt. Он содержит таблицу с информацией о стоимости топлива в различных регионах. Многомерная диаграмма позволяет увидеть различия в цене покупаемого топлива по регионам.
Выполните импорт текстового файла fuel.txt.
Выполнение настройки
Осуществим построение многомерной диаграммы в специально созданном для этого узле Диаграмма, на основе обработчика Настройка набора данных. Для этого выберем в настройках отображения данных рассматриваемого узла визуализатор Многомерная диаграмма.
На следующем шаге определим оси координат. Выберем свойства, на основе которых изменяется цена. В нашем случае это название регионов и наименование топлива. Обозначим координату х –Федеральные округа, у – Топливо, z – Цена.
Выберем тип изображения диаграммы как Поверхность, на котором будет показана объемная зависимость цены рассматриваемого топлива по регионам (рис. 1.22).
Рисунок 1.22 – Многомерная диаграмма Поверхность
На диаграмме показаны перепады стоимости топлива в различных регионах не только графически, но и цветом. При необходимости можно просмотреть детализацию выбранных на графике точек, выбрав соответствующую настройку.
Полученный результат сохранить в файле L1_4.ded.
Работа с визуализатором Таблица
1)
Для проекта L1_2.ded
для
узла Пример
импорта файла 2
в
визуализаторе
Таблица
настройте,
используя значок
(настройка
полей
–
F11),
чтобы
при
отображении
к
значениям
в
Поле3
добавлялось
слово
«кг»
(рис.
1.23).
Рисунок 1.23 – Настройка форматов отображения данных
Сохраните конфигурацию визуализатора под названием К1 (клавиша
).
Результат действий представлен на рис.
1.24.
Рисунок 1.24 – Сохранение конфигурации
Сделайте первые три столбца невидимыми (убрав флажки у соответствующих полей) (рис. 1.25). Сохраните конфигурацию визуализатора под названием К2.
Вернитесь к конфигурации К1.
Рисунок 1.25 – Настройка форматов отображения данных полей
В визуализаторе Таблица установите фильтр Поле6 не пустой (рис. 1.26).
Рисунок 1.26 – Установка фильтра полей
Удалите фильтр.
Сохраните проект в файле L1_5.ded.
Вопросы для проверки
1. Какие характеристики набора данных показывает визуализатор
Статистика?
Что означает красный заголовок столбца в визуализаторе Таблица?
Как обнаружить, имеются ли в столбце пропущенные значения?
Для чего предназначен визуализатор Сведения?
Как скрыть столбец в визуализаторе Таблица?
К существующему в сценарии узлу импорта необходимо добавить еще один визуализатор. Что предпринять?
