- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
Прогнозирование с помощью линейной регрессии
Линейная регрессия необходима тогда, когда предполагается, что зависимость между входными факторами и результатом линейная. Достоинством ее можно назвать быстроту обработки входных данных и простоту интерпретации полученных результатов.
Рассмотрим применение Линейной регрессии на примере данных по продажам, находящихся в файле Trade.txt.
Выполним в новом проекте импорт данных из файла, не забыв указать в Мастере, чтобы в качестве разделителя дробной и целой частей была точка, а не запятая.
Проведите Парциальную предобработку данных (см. Лабораторную работу №1).
Приведите данные к скользящему окну, назначив поле Количество используемым, выбрать глубину погружения 12 (см. Лабораторную работу №2) (рис. 6.32).
Рисунок 6.32 – Парциальная предобработка данных
Обучение Линейной регрессии.
Для построения линейной регрессии необходимо запустить Мастер обработки и выбрать в качестве обработки данных Линейную регрессию.
На первом шаге задаем назначение исходных столбцов (рис. 6.33). Предположим, что на прогноз влияет информация за 3 прошлых месяца, тогда укажем входными столбцами поля: Количество-3, Количество-2, и Количество-1. В качестве выходного поля укажем столбец Количество.
На следующем шаге происходит настройка обучающего и тестового множеств, способ разложения исходного множества данных (рис. 6.34).
Третий шаг установки позволяет осуществить ограничение диапазона входных значений. Данный шаг оставим без изменений. При нажатии на кнопку Далее появляется окно запуска процесса обучения (рис. 6.35).
В процессе выполнения видно, какая часть распознана на этапе обучения и теста.
Рисунок 6.33 – Настройка назначений столбцов
Рисунок 6.34 – Настройка обучающего и тестового множеств
Рисунок 6.35 – Запуск процесса обучения
После выполнения процесса выберем в качестве способа отображения Диаграмму рассеяния и отображение результатов в виде Диаграммы. Как видно из диаграммы рассеяния, обучение прошло с хорошей точностью (рис. 6.36).
3) Прогнозирование.
Теперь для построения прогноза запустим Мастера обработки,
в котором выберем Прогнозирование.
На первом шаге обработчика происходит настройка связи столбцов для прогнозирования. Укажем связь между столбцами и горизонт прогноза равный 3 (рис. 6.37).
На следующем шаге задаются параметры визуализации. Для данного примера выбираем отображение результатов в виде Диаграммы прогноза. Теперь аналитик может дать прогноз о продажах, основываясь на модели, построенной с помощью линейной регрессией (рис. 6.38).
Изменив горизонт прогноза на 12, получим прогноз о продажах на год вперед (рис. 6.39).
Рисунок 6.36 – Результат обучения
Рисунок 6.37 – Настройка связи столбцов для прогнозирования
Рисунок 6.38 – Диаграмма прогноза на 3 месяца
Рисунок 6.39 – Диаграмма прогноза на 1 год
Сохраните результаты в файл L6_2.ded.
