- •Интеллектуальный анализ данных Лабораторный практикум
- •5.05010101 «Обслуживание программных систем и комплексов»
- •Касилов о.В., Компаниец в.А.
- •Содержание
- •Вступление
- •Лабораторная работа № 1
- •Начало работы с системой Deductor Studio 5 .2
- •Мастер импорта;
- •Сценарии
- •Базовые визуализаторы
- •Построение многомерной диаграммы
- •Работа с визуализатором Таблица
- •Очистка данных
- •Парциальная предобработка
- •Редактирование аномальных значений
- •Спектральная обработка (сглаживание)
- •Факторный анализ
- •Корреляционный анализ
- •Дубликаты и противоречия
- •Лабораторная работа № 2 трансформация данных
- •Разбиение даты
- •Преобразование данных к скользящему окну
- •Группировка данных
- •Слияние данных
- •Квантование
- •Настройка набора данных
- •Фильтрация данных
- •Сортировка, замена значений
- •Замена значений
- •Кросс-таблица
- •Свёртка столбцов
- •Вопросы для проверки
- •Лабораторная работа № 3 работа с хранилищем данных
- •Рассмотрим пример проектирования структуры хд
- •Создание нового хранилища данных
- •Настройка подключения хранилища данных
- •Проектирование структуры хранилища данных
- •Наполнение хранилища данных
- •Извлечение информации из хранилища данных Импорт из процесса
- •Импорт из измерения
- •Кубы в Deductor Warehouse
- •Самостоятельная работа по созданию хранилища данных
- •Вопросы для проверки
- •Лабораторная работа № 4
- •Многомерный анализ данных при помощи встроенного в Deductor olap модуля.
- •Добавление новых данных в хд
- •Получение olap-отчетов
- •Формирование отчета по объемам продаж за последние четыре месяца по товарным группам
- •Манипуляции с измерениями
- •Формирование отчета по каждой аптеке за каждый месяц
- •Фильтрация
- •Построение аналитической отчетности
- •Самостоятельная работа по созданию кросс-таблицы и кросс- диаграммы
- •Вопросы для проверки
- •Лабораторная работа № 5
- •Узел Калькулятор
- •Задание
- •Проведение abc-анализа
- •Суть метода
- •Алгоритм авс-анализа
- •Выполнение abc-анализа
- •Stat("ИмяСтолбца";"Тип")
- •CumulativeSum("ИмяПоля"; ["ИмяПоляГруппы"])
- •Проведение xyz-анализа
- •Суть метода
- •Алгоритм xyz-анализа
- •Выполнение xyz-анализа
- •Проведение abc-xyz-анализ
- •Суть метода
- •Выполнение abc-xyz -анализа
- •Вопросы для проверки
- •Лабораторная работа № 6
- •1. Логистическая регрессия и roc-анализ
- •Деревья решений
- •Прогнозирование с помощью линейной регрессии
- •Прогнозирование с помощью построения пользовательских моделей
- •Лабораторная работа № 7 искусственные нейронные сети
- •1. Искусственные нейронные сети
- •Пример работы многослойного персептрона
- •Аппроксимация многомерных функций
- •Лабораторная работа № 8
- •Кластеризация с помощью алгоритма k-means
- •2. Сегментация клиентов телекоммуникационой компании с использованием карт Кохонена
- •Кластеризация при равном весе входных атрибутов
- •Кластеризация при различных весах входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Кластеризация при ограничении набора входных атрибутов. Акцент на выделении кластера Активная молодеж ь
- •Лабораторная работа № 9 ассоциативные правила
- •Алгоритм поиска ассоциативных правил
- •Создание ассоциативных правил для анализа покупательских корзин для стимулирования спроса
- •Интерпретация ассоциативных правил
- •Полезные советы:
- •4. Визуализатор Что-если в ассоциативных правилах
- •Список литературы
- •Інтелектуальний аналіз даних Лабораторний практикум
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ УКРАИНЫ
НАЦИОНАЛЬНЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
«ХАРЬКОВСКИЙ ПОЛИТЕХНИЧЕСКИЙ ИНСТИТУТ»
Интеллектуальный анализ данных Лабораторный практикум
для студентов специальности: 6.05010104 «Системы искусственного интеллекта»
5.05010101 «Обслуживание программных систем и комплексов»
Утверждено
редакционно-издательским советом университета, протокол № 2 от 24.12.2014
Харьков Издательство «Точка»
2015
УДК 004.032.2(072)
ББК 32.973.26я7
К28
Рецензенты:
Г. И. Чурюмов, докт. физ.-мат. наук, проф., профессор ХНУРЭ
О.М. Борисенко, канд. техн. наук, доцент кафедры ПГС, НТУ «ХПИ»
Касилов о.В., Компаниец в.А.
К28 |
Интеллектуальный анализ данных: Лабораторный практикум для студентов специальности: 6.05010104 «Системы искусственного интеллекта», 5.05010101 «Обслуживание программных систем и комплексов» / О.В. Касилов, В.А. Компаниец. – Х. : Издательство «Точка», 2015. – 268 с. |
ISBN 978-617-669-169-3
В лабораторном практикуме «Интеллектуальный анализ данных» рассматривается методы, задачи, применение, а также инструментальные средства Data Mining. Лабораторный практикум состоит из девяти тематических разделов и позволяет познакомиться с различными методами и решениями для интеллектуального анализа данных. Ориентирован на студентов высших учебных заведений, обучающихся по специальностям в области информационных технологий.
У лабораторному практикумі «Інтелектуальний аналіз даних» розглядаються методи, завдання, застосування, а також інструментальні засоби Data Mining. Лабораторний практикум складається з дев'яти тематичних розділів і дозволяє познайомитися з різними методами і рішеннями для інтелектуального аналізу даних. Орієнтований на студентів вищих навчальних закладів, які навчаються за спеціальностями в галузі інформаційних технологій.
УДК 004.032.2(072)
ББК 32.973.26я7
ISBN 978-617-669-169-3 |
© Касилов О.В., Компаниец В.А., 2015 © Издательство «Точка», 2015 |
Содержание
Вступление 4
Лабораторная работа № 1. Базовые навыки работы в Deductor 5
Лабораторная работа № 2. Трансформация данных 44
Лабораторная работа № 3. Работа с хранилищем данных 79
Лабораторная работа № 4. Механизмы многомерного хранения и визуализации. OLAP-отчеты 110
Лабораторная работа № 5. OLAP-анализ. Аналитическая отчетность аптечной сети 128
Лабораторная работа № 6. Логистическая регрессия и деревья
решений в задаче кредитного скоринга 169
Лабораторная работа № 7. Искусственные нейронные сети 204
Лабораторная работа № 8. Алгоритмы анализа данных. Кластеризация 219
Лабораторная работа № 9. Ассоциативные правила 250
Список литературы 267
Вступление
Интеллектуальный анализ данных — это обработка информации и выявление в ней моделей и тенденций, которые помогают принимать решения. Появлением больших данных повлияло на еще более широкое распространение интеллектуальных методов анализа данных. В первую очередь в бизнесе. Эти бизнес-требования привели от простого поиска и статистического анализа данных к более сложному интеллектуальному анализу данных. Для решения бизнес-задач требуется такой анализ данных, который позволяет построить модель для описания информации и в конечном итоге приводит к созданию результирующего отчета.
Существует множество различных методов интеллектуального анализа данных, моделирования запросов, обработки и сбора информации. Какие из них применить для анализа своих данных, и какие можно использовать в сочетании с уже имеющимся программным обеспечением и инфраструктурой? Лабораторный практикум позволяет познакомиться с различными методами и решениями для интеллектуального анализа данных и научиться создавать такие решения с помощью существующего программного обеспечения и систем.
Лабораторный практикум состоит из 9 тематических разделов: базовые навыки работы в Deductor; трансформация данных; работа с хранилищем данных; механизмы многомерного хранения и визуализации. OLAP-отчеты; OLAP-анализ; логистическая регрессия и деревья решений; искусственные нейронные сети; кластеризация; ассоциативные правила.