
- •Создание структуры.
- •Создание модели интеллектуального анализа данных
- •Введение.
- •Методы решения задач Data Mining в Microsoft sql Server.
- •Метод дерева принятия решений.
- •Упрощенный Метод Байеса
- •Метод временных рядов.
- •Метод кластеризации
- •Метод линейной регрессии.
- •Метод поиска взаимосвязей
- •Метод кластеризации последовательностей
- •Метод нейронной сети
- •Области использования рассмотренных алгоритмов.
- •Доступ к средствам sql Server Data Mining из Microsoft Office.
- •Средства анализа таблиц Excel. Инструмент Table Analysis (Анализировать).
- •Инструмент «Анализ ключевых факторов влияния».
- •Инструмент «Поиск категорий».
- •Инструмент Заполнение по примеру (Fill From Example).
- •Инструмент прогнозирования Прогноз
- •Инструмент Выделение исключений
- •Инструмент Анализ сценария.
- •Поиск решения.
- •Анализ гипотетических вариантов
- •Клиент интеллектуального анализа данных для Excel
- •Подготовка данных
- •Просмотр данных.
- •Инструмент Очистить данные
- •Секционирование данных.
- •Панель инструментов Моделирование данных. Классификация.
- •Инструмент «Оценка»
- •Инструмент «Кластеризация»
- •Инструмент Связать.
- •Инструмент Прогноз.
- •Инструмент Дополнительно.
- •Панель Точность и правильность
- •Диаграмма точности.
- •Матрица классификации
- •Литература и источники.
- •Оглавление
- •101990 Москва, Малый Златоустинский пер. 7
- •Введение.
- •Хранилище данных Концепция хранилища данных.
- •Архитектура хранилища данных.
- •Проблемы создания хранилищ данных.
- •Требования к субд и используемые данные.
- •Data Mining или добыча знаний
- •Типы выявляемых закономерностей и этапы решения
- •Обзор используемых методов и алгоритмов
- •Классификация.
- •Кластеризации.
- •Задача ассоциации
- •Визуализация
- •Системы, реализующие Data Mining
- •Система PolyAnalyst
- •Работа с системой PolyAnalyst
- •Задание для самостоятельного выполнения.
- •Нейронные сети. Область применения нейронных сетей.
- •Теоретические аспекты нейронных сетей.
- •Последовательность этапов решения практических задач с использованием нейронных сетей и рекомендации по их проведению.
- •Программные системы для нейросетевого моделирования.
- •Программный пакет BrainMaker Professional.
- •Последовательность работы с пакетом BrainMaker Professional
- •Задания для самостоятельного выполнения:
- •Литература и источники.
- •Кондрашов Юрий Николаевич, Современные технологии интеллектуальной обработки информации.
- •101990 Москва, Малый Златоустинский пер. 7 Язык dmx Концепции языка dmx
- •Создание структуры.
- •Создание модели интеллектуального анализа данных
- •Детализация структуры
- •Детализация модели
- •Запрос значений столбца
- •Запрос содержимого модели
- •1. Витрины данных, как обособленная (специализированная) часть хд
- •2. Витрины данных (вид хд) , как промежуточная часть хд.
- •2. Кубы данных – оперативная аналиическая обработка (olap)
Области использования рассмотренных алгоритмов.
Выбор того или иного метода или алгоритма для использования в конкретной задаче может быть достаточно сложным. Можно использовать различные методы для решения одной и той же задачи, но каждый алгоритм выдает различный результат.
В таблице приводятся примеры прикладных задач и возможные методы их решения из рассмотренных выше.
Задача |
Возможный метод решения |
Прогнозирование дискретного атрибута. Например, для прогнозирования того, купит ли получатель целевой рассылки продукт. |
Метод дерева решений Упрощенный Метод Байеса Метод кластеризации Метод нейронной сети |
Прогнозирование непрерывного атрибута. Например, для прогнозирования продаж на следующий год. |
Метод дерева решений Метод временных рядов |
Прогнозирование последовательности. Например, для выполнения анализа маршрута перемещения по веб-узлу компании. |
Метод кластеризации последовательностей
|
Нахождение групп общих элементов в транзакциях. Например, для использования анализа потребительской корзины для предложения дополнительных продуктов заказчику. |
Метод взаимосвязей Метод дерева принятия решений |
Нахождение групп схожих элементов. Например, для сегментирования демографических данных в группы для улучшения понимания связей между атрибутами. |
Метод кластеризации Метод кластеризации последовательностей |
Также для решения прикладных задач можно одновременно использовать несколько методов. Одним методом можно анализировать данные, а затем использовать другие методы для построения прогнозных моделей.
Например, можно использовать алгоритм кластеризации для разделения данных на группы, являющиеся более или менее однородными, а затем использовать эти результаты для создания более точной модели дерева принятия решений для каждой из групп.
Доступ к средствам sql Server Data Mining из Microsoft Office.
Надстройки SQL Server Data Mining для Microsoft Office являются программными средствам, позволяющими использовать средства SQL Server Data Mining в приложениях Microsoft Office.
Программные средства содержат три надстройки: Table Analysis Tools, Data Mining Client, а также Data Mining Templates for Visio. Имеется также средство Server Configuration, позволяющее задавать настройки и подключаться к аналитическим службам Analysis Services.
Чтобы использовать средства анализа таблиц Excel, необходимо создать соединение с экземпляром служб SQL Server Analysis Services. Соединение может быть создано с любым экземпляром служб Analysis Services, допускающим использование моделей сеанса.
Это соединение обеспечивает доступ к алгоритмам интеллектуального анализа данных Майкрософт, необходимым для анализа данных. Несмотря на то, что средства анализа таблиц для Excel не хранят модели интеллектуального анализа данных на сервере и не используют расширенные функции управления службами SQL Server Analysis Services, эти средства зависят от запатентованных алгоритмов интеллектуального анализа данных в службах Analysis Services.
Средства интеллектуального анализа данных в этой надстройке автоматически анализируют распределение и тип данных и рекомендуют лучший способ обработки данных для получения допустимых результатов. Таким образом, нет необходимости выбирать алгоритмы и настраивать сложные параметры.
Инструменты Table Analysis являются чисто клиентским приложением для интеллектуального анализа данных SQL Server Data Mining. Эти инструменты используют интерфейс прикладного программирования ADOMD.NET для обмена с сервером аналитических служб.
Все эти инструменты работают посредством выгрузки данных из Microsoft Excel на сервер аналитических служб. Для анализа выгруженных данных на Сервере создается временная (называемая также сеансовой) модель интеллектуального анализа данных. После этого инструменты запрашивают у модели шаблоны и прогнозы и отображают результаты в Microsoft Excel.
Когда программа Excel закрыта (либо когда модель интеллектуального анализа данных долгое время не используется), временные объекты на сервере аналитических служб исчезают. Эти объекты видны только тому пользователю, который их создал. Даже пользователи с правами администратора базы данных не могут получить доступ к созданным моделям или использованным для их обучения данным.
Однако администратор сервера аналитических служб может видеть эти модели и получить доступ к данным (с того момента, когда запускается инструмент, и до момента выхода из программы Excel). Используемые инструментами Table Analysis алгоритмы имеются в версии SQL Server Standard Edition.
Клиент интеллектуального анализа данных для Excel имеет большие возможности. Можно работать с теми же сложными алгоритмами, структурами и средствами просмотра для интеллектуального анализа данных, которые доступны в экземпляре SQL Server Analysis Services, но исходные или проверочные данные можно хранить в таблицах Excel. Это позволяет выполнять прогнозы и анализировать сложные наборы данных в Excel. Поскольку данные могут храниться в Excel, можно легко обрабатывать и представлять закономерности, обнаруженные моделью.
Клиент интеллектуального анализа данных для Excel поддерживает активное соединение с сервером, поэтому можно определять закономерности в данных, хранящихся в таблицах Excel, а затем сохранять модель интеллектуального анализа данных на сервере и использовать ее для дальнейшего тестирования или прогнозирования. Можно также применять данные Excel к существующим моделям интеллектуального анализа данных и повторно обрабатывать эту модель в целях повышения точности или применять другие модели к тем же данным для более углубленного анализа.
Кроме того, клиент интеллектуального анализа данных для Excel предоставляет средства управления, позволяющие создавать, переименовывать, удалять или повторно обрабатывать модели и структуры интеллектуального анализа данных, хранящиеся на сервере или во временных файлах сеанса.
Для использования Excel в качестве клиента интеллектуального анализа данных необходимо установить соединение с экземпляром SQL Server Analysis Services. Соединение обеспечивает доступ к механизму анализа. При наличии соответствующих разрешений соединение позволяет также хранить обнаруженные закономерности и изменять существующие модели интеллектуального анализа данных.
После создания соединения для анализа и прогнозов можно использовать модели интеллектуального анализа данных, хранящиеся на сервере. Если не требуется сохранять работу, можно также создавать временные модели.