Извлечение данных
Операция извлечения данных
Извлечение – перемещение информации от источника данных в базу хранилища данных
Единый
формат
Источник данных 1
База хранилища |
Хранилище |
данных |
данных |
Источник данных 2 
Единый
формат
Специальные компоненты хранилища данных должны обеспечить своевременное извлечение данных и преобразование к единому формату на основе информации из словаря метаданных.
Словарь метаданных
Словарь метаданных включает в себя:
- объекты предметной области - места хранения данных
- действия над данными
- словари извлечения данных
-согласованность данных во времени
-форматы данных для согласования
Преобразование данных
Процесс преобразования данных должен обеспечивать
подготовку информации к хранению в том виде, который оптимизирован для быстрого исполнения запросов, необходимых для принятия решений
Преобразование данных заключается
в анализе необработанных данных и решений, как они будут представлены конечному пользователю
Для разработки эффективного процесса преобразования необходимо
хорошо проработанная |
|
модель технологии |
модель данных |
|
принятия решений |
Извлечение знаний
Помимо извлечения данных для принятия решений весьма актуален процесс извлечения знания (Data Mining) в соответствии с информационными потребностями пользователя
В процессе извлечения знаний должны решаться следующие задачи
|
|
|
|
преобразование данных |
|
|
преобразование |
в информацию |
|
|
знаний в решения |
|
|
|
|
преобразование информации в знания
Анализ знаний
Существует несколько интеллектуальных методов анализа знаний
|
|
|
|
|
|
|
последовательность |
|
|
|
ассоциация |
|
|||||||
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
применяется в том случае, если |
||||
имеет место в том случае, если |
|||||||||
несколько событий связаны |
существует цепочка, связанных |
||||||||
|
|
|
|
|
|
во времени событий |
|||
классификация
выявляются признаки характеризующие сформированную группу, которой принадлежит тот или иной объект
|
|
прогнозирование |
|
|
|
|
|
|
|
||
|
|
|
|
|
кластеризация |
|
|
||||
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
выявление закономерностей |
|||||||||||
|
выявляются признаки |
|
|
||||||||
|
|
||||||||||
на основе особенностей |
характеризующие |
||||||||||
поведения данных |
несформированную группу |
||||||||||
Представление знаний
Представление знаний включает в себя следующие механизмы
Нейронные сети Деревья решений Визуализация данных Индуктивное обучение Нечеткие множества
Виды хранилищ данных
Централизованные хранилища данных
Распределённые хранилища данных
Хранилища данных с простой архитектурой клиент-сервер
Хранилища данных со сложной архитектурой клиент-сервер