3-й семестр / Лекции / 07 - Структура CIF
.pdf
Центр дистанционного обучения
Обеспечение качества данных
Начало
проекта
Основной поток работ – функциональность
Процесс обеспечения качества данных
Окончание
проекта
полнота |
|
точность |
|
Непроти |
|
Актуаль- |
|
|
|
|
воречи- |
|
ность |
|
|
|
|
вость |
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
online.mirea.ru
Центр дистанционного обучения
Уровни отчистки данных
Первичный
источник
Первичный
источник
Грязные
данные
ETL
Область Интегравременция
ного данных хранения хранения
Первичная
очистка
данных
Интегрированный источник данных
Вторичная
очистка
данных
Приложе
ние
Data
Mining
Конечная
очистка
данных
Путь перемещения данных в CIF
online.mirea.ru
Центр дистанционного обучения
Очистка данных в консолидированных источниках
очистка в ETL производится автоматически, без участия пользователя;
не все проблемы в данных могут быть обнаружены и распознаны на этапе ETL;
время на поиск и обнаружение проблем на этапе ETL является ограниченным;
сам процесс интеграции может порождать проблемы в данных.
online.mirea.ru
Центр дистанционного обучения
Очистка данных в бизнесприложениях
ETL |
SRD |
|
|
Извлекает данные из различных |
Извлекает данные из |
внешних систем и источников |
интегрированного источника (чаще |
|
всего – ЦХД) |
|
|
На входе «сырые» данные, которые |
На входе очищенные и хорошо |
требуется преобразовать к единому |
структурированные данные, которые |
формату и модели представления |
требуется преобразовать в формат, |
|
используемый приложением- |
|
потребителем |
|
|
Загружает данные в |
Доставляет данные различным |
интегрированный источник данных |
системам-потребителям, чаще всего |
|
витринам данных |
|
|
online.mirea.ru
Центр дистанционного обучения
Список литературы
•Тюрин Ю.Н. Анализ данных на компьютере / Ю.Н. Тюрин, А.А. Макаров. – М.: МЦНМО, 2016. – 368 c.
•Мхитарян В.С. Анализ данных: учебник для академического бакалавриата / под ред. В.С. Мхитаряна. – М.: Изд. Юрайт, 2017 – 490 с.
•Хрусталёв Е.М. Агрегация данных в OLAP-кубах. http :// www . olap . ru /
online.mirea.ru
Центр дистанционного обучения
Темы дисциплины
1 Анализ данных. Основные понятия и определения
2Бизнес-аналитика. Основные понятия и определения
3Методология CRISP-DM
4Многомерная модель данных
5-6 Интеграция данных и бизнес-аналитика
7-8 Интеграция данных
9 Хранилища данных
10 Процессы информативной корпоративной фабрики
11 Базовые архитектуры корпоративной информационной фабрики
12 Технология OLAP и ее особенности
13Понятие OLAP-куба. Операции над OLAP-кубами
14Аналитические платформы. Инструменты бизнес-аналитики
15-16 Большие данные. Наука о данных |
online.mirea.ru |
|
Центр дистанционного обучения
Спасибо за внимание!
online.mirea.ru