Тема 2015_13 Управление качеством данных
.pdf
Informatica Data Quality
Применение в проектах
•Применяется для разовой и постоянной очистки данных
•Используется в режиме реального времени как сервис, по расписанию или по запросу
•Не зависит от языковых и нормативных особенностей
•Настраивается на любой тип данных
•Созданы настройки на все основные типы клиентских данных для стран СНГ: имена, адреса, email, телефоны, даты, паспортные данные и т.д.
•Полная интеграция с платформой интеграции данных Informatica PowerCenter
Informatica Data Quality
Качество данных “на лету” и в пакетных процессах
DQ
Трансформация
•Разовые, периодические и онлайн-процессы по обеспечению качества любых типов данных
•Как отдельный проект или в составе любого интеграционного проекта
•Использование правил DQ в виртуальной интеграции данных
•Очистка федеративных данных «на лету»
•Значительные наработки правил для России и стран СНГ
Informatica Analyst
Визуальное управление правилами и данными
• Импорт и экспорт
справочных таблиц в различных форматах
• Возможность
генерировать
справочные таблицы
напрямую по результатам профилирования
• Аудит изменений
•Интерфейс
Informatica Data Director
•Ручная обработка записей с низким качеством
•Консолидация дубликатов
• Разделение записей |
Аналитик |
•Выделение мастер-записи
Мониторинг качества
Онлайн-мониторинг для совместного использования
Карты оценки используют webбраузер и позволяют:
•просматривать и
совместно использовать карты оценки
•Выполнять drill-down
до актуальных записей
•Принимать меры для
снижения
воздействия
Бизнес-менеджер качества данных на
бизнес
Удобный web-интерфейс не требует специальных навыков от бизнес-
Zero learning curve for business users to review and track data quality metrics,
пользователей и позволяет обеспечить качество данных силами различных
enabling data quality “for the masses”.
специалистов
БИНБАНК
Построение единого клиентского справочника
Ключевые требования:
•Обеспечить механизм построения и обновления единого справочника клиентов
•Использование справочника для новой АБС и других систем
Подход:
•Использование Informatica Data Quality и PowerCenter для создания механизмов очистки и дедупликации данных
Задачи |
Решение |
|
|
|
|
• Различные банковские |
Informatica PowerCenter и Data |
|
системы со своими |
Quality для |
|
справочниками |
• Очистки и стандартизации |
|
|
||
• Внедрение новой банковской |
данных |
|
системы |
• Исключения дубликатов |
|
|
||
• Невозможность |
записей |
|
использования клиентов для |
• Обогащения данных |
|
других систем |
||
• Устранения неверных |
||
|
||
|
данных и неявных |
|
|
дубликатов |
Результаты
•Построен единый справочник клиентов на основе справочников из систем
•Построен механизм очистки и дедупликации данных
•Создана единая структура клиентских данных для новой АБС и других приложений, пользующихся данными о клиентах
Альфа-Банк
Очистка клиентских данных
Ключевые требования:
•Привести к единому виду клиентского справочника после приобретения банка «Северная Казна»
•Привести телефоны и адреса в требуемый вид для Hard и Soft Collection
Подход:
•Использование Informatica Data Quality и PowerCenter для проведения оценки качества данных
Проблемы
•Невозможность слияния двух клиентских справочников банков
•Дубликаты среди клиентов обоих банков
•Сложности в работе систем
Collection
Решение
•Очистка, стандартизация и обогащение адресной информации, ФИО, телефонов
•Проведение консолидации очищенных данных
•Дедупликация данных двух банков с автоматическим выделением мастер-записей
Результаты
•Работы для Collection по телефонам завершены
за 1 неделю, по email – 2 дня
•Единый справочник клиентов реализован за 1 месяц 1 специалистом
•Ведутся новые работы по улучшению клиентских данных
ТрансКредитБанк Построение ЕКС
Цель проекта
Построение Единого Клиентского Справочника для централизованного учета и хранения клиентских данных в целях миграции информации в ВТБ24
Задачи
•Очистка
•Распознавание данных
•Приведение к единому стандарту
•Обогащение информации
•Классификация с точки зрения качества
Решение
•Развертывание IDQ
•Профилирование
информации
•Согласование правил очистки клиентов
•Спроектированы и внедрены процессы сопоставления списка клиентов с существующими клиентами Банка
Результаты
•Достижение высоких результатов очистки данных
•Реализация работы поиска дублей
•Высокие показатели производительности
•Планирование дальнейшего расширение единого справочника клиентов как результат успешного проекта
Примеры интерфейсов Общий вид Informatica Analyst
Примеры интерфейсов Общий вид Informatica Analyst
Примеры интерфейсов Добавление источника данных