Управление данными: цели, задачи и основные направления
Управление данными (англ. data management) - процесс, связанный с накоплением, организацией, запоминанием, обновлением, хранением данных и поиском информации.
Методы и программные средства управления данными об изделии играют ведущую роль в интегрированной информационной среде предприятия, обеспечивая сбор и хранение структурированных данных о конструкции изделия, технологии его изготовления и эксплуатации, а также о ресурсах, требуемых для осуществления процессов, и предоставление этой информации другим автоматизированным системам. С этой точки зрения управление корпоративными данными можно рассматривать как совокупность задач управления, связанных с:
Организацией доступа к данным;
Согласованием и утверждением данных с использованием электронно-цифровой подписи (ЭЦП);
Управлением конструкторскими, технологическими и эксплуатационными данными об изделии;
Управлением конфигурациями и изменениями;
Управлением данными логистического анализа;
Управлением данными о качестве;
Управлением проектами, контрактами и потоками работ;
Информационным взаимодействием с CAD/CAM/ERP системами;
Обеспечением обмена данными между всеми участниками.
Огромный интерес в последнее время наблюдается в области управления основными данными. Для управления основными данными существует отдельная методология и отдельный класс приложений - Master Data Management (MDM), применяемая, прежде всего к системам нормативно-справочной информации. Популярна также технология концентраторов данных (Data Hubs), в которой акцент делается на консолидации данных с учетом семантики предметной области. Развитие систем документооборота и электронных архивов приводит к осознанию понятия «корпоративные данные».
Управление основными данными определяется как ряд дисциплин, приложений и технологий для согласования и управления системами ввода и системами записи данных и метаданных, относящихся к основным бизнес - единицам в организации.
В общем случае управление основными данными включает в себя решение ряда задач, в число которых входят:
Консолидация корпоративных данных – импорт, очистка, сопоставление и объединение данных из исходных приложений на базе сложной системы правил без необходимости создания какой-либо индивидуальной программы;
Управление корпоративными данными – раздельное управление задачами администрирования данных и управления содержанием данных;
Распределение корпоративных данных для загрузки в любые приложения, обрабатывающие справочные данные. При необходимости автоматическая рассылка сообщений о любых изменениях в основных справочных данных среди всех соответствующих приложений;
Расширение сферы применения корпоративных данных.
В соответствии с классификацией мирового лидера по вопросам управления информационными ресурсами некоммерческой организации Data Management Association International (DAMA) управление корпоративными данными включает в себя ряд направлений (рис. 1).
Рис. 1 Направления в области управления данными
Рассмотрим состав задач для каждого направления в области управления корпоративными данными.
Руководство данными (Data Governance) включает в себя:
Определение и распределение обязанностей (Roles & Organizations);
Определение стандартов (Policies, Standards & Compliance);
Методики работы с данными (Data Strategy);
Построение архитектуры данных (Architecture);
Оценка активов данных (Data Assets Valuation);
Обмен информацией (Communications & Issue Management).
Архитектура, анализ и дизайн данных (Data Architecture, Analysis & Design) включает в себя:
Построение концептуальной модели данных (Enterprise Data Modeling and Related Data Architecture);
Построение логической модели (Logical Modeling and Value Chain Analysis);
Физическое моделирование (Physical Modeling);
Стандарты моделирования (Modeling Standards);
Управление моделью (Model Management).
Управление базами данных (Database Management) включает в себя:
Концептуальный, логический и физический дизайн баз(ы) данных (DB Design);
Внедрение БД (DB Implementation);
Резервное копирование и восстановление (Backup & Recovery);
Производительность и настройка (Performance & Recovery);
Архивация и удаление (Archival & Purging);
Управление технологией (Technology Management).
Обеспечение безопасности данных (Data Security Management) включает в себя;
Определение стандартов безопасности (Data Privacy Standards);
Разграничение уровней доступа (Confidentiality Classification);
Установку степеней сложности паролей (Password Practices);
Формирование групп пользователей и администраторов (User, Group & Admin);
Аутентификацию / идентификацию пользователей (User Authentication);
Аудит безопасности (Data Security Audit).
Контроль качества данных (Data Quality Management) включает в себя:
Составление спецификаций качества данных (Quality Requirements Specification)
Профилирование и анализ качества (Quality Profiling & Analysis)
Способы повышения качества данных (Data Quality Improvement)
Аудит качества (Quality Certification & Audit)
Управление мастер- и референц- данными (Reference and Master Data Management);
Хранение и анализ данных (Data Warehousing & Business Intelligence) включает в себя:
Архитектуры хранения (Data Warehousing Architecture);
Платформы хранения (Data Warehousing Implementation);
Инструменты бизнес-анализа (Business Intelligence Implementation);
Обучение и поддержку (BI Training & Support);
Отслеживание и настройку (Monitoring & Tuning).
Управление данными вне БД (Document, Record & Content Management) включает в себя:
Обработка электронной документации (Electronic Document Management);
Обработка бумажной докумантации (Physical Record & File Management);
Системы управления контентом (Information Content Management).
Управление метаданными (Metadata management) включает в себя:
Отбор информации (Users & Needs);
Архитектура и стандарты (Architecture & Standards);
Сбор и интеграция с основными данными (Capture & Integration);
Хранение (Repository Administration);
Включение в результаты аналитики (Query & Reporting);
В настоящее время наиболее популярными направлениям в области управления корпоративными данными являются процессы, связанные с обработкой первичных данных, ценовыми данными, корпоративными событиями, согласованием нескольких источников информации.
К числу основных побудительных причин автоматизации обработки данных относится желание сократить уровень ошибок, затрат при обработке большего объема корпоративных данных. Немаловажным является необходимость проактивного управление рисками или ограничения, накладываемые различными регулирующими требованиями и стандартами (например, MiFID, Basel II, Sarbanes-Oxley, UCITS III, ISO 15022, MDDL, др.) Отмечается тенденция к централизации процесса обработки информации.
В глобальном аспекте в соответствии с Клермонтским отчетом об исследованиях в области корпоративных баз данных (The Claremont Report on Database Research, http://www.citforum.ru/database/articles/claremont_report) к числу наиболее перспективных направлений относятся:
новые архитектуры серверов баз данных, декларативные языки программирования;
взаимосвязь структурированных и неструктурированных данных;
«облачные» сервисы данных;
мобильные и виртуальные миры;
управление неопределенной информацией;
конфиденциальность и безопасность данных;
антропоцентрические взаимодействия с данными;
персонализация и констекстуализация задач, относящихся к выполнению запросов и поиска;
потоковые и сетевые данные;
самонастраиваемые и адаптивные системы и др.
88. Модели данных (иерархическая, сетевая, реляционная, объектно-реляционная)
Существует большое разнообразие сложных типов данных, но исследования, проведенные на большом практическом материале, показали, что среди них можно выделить несколько наиболее общих. Обобщенные структуры называют также моделями данных, т.к. они отражают представление пользователя о данных реального мира.
Любая модель данных должна содержать три компонента:
структуру данных, которая описывает точку зрения пользователя на представление данных;
набор допустимых операций, выполняемых на структуре данных. Модель данных предполагает, как минимум, наличие языка определения данных (ЯОД), описывающего структуру их хранения, и языка манипулирования данными (ЯМД), включающего операции извлечения и модификации данных.
ограничения целостности - механизм поддержания соответствия данных предметной области на основе формально описанных правил.
В процессе исторического развития в СУБД использовалось следующие модели данных:
иерархическая;
сетевая;
реляционная.
В последнее время все большее значение приобретает объектно-ориентированный подход к представлению данных.