5. Управление данными в отдельных проектах
План управления данными проекта отражает руководящие документы, необходимые для подготовки решений по переработке данных. Критериями управления данными в этом случае являются:
максимизация сбора данных по проекту с широким использованием согласованных стандартов между участниками проекта;
документирование данных;
максимизация использования данных участниками проекта путем организации обмена данными.
План управления данными формируется на этапе подготовки научных предложений по проекту в виде раздела управления данными или самостоятельного документа. План управления данными должен отражать проектные решения по технологиям сбора данных, подходы к организации БД, используемые стандарты и др., которые могут более эффективно использоваться в проекте. Сейчас для большинства проектов управление данными есть часть большой работы, для которой создаются специальные группы по отдельным дисциплинам или научным направлениям исследований. План управления данными на этом уровне должен отражать:
потоки данных и информации;
правила документирования данных;
технологии оцифровки данных (занесения данных на технические носители);
конвертирование БД для приведения в один формат хранения;
требования по поиску, выборке, обработке и представлению данных на экране;
возможности дальнейшего использования данных;
методы архивации данных;
организационные вопросы – кто, что, когда, в какие сроки создает и представляет пользователям ту или иную информацию; проведение семинаров, обучающих курсов и др.;
правила отчетности по проектам и экспедициям, доступность информации (для общего доступа или только для участников проекта).
Управление данными и знаниями на уровне корпорации
Управлению данными в крупных корпорациях стали уделять больше внимания только в последние годы. Главными критериями управления данными здесь является оперативное обеспечение ЛПР тенденциями изменения отслеживаемых показателей.
Но, к сожалению, ЛПР сами не всегда знают, какие показатели им нужно отслеживать, чтобы успешно управлять предприятием, какие значения показателей являются индикаторными. Руководитель предъявляет кажущиеся хаотичными требования к информационному обеспечению именно потому, что он не всегда знает, что ждет организацию завтра.
ЛПР возлагают большие надежды на аналитиков, которые отслеживают тенденции на основе массивов и БД. Но любая экстраполяция неточна. Занимаясь только экстраполяцией тенденции изменения показателей, можно обеспечивать себе вполне устойчивое существование до тех пор, пока не изменится тенденция. Есть аналитики, которые улавливают не только тенденции, но могут дать вероятность изменений.
Отслеживание тенденций изменений показателей бизнеса и прогнозирование ситуации на рынке должно быть основной задачей ИТ-технологий. Для этого нужно вести информационный поиск (бизнес разведку) и анализ данных. Практически каждый ЛПР в той или иной мере имеет дело с управлением знаниями и с извлечением важной информации и знаний из неструктурированной информации, их обработкой и распространением. Это тоже должно быть составной частью плана управления данными на уровне корпорации.
План управления данными должен обеспечить получение знаний, их фиксацию, отчуждение от носителей, распространение и доставку потребителям в масштабах всей организации, а затем обеспечить сопоставление информации, поступившей в компанию через разные источники (прежде всего, через сотрудников различных подразделений, которые взаимодействуют с партнерами, клиентами, коллегами из других организаций). Анализ информации из множества источников, а также анализ различий позволяет выявить очень важные изменения тенденций. Для такого анализа необходимо применить ИТ-инструменты.
Обеспечение обмена сведениями между разными подразделениями это задача управления данными. Наряду с этим в плане должна быть отражена технологическая поддержка информационного взаимодействия, включая разработку и эксплуатацию БД. Вопросы хранения, разработки политики в области корпоративной структуры хранения и подготовки специалистов, способных организовать эффективное управление этой структурой должно являться частью плана управления данными.
План управления данными должен помочь создать корпоративную культуру совместного использования информации и знаний. Управление данными находится пока на ранней стадии развития.
Управление данными с помощью Интернет
Для этого на сайтах организаций, отвечающих за проект, сосредотачивается вся необходимая информация по управлению данными. Сайт становится главным информационным средством для оперативного управления данными. Web-сайт позволяет не только информировать, но и контролировать число информационных ресурсов, время их актуализации, число посещений, выявлять наиболее активных пользователей и наиболее востребованные информационные ресурсы, и т.п. Основными методами управления данными в Интернет являются:
помещение электронных копий документации для управления данными на сайт;
создание удаленных средств ведения каталога информационных ресурсов;
включение ссылок на всех участников проекта;
разработка средств ведения баз метаданных в Интернет;
развитие приложений по доступу к данным и метаданным.
Вопросы управления инфраструктурой хранения данных в Интернет, выстраивания корпоративной политики использования ИР практически не рассматриваются в компаниях. При этом используются серверы БД, приложений, Web серверы и разнообразные подходы к виртуализации, консолидации, интеграции данных. А необходим общий взгляд на архитектуру хранения, доступа через различные устройства, анализ достоинств и ограничений решений разных производителей, понимание общих проблем построения неоднородных сетевых инфраструктур хранения.
Основным объектом управления данными становятся распределенные информационные ресурсы. Функциями управления распределенными ресурсами являются:
управление серверами и системами хранения (определение концепции хранения данных, виртуализация доступа к данным, создание сети распределенного хранения данных, по управлению сетями);
управление защитой данных (системы резервирования и восстановления Backup);
обеспечение высокой готовности данных и приложений, вне зависимости от марок оборудования и уровня распределенности информационной среды организации;
аварийное восстановление (защита данных и программ по обеспечению высокой доступности, планирование и реализация восстановления систем в случае серьезных повреждений);
управление производительностью приложений (анализ и контроль выполнения приложений на всех уровнях — от прикладных запросов до обращений к физическому хранению данных).
Состав и структура Плана управления данными
В связи с тем, что в исследовательских проектах, программах и экспериментах иногда принимает участие много организаций и стран, наблюдается слабая взаимосвязь между исследователями различных наук; мало внимания уделяется междисциплинарным исследованиям; координация исследований между различными ведомствами одной страны недостаточна; текущие программы исследований, как правило, ограничены специфическими объектами исследований и собирают относительно небольшое число измеряемых параметров, а координирующие организации не достаточно внимания уделяют управлению данными, необходима разработка плана управления данными. Основными этапами создания плана управления данными являются:
идентификация пользователей, участвующих организаций в исследовании региона и требований пользователей к информационному обеспечению;
постановка и описание проблем исследования;
создание баз метаданных;
описание имеющихся программных средств анализа и прогноза, развитие новых приложений;
описание методов использования программных средств (СУБД, ГИС, технологий сбора данных);
разработка первой версии Плана управления данными;
определение финансовых источников для разработки Плана управления данными и его реализации.
План управления данными должен включать:
Введение (определяются цели создания и критерии реализации Плана управления данными);
Обзор состояния технологий сбора, обработки, обмена данными;
Описание имеющихся БД;
Основная концепция управления данными;
Классификация, поиск и инвентаризация, сбор и обмен данными;
Методы обработки данных;
Программное обеспечение для обработки данных;
Международное сотрудничество;
Использование сетевых технологий для управления данными;
Основные шаги реализации Плана управления данными.
Целями управления данными являются:
максимизация полноты сбора данных с широким использованием ИТ стандартов;
эффективное использование данных в течение выполняемых проектов (программ) и последующее длительное применение данных сообществом путем использования современных средств Интернет, компактных дисков.
Критериями реализации ПУД может быть 100% полнота сбора данных и доступность данных - в течение 30 мин. после измерения.
Источниками информации для подготовки разделов «Обзор» и «Описание БД» являются:
каталоги центров данных, других организаций;
базы метаданных;
библиографические источники;
описания наблюдательных проектов и др.
Основным методом при выполнении этих разделов является поиск информации, по результатам которого дается:
оценка объемов данных, имеющихся в учреждениях;
проводится инвентаризация выявленных материалов;
составляется анализ публикаций относительно наличия в них материалов в различных учреждениях наблюдений или сведений о них и составление списков отсутствующих данных;
сверяются каталоги данных других учреждений с целью выявления отсутствующих данных;
организуется сбор и занесение данных на носитель;
объединяются БД и исключаются дубли.
Основная концепция управления данными. В этом разделе рассматриваются принципы управления, политика управления данными, объект и функции управления, документирование данных, применяемых информационных систем, использование стандартов, контроль качества данных. Методология управления данными должна быть основана на применении самых эффективных средств, разработанных в рамках международного сотрудничества или отдельных странах. Важным моментом Плана управления данными должны быть наличие нормативных документов (статус информационных технологий, включающий правила взаимодействия с информационными системами, обмена данными и т.п.).
Классификация, поиск и инвентаризация, сбор и обмен данными. Представляются методы создания баз метаданных, поиска и обмена данными, распространения информации и продукции. Одной из главных задач любого проекта является создание баз метаданных.
Методы обработки данных. В этом разделе рассматриваются методы вычисления статистических характеристик, создания расчетных БД и временных серий наблюдений, развитие приложений по обработке данных, ГИС применений.
Программное обеспечение для обработки данных. План управления данными включает программное обеспечение для сбора текущих, исторических, расчетных и модельных данные, получения информационной продукции. При разработке программного обеспечения используются следующие общие решения: стандарты на методы наблюдений, форматы исходных, модельных данных, метаданных, интерфейс, термины и определения, языки описания данных и манипуляции. Рекомендуется использовать современные инструментальные средства для СУБД, ГИС, СППР и др. на всех стадиях обработки данных (сбора, накопления, хранения, вычисления, анализа, интерпретации и распространения данных).
Международное сотрудничество. В этом разделе отражаются международные связи, участие в программах и проектах, роль различных организаций.
Использование сетей для управления данными. Определяются стандарты на технические средства и программное обеспечение для использования Интернет.
Основные шаги реализации Плана управления данными включают:
создание баз метаданных на Web и в твердой копии;
организацию поиска, обмена, контроля, хранения и распространения данных;
создание БД по различным аспектам;
поддержка прикладных задач различных исследовательских проектов;
разработка интегрированной БД.
К Плану управления данными прилагаются списки комитетов, рабочих групп, участвующих организаций, описание наблюдательных национальных и международных проектов для данного региона; примеры описания форматов хранения и обмена данными, применяемых кодов и классификаторов, что способствует лучшему пониманию объединения интересов, общественных потребностей и правовых вопросов всеми участниками проекта.