5. Управление данными в отдельных проектах

План управления данными проекта отражает руководящие документы, необходимые для подготовки решений по переработке данных. Критериями управления данными в этом случае являются:

• максимизация сбора данных по проекту с широким использованием согласованных стандартов между участниками проекта;

• документирование данных;

• максимизация использования данных участниками проекта путем организации обмена данными.

План управления данными формируется на этапе подготовки научных предложений по проекту в виде раздела управления данными или самостоятельного документа. План управления данными должен отражать проектные решения по технологиям сбора данных, подходы к организации БД, используемые стандарты и др., которые могут более эффективно использоваться в проекте. Сейчас для большинства проектов управление данными есть часть большой работы, для которой создаются специальные группы по отдельным дисциплинам или научным направлениям исследований. План управления данными на этом уровне должен отражать:

• потоки данных и информации;

• правила документирования данных;

• технологии оцифровки данных (занесения данных на технические носители);

• конвертирование БД для приведения в один формат хранения;

• требования по поиску, выборке, обработке и представлению данных на экране;

• возможности дальнейшего использования данных;

• методы архивации данных;

• организационные вопросы – кто, что, когда, в какие сроки создает и представляет пользователям ту или иную информацию; проведение семинаров, обучающих курсов и др.;

• правила отчетности по проектам и экспедициям, доступность информации (для общего доступа или только для участников проекта).

Управление данными и знаниями на уровне корпорации

Управлению данными в крупных корпорациях стали уделять больше внимания только в последние годы. Главными критериями управления данными здесь является оперативное обеспечение ЛПР тенденциями изменения отслеживаемых показателей.

Но, к сожалению, ЛПР сами не всегда знают, какие показатели им нужно отслеживать, чтобы успешно управлять предприятием, какие значения показателей являются индикаторными. Руководитель предъявляет кажущиеся хаотичными требования к информационному обеспечению именно потому, что он не всегда знает, что ждет организацию завтра.

ЛПР возлагают большие надежды на аналитиков, которые отслеживают тенденции на основе массивов и БД. Но любая экстраполяция неточна. Занимаясь только экстраполяцией тенденции изменения показателей, можно обеспечивать себе вполне устойчивое существование до тех пор, пока не изменится тенденция. Есть аналитики, которые улавливают не только тенденции, но могут дать вероятность изменений.

Отслеживание тенденций изменений показателей бизнеса и прогнозирование ситуации на рынке должно быть основной задачей ИТ-технологий. Для этого нужно вести информационный поиск (бизнес разведку) и анализ данных. Практически каждый ЛПР в той или иной мере имеет дело с управлением знаниями и с извлечением важной информации и знаний из неструктурированной информации, их обработкой и распространением. Это тоже должно быть составной частью плана управления данными на уровне корпорации.

План управления данными должен обеспечить получение знаний, их фиксацию, отчуждение от носителей, распространение и доставку потребителям в масштабах всей организации, а затем обеспечить сопоставление информации, поступившей в компанию через разные источники (прежде всего, через сотрудников различных подразделений, которые взаимодействуют с партнерами, клиентами, коллегами из других организаций). Анализ информации из множества источников, а также анализ различий позволяет выявить очень важные изменения тенденций. Для такого анализа необходимо применить ИТ-инструменты.

Обеспечение обмена сведениями между разными подразделениями это задача управления данными. Наряду с этим в плане должна быть отражена технологическая поддержка информационного взаимодействия, включая разработку и эксплуатацию БД. Вопросы хранения, разработки политики в области корпоративной структуры хранения и подготовки специалистов, способных организовать эффективное управление этой структурой должно являться частью плана управления данными.

План управления данными должен помочь создать корпоративную культуру совместного использования информации и знаний. Управление данными находится пока на ранней стадии развития.

Управление данными с помощью Интернет

Для этого на сайтах организаций, отвечающих за проект, сосредотачивается вся необходимая информация по управлению данными. Сайт становится главным информационным средством для оперативного управления данными. Web-сайт позволяет не только информировать, но и контролировать число информационных ресурсов, время их актуализации, число посещений, выявлять наиболее активных пользователей и наиболее востребованные информационные ресурсы, и т.п. Основными методами управления данными в Интернет являются:

• помещение электронных копий документации для управления данными на сайт;

• создание удаленных средств ведения каталога информационных ресурсов;

• включение ссылок на всех участников проекта;

• разработка средств ведения баз метаданных в Интернет;

• развитие приложений по доступу к данным и метаданным.

Вопросы управления инфраструктурой хранения данных в Интернет, выстраивания корпоративной политики использования ИР практически не рассматриваются в компаниях. При этом используются серверы БД, приложений, Web серверы и разнообразные подходы к виртуализации, консолидации, интеграции данных. А необходим общий взгляд на архитектуру хранения, доступа через различные устройства, анализ достоинств и ограничений решений разных производителей, понимание общих проблем построения неоднородных сетевых инфраструктур хранения.

Основным объектом управления данными становятся распределенные информационные ресурсы. Функциями управления распределенными ресурсами являются:

• управление серверами и системами хранения (определение концепции хранения данных, виртуализация доступа к данным, создание сети распределенного хранения данных, по управлению сетями);

• управление защитой данных (системы резервирования и восстановления Backup);

• обеспечение высокой готовности данных и приложений, вне зависимости от марок оборудования и уровня распределенности информационной среды организации;

• аварийное восстановление (защита данных и программ по обеспечению высокой доступности, планирование и реализация восстановления систем в случае серьезных повреждений);

• управление производительностью приложений (анализ и контроль выполнения приложений на всех уровнях — от прикладных запросов до обращений к физическому хранению данных).

25. Какие критерии оптимизации БД можно выбрать?

Критериями оптимизации работы БД являются:

• восстановление данных - не более 10 минут;

• скорость доступа к данным - не более 5 с.;

простота обслуживания – 1 администратор на 1 Тбайт данных

Основными направлениями повышения эффективности работы БД являются: оптимизация производительности БД, оптимизация кода, оптимизация работы СУБД, оптимизация структур данных, автоматизация мониторинга работы БД.

Оптимизация производительности БД

Производительность СУБД оценивается:

• временем выполнения запросов;

• скоростью поиска информации в неиндексированных полях;

• временем выполнения операций импортирования БД из других форматов;

• скоростью создания индексов и выполнения таких массовых операций, как обновление, вставка, удаление данных;

• максимальным числом параллельных обращений к данным в многопользовательском режиме;

• временем генерации отчетов.

• Оптимизация кода запросов

• Ресурсоемкие операции это запросы, содержащие операторы DISTINCT, UNION, MINUS, INTERSECT, ORDER BY или GROUP BY, которые заставляют СУБД выполнять операцию сортировки. Оператор DISTINCT требует выполнить одну операцию сортировки, другие операторы заставляют ядро выполнить как минимум две операции сортировки. Всегда следует искать другие пути выполнения подобных запросов. Большинство запросов, содержащих UNION, MINUS и INTERSECT, могут быть выполнены иными способами. Не делайте ненужных объединений (joins).

• Первым шагом в оптимизации запроса должно быть исключение полного сканирования таблицы. Для первоначальной оптимизации запросов рекомендуется использовать команду EXPLAIN PLAN. Использование индексов в запросах оправдано, если запрос извлекает меньше 15% строк из таблицы. Во всех остальных случаях полный просмотр таблицы (Full Table Scan FTS) будет работать быстрее.

• Одна из наиболее медленных команд в SQL это команда UPDATE. Это является следствием того, что большинство согласованных изменений в таблицах требуют полного просмотра таблиц. В результате этого эти операции являются ресурсоемкими и очень медленными, когда таблицы слишком большие.

Оптимизация работы СУБД

Для оптимизации работы СУБД существует несколько способов, это:

• блокировка доступа к данным при наличии конфликтующих одновременных обращений;

• использование серверов приложений;

• эффективное использование оперативной памяти и памяти на дисках;

• правильный выбор размера буфера ввода/вывода;

• кэширование данных;

• повышение эффективности работы сети;

• работа с объектными файлами.