VI. Метаданные План

Что такое метаданные?

Необходимость создания метаданных.

Документированные данные – источник метаданных.

Организация метаданных.

Заключение.

Что такое метаданные?

Метаданные – это сведения о данных, являющиеся вспомогательными, справочными при обработке данных.

По мере развития БД все чаще возникают вопросы: что означают эти данные, каков формат данных и их структура, откуда приходят эти данные, как рассчитывается то или иной атрибут.

Чем крупнее БД, чем больше источников данных задействовано, чем шире спектр программного обеспечения, которое планируется использовать для доступа к БД и системе обработки данных, тем насущнее необходимость в применении метаданных. Метаданные дают возможность пользователю увидеть всю историю происхождения данных и понять, как это влияет на процесс анализа и откуда поступает интересуемая информация.

Необходимость создания метаданных

Обмен данными (международный, межведомственный и межкорпоративный) всегда сопровождается сведениями о данных. Во всем этом потоке информации необходимо очень быстро ориентироваться. И здесь имеющиеся бумажные каталоги, списки, справки, полученные с технических носителей и другие, уже не помогают. Во-первых, информация очень быстро изменяется, БД пополняются, корректируются. Во-вторых, объем такой информации также относительно большой, и может оцениваться в сотни мегабайт. В-третьих, метаданные – это основа для перехода на безбумажную технологию обработки информации. Кроме того, пользователей уже не удовлетворяет полное копирование или выборка по нескольким ключевым атрибутам, им требуется тонкая фильтрация данных по определенным значениям атрибутов, которых иногда нет в исходных БД и об этом заранее неизвестно, т.е. для поиска данных необходим предварительный анализ справочной информации. Аналогично и с обработкой данных, пользователи хотят включать в обработку только ту информацию, которая удовлетворяет их критериям, например, данные отдельных ведомств или при наличии достаточного объема, полноты и качества данных.

Для успешного поиска высококачественных данных необходимы разнообразные метаданные – сведения о БД, форматах их хранения, организациях, хранящих данные, программных средствах их обработки и др. Уверенность в поставщике и происхождении данных, возможность быстро найти необходимые сведения, оценить их пригодность для намеченного использования – вот что должны обеспечить пользователю метаданные в первую очередь. Поэтому такие сведения собираются и хранятся в соответствующих базах метаданных.

Метаданные представляют собой объединение достаточно разнородной по целевому назначению и структуре информационной совокупности. Метаданные обладают рядом специфических особенностей, характерных для всех видов справочной информации:

• одноразовый ввод информации при первоначальной загрузке метаданных с последующим внесением изменений и многократное ее использование в течение достаточно длительного промежутка времени;

• относительно малая активность обновления справочной информации, как по частоте, так и по объему корректировки;

• отделение во времени, по источникам, исполнителям процесса обновления от процесса использования, как следствие, необходимость обеспечения совместимости информации, подлежащей редактированию;

• наличие четких признаков классификации и группирования информации;

• необходимость централизации общих сведений о данных и децентрализации локальных, детальных сведений о данных.

Состав и точность описания атрибутов объектов метаданных зависит от уровня управления данными, масштаба БД, этапа обработки данных. Справочная информация циркулирует в системе переработки данных каждого учреждения или находящегося в системе сбора, хранения, обмена и обработки данных на международном, национальном, ведомственном и корпоративном уровнях. На каждом из этих уровней нужна своя справочная информация. Так для взаимодействия на международном уровне необходимы сведения о международных соглашениях, БД, предназначенных или переданных в международный обмен, включая сведения о логических единицах сбора и хранения данных, форматах обмена данными, программных средствах их обработки и др. На национальном уровне нужны сведения об организациях, БД, которые они хранят, программных средствах обработки, форматах сбора и обмена на уровне страны, измерительных системах и др. На корпоративном уровне необходима детальная информация по единицам поступления данных в виде сведений об их состоянии (в обработке, на каком носителе и т.п.), о количестве экземпляров объекта по различным атрибутам. Для лиц, принимающих решения, в первую очередь, необходимы сведения об информационной продукции, получаемой на ее основе, и регламенте ее выпуска, а также возможных типах запросов и решаемых задачах, т.е. на разных уровнях управления имеются как справочные сведения одного класса (сведения о БД, источниках данных, форматах), которые можно объединить в одну таблицу (например, сведения о БД, источниках данных), так и специфические для каждого уровня управления данными (например, сведения о соглашениях, конвенциях, законах на международном уровне, сведения об единицах сбора данных на корпоративном уровне).

Для создания баз метаданных необходимо решить следующие задачи:

• установить необходимую совокупность объектов метаданных и их атрибутов;

• выделить среди множества атрибутов, составляющих объекты, те, которые отражаются в составе метаданных обязательно.

Состав метаданных и место их образования показано в табл.16.