4.2 Метаданные для обработки больших данных

Многие специалисты по управлению данными привычно и профессионально справляются с лю быми задачами, возникающими в процессе работы с традиционными хранилищами структури рованных данных, где каждый элемент четко идентифицирован и промаркирован. В наши дни, однако, множество данных поступает в менее структурированных форматах. Какие-то источники неструктурированных данных находятся внутри организации, какие-то вне ее. В любом случае необходимость физически собирать сами данные в централизованное хранилище отпала. Новые технологии позволяют программам обращаться к данным дистанционно, не требуя их переноса в операционную среду программ, что способствует радикальному сокращению потоков данных и не менее радикальному повышению скорости их обработки. Тем не менее успешное управление данными в озерах данных зависит от способности эффективно управлять этими метаданными.

Маркировка принимаемого озером данных контента тегами метаданных должна произво диться сразу же, чтобы впоследствии данные были доступны. Многие программные средства приема данных (data ingestion) поддерживают их профилирование. В процессе профилирова ния определяются предметные области, связи и проблемы с качеством. Также возможна мар кировка контента тегами. При приеме теги метаданных могут использоваться, к примеру, для маркировки выявленной чувствительной или конфиденциальной информации (в частности, персональных данных). Специалисты в области науки о данных (data scientists) могут добав лять доверительные интервалы, тестовые идентификаторы, коды кластеров с различным пове дением и т. п. (см. главу 14).

5. РЕКОМЕНДАЦИИ ПО ВНЕДРЕНИЮ

Среду управляемых метаданных следует внедрять поэтапными приращениями, что позволя ет минимизировать риски для организации и упростить восприятие новшеств сотрудниками. Репозитории метаданных лучше реализовывать на базе открытых платформ реляционных баз данных. Такой подход позволяет максимально гибко разрабатывать и внедрять дополнительные механизмы управления и интерфейсы обмена данными по мере выявления необходимости их включения в первоначальный проект репозитория.

Контент репозитория метаданных должен быть предельно обобщенным, а не слепо воспро изводить структуру данных в системах-источниках. Планируйте структуру информационного наполнения репозитория в тесной координации с экспертами в предметных областях и в соот ветствии с комплексной моделью метаданных предприятия. Планирование должно вестись с учетом необходимости обеспечения интеграции метаданных на уровне, позволяющем потребителям данных просматривать и выбирать различные источники данных и получать к ним доступ. Чем полнее будет реализовано это требование, тем ценнее будет репозиторий с функциональной точ ки зрения. Помимо текущей версии, в репозитории должны содержаться планируемая к выпуску и предыдущие версии метаданных.

Зачастую первая реализация носит экспериментальный характер и нужна для проверки и до работки спроектированной среды метаданных и средств управления ими. В дальнейшем неиз бежна интеграция проектов управления метаданными в общую методологию проектирования систем, и лучше озаботиться этим на ранних стадиях. На практике же порядок внедрения управ ления метаданными может весьма серьезно варьироваться в зависимости от архитектуры и ти пов существующих хранилищ данных.

5.1 Оценка готовности / Оценка рисков

Надежная стратегия управления метаданными полезна всем, поскольку помогает принимать эф фективные решения. Прежде всего нужно донести до понимания сотрудников, насколько риско ванно вовсе не управлять метаданными. Просто оцените все риски, проистекающие от отсут ствия качественных метаданных, и их возможные последствия:

ошибочные суждения вследствие неверных, неполных или устаревших исходных предполо жений или незнания истинного контекста данных;

огласка или утечка чувствительных данных, ставящая под удар репутацию, безопасность и благополучие клиентов или сотрудников, подрывающая доверие к бизнесу и подводящая его под штрафные санкции или судебные издержки;

в случае увольнения экспертов в предметных областях — риск лишиться всех знаний, кото рыми они располагают.

Принятие организацией надежной стратегии в отношении метаданных начинает приносить пло ды в плане снижения описанных выше рисков, начиная с первых же шагов по ее осуществле нию. Формальной оценкой степени готовности организации противостоять этим рискам как раз

иявляется уровень зрелости текущей реализации комплекса мер по управлению метаданными. Экспертной оценке подлежит состояние всех важных для бизнеса категорий и элементов данных, имеющихся глоссариев метаданных, процессов составления происхождения и профилей данных, обеспечения и контроля качества данных, управления основными данными и других аспектов распоряжения данными организации. Результаты экспертизы вкупе с бизнес-приоритетами бе рутся за основу стратегического плана совершенствования практики управления метаданными. Формальная оценка служит также и важным компонентом бизнес-обоснования, позволяющим заручиться поддержкой и финансированием со стороны высшего руководства.

Стратегия управления метаданными должна являться неотъемлемой частью общей стратегии распоряжения данными организации, а при изначальном отсутствии таковой может стать впол не подходящим первым шагом на пути перехода к практике согласованного высокоуровневого управления. Экспертиза имеющихся метаданных и текущего состояния управления ими допол няется выводами из бесед с ключевыми заинтересованными лицами и заключениями с резуль татами оценки рисков, — и весь этот пакет документов учитывается при выработке стратегии

идорожной карты развития управления метаданными.