Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Мониторинг от приложений к общей теории. Монография
.pdf
из крупнейших регионов страны. При создании информационноаналитической системы решаются следующие задачи.
1. Хранение информации, поступающей из различных источников,
от всех участников системы мониторинга. Информация должна
в полном объеме характеризовать состояние окружающей среды
для выбранного объекта мониторинга. В качестве критериев
полноты можно использовать следующие: наличие данных об
экологическом состоянии всех сред (воздух, водные ресурсы,
почвы, геологическая среда) по годам и отдельным сезонам;
наличие достаточного объема выборок в выделенных пунктах
(трансграничные участки, зоны вблизи крупных источников
загрязнения, крупные населенные пункты и пр.); обязательно
наличие сведений об источнике поступления информации.
2. Проведение различной статистической обработки данных.
3. Определение оптимальной частоты проведения наблюдений с
учетом или без учета превышений ПДК.
4. Получение интегральных оценок состояния окружающей среды с использованием различных методик обработки данных и
оценок экспертов. Сравнение результатов применения разных
методик обработки статистических данных, выявление многолетних тенденций.
5. Прогноз с использованием интерполяции и экстраполяции по
времени и пространственным координатам.
6. Прогноз на основе нестационарных уравнений, описывающих
динамику загрязнения, в особенности по приоритетным загрязняющим веществам (тяжелые металлы, нефтепродукты, стойкие
углеводороды) и проблемным участкам.
7. Демонстрация возможных сценариев развития экологической ситуации в Ростовской области в целом и на отдельных участках.
8. Управление уровнем загрязнения окружающей среды путем
определения степеней очистки сточных вод и выбросов в атмосферу.
Для решения представленных задач необходимо, чтобы ИАС
представляла набор функций. Основными функциями разрабатываемой ИАС являются:
1. Накопление информации, поступающей от всех участников
мониторинга, ее поверка и консолидация. Данная функция пред-
51
полагает возможность импорта информации из существующих баз
данных различных ведомств, при этом необходимы механизмы согласования наименования показателей, размерностей. Для обеспечения полноты представленной информации должна быть обеспечена
возможность хранения как первичных данных, так и результатов
обработки. При отсутствии возможности экспорта информации из
существующих систем, должны использоваться удобные средства
для ручного ввода данных.
2. Обработка информации, решение задач мониторинга, анализа, оценки, прогнозирования и управления. Эта функция ИАС
решает широкий круг задач анализа, оценки, моделирования и
прогнозирования.
3. Получение оценки качества окружающей среды на основе
различных методик с привлечением экспертных оценок. Данная
функция позволит при получении по различным методикам несогласованных оценок качества окружающей среды учесть мнение
экспертов, чтобы получить окончательную оценку.
4. Подготовка и формирование различных отчетов – как стандартных, так и формируемых по заказу пользователя.
5. Визуализация полученных результатов. Графическое представление получаемых результатов путем построения различных
графиков, диаграмм и схем Ростовской области с нанесением на
них информации об уровнях загрязненности территорий.
6. Прогнозирование для определения тенденций состояния
окружающей среды для фоновых и проблемных участков. Сравнительный анализ многолетних тенденций состояния окружающей
среды служит основой для формирования региональных экологических нормативов.
7. Решение специальных вопросов экологического контроля
(например, оценка воздействия шахтных вод на водосборы малых
рек, анализ и прогнозирование чрезвычайных ситуаций и т. п.).
ИАС должна содержать следующие блоки: информационный,
аналитический, сервисный. Информационный блок включает хранилище данных и средства импорта информации из баз данных
существующих оперативных систем.
Аналитический блок состоит из подсистемы моделирования,
средств описания и хранения моделей и подсистемы, обеспечи-
52
вающей возможность учета оценок независимых экспертов при
проведении мониторинга.
Сервисный блок обеспечивает возможности построения различных видов отчетных форм, включая и нестандартные. В задачи
сервисного блока входит обеспечение взаимодействия всех подсистем ИАС (внутренний интерфейс), а также поддержка пользовательского (внешнего) интерфейса.
Информационный блок для системы мониторинга должен, в
общем случае, представлять собой интегрированный массив данных,
хранящий полную информацию о результатах наблюдений в рамках
всех сетей наблюдения за экологическими параметрами.
Центральной частью ИАС является база (базы) данных и хранилище данных, которые могут быть представлены и как единое
целое, и как две самостоятельные компоненты. Разделение на базу
данных и хранилище данных может потребоваться в том случае,
когда ИАС будет использоваться не только для решения аналитических задач – в режиме OLAP (Online Analytical Processing),
но и для оперативного мониторинга, т. е. в режиме OLTP (Online
Transactional Processing). Возможно, что удастся разработать такую
структуру представления информации, которая будет удовлетворять
и задачам оперативного мониторинга и задачам анализа, прогнозирования и управления. В этом случае информационная составляющая системы будет представлена как единое целое – в виде
хранилища данных с возможностью решения оперативных задач.
Общая схема ИАС экологического мониторинга представлена
на рис. 1.3.1.
Подсистема информационного обеспечения ИАС должна
представлять возможность хранения вновь поступающей информации, собираемой постами наблюдения, включенными в систему
мониторинга Ростовской области. Наилучшим вариантом является
автоматизированный сбор с проверкой данных на достоверность
(фильтрацией). В этом случае исключается фактор ошибочного
ввода, повышается оперативность поступления информации в
систему, что позволит осуществлять оперативный мониторинг.
Предварительная фильтрация данных исключит возможность поступления недостоверной информации, возникающей из-за ошибок
приборов, помех при передаче и пр. Это позволит повысить качество
получаемых аналитических решений. Данное решение может по-
53
Подсистема моделирования
Методы
Режимы
Оптимизация
Прогноз Приближенный
Численные
методы
Приближенный
оптимального
решения
траекторий
Описательные модели
поиск
расчет
Имитация
Проверка
субоптимальных
решений
на соответствие
дополнительным
ограничениям
Оценка
последствий
управляющих
воздействий
Экспертная
подсистема
Ââîä
экспертных
оценок
Получение
обобщенной
оценки
состояния
окружающей
среды путем
сверки оценок
нескольких
независимых
экспертов
Пользователи ИАС
Хранилище данных по проблеме ИАС
Импорт данных из БД (очистка, агрегирование, интеграция, защита)
Обработка запросов и подготовка отчетов
Работа с очень большими массивами данных
Алгоритмы поддержки
Многоуровневые справочники метаданных
Подсистема импорта
Операционные БД
ÁÄ 1 ÁÄ 2 ÁÄ N
¾
Генератор отчетов
Средства поддержки
внутреннего
и пользовательского
интерфейса
Ðèñ. 1.3.1. Структура ИАС экологического мониторинга
требовать значительных затрат в реализации, так как предполагает
использование автоматических приборов для сбора, оцифровки данных, программ для проверки достоверности, а также возможность
54
непосредственной или порционной (по мере накопления) передачи
информации в базу данных для задач оперативного мониторинга
и в централизованное хранилище данных для использования в
аналитическом блоке. Кроме того, переход к единому формату
хранения информации потребует изменения уже существующих
систем оперативного мониторинга, переобучения персонала.
В связи с этим предлагается использовать информацию, собираемую уже существующими системами мониторинга Ростовской
области по отдельным средам. В случае использования существующих систем сбора и накопления информации (текстовые таблицы,
электронные таблицы, DBF-файлы, таблицы в формате других
СУБД) необходимо обеспечить возможность автоматического импорта данных из существующих систем сбора в единое централизованное хранилище данных. При таком подходе отпадает задача
оперативного мониторинга – она может быть решена в существующих системах сбора и первичной обработки информации. Данные в
процессе импорта могут подвергаться первичному анализу, включая
и проверку на достоверность. Такое решение представляется наиболее удачным, так как позволяет сохранить сложившиеся системы
сбора и анализа информации, экспорт данных в ИАС может осуществляться в автоматическом или полуавтоматическом режиме.
В случае необходимости, при изменении форматов информации
в системах сбора, настройка ИАС будет минимальной и затронет
только программы экспорта.
Важной особенностью информационного блока ИАС является
возможность хранения, наряду с оперативной информацией, ретроспективных данных, всевозможных справочников, содержащих
нормативные показатели, экспертные оценки, параметры и коэффициенты моделей. Важную часть хранилища составляют различные метаданные, описывающие происхождение информации, ее
назначение, достоверность (если она поддается оценке).
Для повышения эффективности использования информации
многие алгоритмы обработки должны храниться вместе с данными
в базе данных или хранилище данных.
Принципиальной особенностью является также возможность
хранения алгоритмов моделей и организация возможности их
выбора, замены, компоновки. Традиционно используемые библиотеки моделей предоставляют такие возможности только на уровне
55
разработчика системы. Пользователь же имеет со своей стороны
жесткий каркас уже собранных моделей с примитивным механизмом «включить/выключить» или «выполнить в порядке¾». В настоящее время уже имеется ряд средств, которые позволяют решить
эту проблему путем сохранения алгоритмов моделей в базе данных
(или хранилище данных). В этом случае алгоритмы выборки или
компоновки моделей могут быть сведены к выполнению запросов
к базе данных. Для поддержания такого механизма требуется
разработка необходимых структур хранения и описания моделей,
алгоритмов выборки и компоновки.
В процессе решения различных задач средствами ИАС могут
получаться результаты, которые также должны быть сохранены и
использованы в дальнейшем. Таким образом, сама ИАС в процессе
эксплуатации будет служить источником информации. Получаемая
модельная информация, в свою очередь, может быть использована
для постановки и решения новых задач.
Таким образом, можно сформулировать следующие основные
задачи, решаемые информационным блоком.
1. Импорт базовой информации, поступающей от участников
комплексного экологического мониторинга Ростовской области.
2. Проверка импортируемой базовой информации на достовер-
ность и непротиворечивость.
3. Консолидация базовой информации, поступающей от различных участников мониторинга, с сохранением описания источников
и условий поступления данных.
4. Обеспечение возможности ручного ввода базовой информации при невозможности импорта.
4. Ведение нормативно-справочной информации.
5. Информационное обеспечение задач, решаемых аналитическим блоком ИАС, включая возможность хранения алгоритмов
обработки совместно с данными.
6. Хранение достаточных объемов ретроспективных данных.
Хранение, наряду с первичными данными, результатов обработки
информации.
Совокупность баз данных, а также программные, языковые
и другие средства, предназначенные для централизованного накопления данных и их использования в ИАС, называется банком
данных. Следует отметить, что термин «банк данных» охватывает
56
очень широкий спектр систем и технологии реализации банков
данных могут быть различными.
С учетом специфики предметной области экологического
мониторинга банк данных должен удовлетворять следующим требованиям.
1. Хранить полный объем информации по проведенным изме-
рениям для всех сред за максимально возможный срок.
2. Хранить нормативную, справочную и иную документацию,
регламентирующую параметры наблюдений (методики, временные
и пространственные характеристики, номенклатуру наблюдаемых
веществ и прочее).
3. Обеспечивать доступ ко всему объему хранимых данных
для решения задач мониторинга (функции аналитического блока
ИАС).
4. Обеспечивать возможность хранения результатов работы
аналитического блока ИАС с предоставлением быстрого доступа и
формированием различных отчетов по этим данным.
5. Предоставлять стандартный набор сервисных возможностей – возможность корректировки, экспорт и импорт данных,
стандартные средства защиты данных и прочее.
Следует отметить, что эти требования являются концептуальными, они весьма типичны для различных типов банков данных
и ИАС, работающих с этими банками данных. Как правило, банки данных могут быть реализованы как комплекс баз данных,
объединенных в единое целое некоторыми средствами сопряжения – конвертерами, фильтрами и т. п. Зачастую исходные базы
данных, на основе которых строится банк данных, практически не
подвергаются изменению, дополняясь только средствами доступа
к хранящейся в них информации.
Однако специфика комплексного экологического мониторинга накладывает дополнительные требования на организацию
информационной подсистемы, что делает указанную стратегию
интеграции исходных баз данных малоэффективной, либо вообще
неприемлемой.
Основные требования ИАС к банку данных следующие:
1. Возможность эффективного оперирования большими объемами исходных данных. Оперативные базы данных не проектировались с учетом нужд аналитической обработки данных, не распола-
57
гают средствами передачи больших объемов информации в другие
системы. Это означает, что даже при существенных затратах на
модернизацию аппаратной части и модификацию архитектуры этих
баз данных сложно будет удовлетворить все требования аналитической подсистемы. Более того, некоторая информация, необходимая
для решения задач ИАС, в электронном виде не хранится – это
справочно-нормативные материалы, методики измерений и даже
часть результатов наблюдений.
2. Хранение, наряду с исходными данными, и некоторого
обобщенного представления этих данных. Исходные данные в
существующем виде не могут быть использованы аналитической
подсистемой. Прежде всего, архитектуры баз данных и форматы
хранения данных в различных системах наблюдений разрабатывались для решения только задач, стоящих перед конкретной
службой наблюдения и с учетом методов анализа и обработки,
применяющихся в рамках этой службы. Использование этих данных в исходном виде в рамках ИАС затруднено или невозможно.
Например, у двух служб наблюдения за выбросами в атмосферу
могут быть различные методики измерений, обеспечивающие
различную точность, и совместное использование результатов
этих измерений в рамках некоторой модели будет некорректно.
Поэтому перед решением задач аналитической и статистической
обработки данных необходима предварительная обработка результатов наблюдений (которая является слишком трудоемкой для
оперативного выполнения аналитической системой, независимо
от степени технического оснащения). Более того, при интеграции
исходных баз данных в рамках одного банка данных появляется
возможность дополнительной верификации информации. Данные
о наблюдениях, хранимые в некоторой базе данных, потенциально
могут быть проанализированы на непротиворечивость и достоверность с учетом родственных массивов информации, хранящихся в
других базах. Например, при интеграции двух систем мониторинга
загрязнения речных вод появляется возможность перекрестного
статистического анализа достоверности данных о наблюдениях и
получения некоторого обобщенного интегрированного информационного массива. Именно такие предварительно обработанные
данные и следует использовать как основу для работы аналитической подсистемы.
58
3. Необходимо осуществить модификацию существующей
информации. Любые результаты измерений и любую другую информацию необходимо расширить дополнительными сведениями.
Например, если существует запись о результатах измерения загрязнения воздуха в некотором пункте наблюдения, с указанием
времени и индекса наблюдаемого вещества, то она может быть эффективно использована для решения задач анализа в рамках этой
системы. Однако для интегрирования и использования в рамках
информационной подсистемы эти данные должны быть дополнены следующей информацией (как правило, источники для такого
дополнения доступны):
– данные о методах проведения измерений. К примеру, если
измерения проводятся по некоторым стандартным методикам,
то указание этих методик в базах данных, как правило, не
производится;
– обобщенные (в унифицированном формате) данные о парамет-
рах измерений. В некоторых случаях такие данные хранятся
отдельно от результатов измерений, являясь при этом довольно
существенными для представления о характере и способе проведения измерения. Должна существовать возможность воссоздать
с достаточной точностью картину проведения измерения;
– информация о принадлежности к системе мониторинга и сети
наблюдения. Такая информация необходима даже в обобщенном
представлении данных, так как позволит выполнять сравнительный анализ эффективности различных систем мониторинга,
формулировать рекомендации по развитию отдельных сетей
наблюдений и прочее.
4. Высокая степень интеграции всех хранимых данных, гораздо более тесная, нежели в большинстве типичных реализаций
банков данных. Обусловливается это необходимостью предусмотреть
возможность модификации набора моделей и методов анализа,
реализованных в рамках аналитической подсистемы. Добавление
новой модели может потребовать использования данных из различных баз данных, входящих в банк данных, с очень высокими
требованиями к эффективности обмена информацией. Аналогичные
соображения справедливы и для системы формирования отчетов,
аналитических обзоров и т. п.
59
Исходя из приведенных требований, можно сформулировать
предварительные соображения об архитектуре и технологии реализации банка данных в рамках ИАС.
1. Строить информационную подсистему на основе существующих баз данных нецелесообразно, так как она не будет удовлетворять
основополагающим требованиям аналитической подсистемы.
2. Модификация и доработка существующих баз данных
(как архитектуры и инструментов баз данных, так и технических
средств) не представляется возможной по следующим причинам:
– необоснованно большие материальные затраты, не соответству-
ющие выгодам от такой модификации;
– необходимость высокой степени контроля ИАС над содержимым
баз данных различных систем и служб мониторинга, возможности модификации результатов первичных наблюдений;
– необходимость привлечения одной команды разработчиков к
работе над информационными системами различных служб;
– достаточная степень интеграции возможна только при исполь-
зовании единого набора программных средств либо с большими
материальными затратами для разработки средств сопряжения
между существующими системами.
3. Наиболее целесообразным представляется построение информационной подсистемы как достаточно независимой от существующих баз данных. В этом случае возникает необходимость только
в средствах импорта информации из оперативных баз данных в
информационную подсистему, все остальные задачи решаются в
рамках этой подсистемы, модификация существующих баз данных
не требуется.
4. Специфические требования к ИАС, обусловленные особенностями задач экологического мониторинга, ставят под сомнение
эффективность применения классических подходов к разработке
банков данных с использованием реляционных СУБД.
Учитывая все вышесказанное, в качестве технологии для реализации банка данных в рамках ИАС предлагается технология
хранилищ данных, как наиболее полно удовлетворяющая требованиям к информационной подсистеме.
Данные в хранилище попадают из оперативных систем (так
называемых OLTP-систем), которые хранят информацию о наблюдениях в рамках различных систем мониторинга. Кроме того, хра-
60
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]