4.6.3. Методы аналитической обработки данных в хранилище

В аналитических системах для обработки данных используется очень широкая номенклатура методов. Это и традиционные статистические методы регрессионного, факторного, дисперсионного анализа, анализа временных рядов, а также методы, основанные на искусственном интеллекте. К последним, как правило, относят: нейронные сети, нечеткую логику, генетические алгоритмы, методы извлечения знаний. В совокупности они именуются методами интеллектуального анализа данных.

Часто используется англоязычный термин «data mining» (дословно — добыча знаний). Эти методы развивают традиционные статистическиеподходы, находя применение там, где обычные приемы невозможно использовать в силу отсутствия точных зависимостей, описывающих анализируемые процессы. Технологии интеллектуального анализа данных способны существенно расширить круг практически значимых задач, решаемых с использованием вычислительной техники.

В большинстве случаев средства анализа данных в СППР на основе ХД используются для решения следующих задач:

1) выделение в данных групп сходных по некоторым признакам записей (кластерный анализ);

2) нахождение и аппроксимация зависимостей, связывающих ана- лизируемые параметры или события, а также поиск параметров, наиболее значимых в терминах конкретной задачи;

3) поиск данных, существенно отклоняющихся от выявленных за кономерностей (анализ аномалий);

4) прогнозирование развития объектов различной природы на основе хранящейся ретроспективной информации об их состоянии в прошлом.

4.6.4. Хранилища данных в еаис

Понятие о хранилищах данных появилось в ЕАИС при построении ее первой очереди, развивалось при построении второй очереди и является магистральным направлением построения ее третьей очереди. Своей популярностью они, в первую очередь, обязаны строгой ориентации на конечного потребителя информационной продукции, а также тому факту, что практически не требуют от рядового пользователя таможенных органов освоения принципиально новых приемов работы с данными. На рис. 46, 47 представлена структура операционной информации, помещаемой в хранилище данных.

Временные характеристики показателей (динамический ряд), составляющих информационных хранилищ данных, сохраняются как основа таможенной статистики при трансформации на новую платформу третьей очереди ЕАИС. Необходимое дополнение к ним — СППР, позволяющие отбирать нужную информацию и получать быстрые ответы на сложные деловые вопросы. На рис. 47 представлена построенная на этих принципах схема И PC «Доход».

Использование информационных хранилищ данных позволяет повысить качество обслуживания, а также число услуг, предоставляемых ЕАИС как таможенным органам, так и внешним неторговым организациям.

4.7. Case-тбхнологии при проектировании таможенных

ИНФОРМАЦИОННЫХ СИСТЕМ

CASE-технология явилась ответом на ряд серьезных трудностей, возникших при разработке и эксплуатации компьютерных систем.

Учитывая неудачу многих проектов, заказчики стремились получить хорошо проработанное обоснование проекта с тестированным программным обеспечением. Однако они не всегда предоставляли разработчикам необходимую информацию, справедливо относя ее к разряду коммерческой тайны, да и сама организация информационных потоков постоянно менялась по мере расширения деятельности предприятия. В результате осуществление проектов затягивалось, и созданные программно-аппаратные комплексы начинали работать в условиях, когда требования предприятия к ним изменялись.

Применялся и иной подход. Компьютерный комплекс разрабатывался и вводился в эксплуатацию в короткие сроки специализированной фирмой при полном взаимодействии с заказчиком. Это обеспечивало создание работоспособного комплекса, но из-за отсутствия необходимой документации, задержки с обучением персонала и многочисленных «недоделок», особенно в программном обеспечении, эксплуатация комплекса попадала полностью в зависимость от разработчиков и происходила в условиях постоянных сбоев и потребности в дополнительных затратах на переделки и усовершенствования.

Для выхода из сложившейся ситуации была разработана CASE- технология, поддерживающая проектирование, выбор технологии, архитектуры и написание программного обеспечения. CASE (Computed Aided Software Engineering) — система конструирования программ с помощью компьютера.

Разработчик с ее помощью описывает предметную область, входящие в нее объекты, их свойства, связи между объектами и их свойствами. В результате формируется модель, описывающая основных участников системы, их полномочия, потоки финансовых и иных документов между ними.

В ходе описания создается электронная версия проекта, которая распечатывается и оперативно передается для согласования всем участникам проекта как рабочая документация.

В процессе создания проекта выделяют следующие этапы:

• формирование требований, разработка и выбор варианта концепции системы;

• разработка и утверждение технического задания на систему;

• эскизный и технический проекты с описанием всех компонентов и архитектуры системы;

• рабочее проектирование, предполагающее разработку и отладку программы; описание структуры базы данных; создание документации на поставку и установку технических средств;

• ввод в действие, предусматривающий установку и включение аппаратных средств, инсталлирование программного обеспечения, загрузку баз данных, тестирование системы, обучение персонала;

• эксплуатация системы, включающая сопровождение программных средств и всего проекта, поддержку и замену аппаратных средств.

CASE-технология сформировалась в процессе интеграции опыта и новых возможностей, появившихся у разработчиков компьютерных систем. Начало этому процессу положили компиляторы и интерпретаторы с алгоритмических языков, затем к ним добавились средства тестирования программ, их отладки и средства генерации отчетов.

Для обмена информацией в проектных организациях и обеспечения оперативного доступа к создаваемой документации были разработаны средства информационной поддержки и управления проектом.

С появлением инструментария описания концепции проектов в моделируемом учреждении была создана система проектирования, которая поддерживает все технологические этапы проекта, обеспечивает его документирование и согласованную работу групп разработчиков как со стороны заказчика, так и со стороны исполнителя.

В настоящее время существует множество CASE-систем, различающихся по степени компьютерной поддержки этапов разработки проектов. Часть из них обеспечивает только графическое представление функций подразделений учреждения и потоков информации между ними, в других — автоматизирован процесс описания баз данных и составления некоторых программ или их частей.

В основе CASE-технологии лежит процесс выявления функций отдельных элементов систем и информационных потоков. Каждое рабочее место описывается как технологический модуль, в котором происходит преобразование информации. Каждому модулю устанавливается механизм, в соответствии с которым он изменяет находящиеся в нем данные и функции в зависимости от управляющих параметров и информации, получаемых от оператора или других модулей. Модуль системы может передавать информацию, может управлять функциями другого модуля. Для связанных между собой функциональных блоков устанавливают механизм, описывающий правила их взаимодействия.

В конечном итоге составляется полная модель системы, которая может быть рассчитана на бумаге с внесением всех необходимых пояснений и спецификаций.

Описание информационных потоков в учреждении во многих CASE-системах производится с помощью ER-модели (Entity-Relationship — модель «сущность—связь»). Порядок построения такой модели и используемые при этом абстракции определяются CASE-методом, без освоения которого CASE-технология не может быть применена в полном объеме. Учитывая дороговизну CASE-систем, российские специалисты, усвоив CASE-метод, создают свои инструментальные средства для описания ER-моделей и баз данных.

В процессе построения ER-моделей CASE-система проверяет соответствующие программы на непротиворечивость, что позволяет на разных этапах проектирования выявлять ошибки и не допускать некачественное моделирование баз данных и написание программ, исправление чего на последующих этапах затруднительно и требует значительных материальных затрат.

С помощью средств описания ER-модели создаются графическое изображение информационных потоков, а также словарь проекта, который включает в себя упорядоченную информацию о функциях и связях участников системы. Проектировщик-системщик может использовать для описания «своих» объектов атрибуты, уже содержащиеся в словаре.

Информация словаря может быть распечатана и превращена в часть документации проекта.

Инструменты CASE-технологии позволяют на основе ER-модели генерировать описание (таблицы), диалоговые процедуры, а также средства вывода данных и довести проект до стадии тестирования и опытной эксплуатации. Этот инструмент применяется и в дальнейшем для внесения изменений в проект.

Основные достоинства CASE-технологии: повышение производительно-сти труда программистов на несколько порядков, возможность формализовать документирование и администрирование проектов, минимизация ошибок и несовершенства программного обеспечения конечных пользователей, ускорение обучения персонала и использование программного обеспечения в полном объеме, постоянное обновление и модернизация пользовательских программ.

При создании информационных таможенных технологий в настоящее время используется CASE-система Oracle, позволяющая создавать приложения на базе одноименной СУБД. В ее основе лежит CASE-метод проектирования сети «сверху вниз» — от наиболее общих решений к частным. Этапы в Oracle выглядят следующим образом: выработка стратегии; анализ объекта; проектирование; реализация; внедрение; эксплуатация.

ER-модель строится на этапе анализа объекта, а СУБД — на этапе проектирования.

CASE-система Oracle состоит из инструментальных средств CASE* Dictionary (для графического представления модулей предметной области), CASE* Generator (для автоматического генерирования программных модулей). Ожидается, что средства компьютерной поддержки процесса проектирования будут быстро развиваться, обеспечивая генерацию все большего объема инструкций программ конечных пользователей, повысятся производительность труда программистов и проектировщиков, качество самих продуктов.