Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

ИИС

.pdf
Скачиваний:
39
Добавлен:
29.03.2016
Размер:
1.5 Mб
Скачать

скрытых связей в общем случае материального, информационного и энергетического характера, что находит отражение в необходимости хранения временных рядов, характеризующих наблюдаемые ситуации, и способствует резкому росту информационных потребностей в оценивании и прогнозировании динамики этих ситуаций;

 

 

 

Требования метасистемы

 

формирование задачи управления;

Общие- по функциональной

и экономической эффективности

 

выработка, оформление

 

Частные- по оперативности,

 

и реализация решения

 

 

 

 

обоснованности и достоверности

 

Анализ сведений:

 

Задачи анализа - определение:

 

 

текущих статических параметров

 

 

 

текущая ситуация

 

динамических параметров;

 

прогнозируемая ситуация

 

экстремальных значений;

 

 

 

поверхностей отклика

 

Сбор

 

 

 

информации

 

Модель объекта исследования

 

состояния

 

 

 

 

 

Объекты управления

 

 

 

Органы управления

 

 

 

Теле-

 

Объект

 

коммуникации

 

исследования

 

 

 

биосфера, этносфера, техносфера

 

 

и т.д.

 

Среда функционирования

 

 

 

 

 

Абстрагирование

 

 

и определение контуров

 

 

 

Воздействие метасреды

Рис. 5.1. Место задач анализа данных в процессе управления

рост требований к эффективности управления (и в первую очередь – оперативности, обоснованности и достоверности процессов принятия решений) – как следствие возрастающей конкурентной борьбы неантагонистического или антагонистического характера и степени влияния эффективности управления на эффективность и качество функционирования любой системы (со-

111

вершенствование управления по ряду причин всегда более предпочтительнее совершенствования объекта управления).

Таким образом, наблюдается объективный рост сложности объектов и задач управления, требующий адекватных изменений средств поддержки принятия оперативных им стратегических решений в нестационарных средах.

Во-вторых, в настоящее время создано и широко используется большое множество информационных систем различного уровня, которые относятся к классу информационных систем операционной обработки данных (или так называемым транзакционным системам) – OLTP. Реализуя основные информационные процессы, связанные с функциями учета и контроля (мониторинга), OLTP системы создают возможность накопления первичных данных (и прежде всего - временных рядов наблюдений) для их последующего анализа в интересах подготовки и принятия решений на основе прогноза развития ситуаций.

В третьих, за последнее десятилетие:

существенно изменились возможности средств вычислительной техники, а именно – качественно возросли их вычислительная мощность и возможности реализации эффективного диалога с пользователями, на несколько порядков увеличились возможности хранения больших объемов информации, резко снизилась удельная стоимость вычислительных ресурсов;

на базе достижений в области информационных технологий

ителекоммуникаций стало возможным формирование единых информационных пространств предприятий, организаций, корпораций, сообществ и т. д., резко увеличивающее объемы оперативно доступной информации самого различного характера.

Совокупность указанных факторов привела к осознанию возможности принципиально нового подхода к осуществлению процессов сбора и анализа информации в системах стратегического и оперативного планирования, оперативного и технологического управления, который находит свое выражение в создании

иприменении аналитических технологий, ориентированных на решение задач поддержки принятия решений. К таким задачам относятся:

оценка текущего и прогнозируемого состояния объекта управления и (или) среды его функционирования;

112

обнаружение и исследование скрытых закономерностей, факторов, тенденций и взаимосвязей;

обобщение информации как агрегация и интеграция сведений различного характера;

формирование альтернативных решений и выбор "оптимального" в соответствии с заданным критерием, а также результатами анализа сценариев развития ситуаций;

моделирование процесса эволюции состояния объекта в нестационарной неоднородной среде и т.д.

Всвою очередь, повышение качества процессов обобщения

ианализа информации на основе аналитических технологий и их реализующих современных средств достигается автоматизированной реализацией процессов:

выявления скрытых закономерностей и факторов; количественной оценки факторов влияния и угроз в сло-

жившейся ситуации; использования опыта на основе автоматизированного фор-

мирования и поиска прецедентов анализируемых ситуаций в массивах ретроспективных данных;

высокодостоверного прогнозирования эволюции состояния объекта исследования, в т.ч. выявления предпосылок к скачкообразному изменению этого состояния.

Перечисленные ключевые возможности аналитических технологий позволяют рассматривать их как аналитическую и информационную основу не только процессов обобщения и анализа информации о текущем и прогнозируемом состояниях объекта управления и среды его функционирования, но и процессов подготовки (выработки и оценки) вариантов решений (рис. 5.2).

Данный аспект применения аналитических технологий осуществляется посредством использования:

результатов прогнозирования развития процессов и явлений для оценки эффективности возможных (в т.ч. альтернативных) вариантов решений, планов и программ действий, а также управляющих воздействий иного рода;

способов ретроспективного анализа содержимого хранилищ данных для поиска типовых ситуаций, требующих управления, и выработки вариантов решений на основе аналогий и накопленного опыта управления;

113

специально разработанного комплекса анализа эффективности управленческих решений, основанных на формировании виртуальных сценариев развития частично управляемых ситуаций.

Аналитические технологии – обобщающий термин, применяемый для обозначения подходов к комплексному использованию ряда формальных и эвристических методов и информационных технологий. Основными отличительными чертами таких подходов являются:

 

Лицо, принимающее решение

 

 

Средства выработки решений

 

Средства наблюдения

Идентификация

Формирование

Выбор

и классификация

вариантов

варианта

 

 

ситуаций

решения

решения

 

 

Формирование

Оценка

Поиск

сценариев

текущих и

аналогичных

действий

прогнозируемых

ситуаций,

в текущей

значений

анализ опыта

и прогнозируемой

 

 

обстановке

Система виртуальных сценариев ситуаций

Средства аналитических технологий

Хранилище данных

Рис. 5.2. Участие аналитических технологий в подготовке

вариантов решений

 

 

ориентация на динамические данные, позволяющие строить временные ряды и осуществлять как ретроспективный анализ характеристик объектов, процессов и явлений, так и решение задач оперативного и долгосрочного прогнозирования с выявлением неявных зависимостей и скрытых влияний (воздействий);

объединение элементов технологий хранилищ данных и тематических витрин данных, оперативной аналитической обработки данных, интеллектуального анализа данных и прецедент-

114

ного прогноза, ставшее возможным благодаря появлению современных высокопроизводительных архитектур и платформ для создания вычислительной среды.

Таким образом, аналитическая технология – это средство решения задач анализа и прогнозирования состояния объектов в нестационарных средах на основе накопления "истории", ретроспективного анализа накапливаемых данных и динамического формирования (улучшения) формальных моделей явлений и процессов, что стало возможным только при определенном уровне эволюции вычислительной техники.

Основным содержанием ИАД является автоматизированный прецедентный анализ сверхбольших объемов ретроспективной информации, сконцентрированных в информационных хранилищах.

Основной задачей, решаемой ИАД, является вскрытие неявных закономерностей, взаимозависимостей и факторов влияния в интересах задач ситуационного анализа и прогноза на основе широкого спектра математических инструментов – от фундаментальных статистических методов регрессионного и многофакторного дисперсионного анализа до новых кибернетических алгоритмов, основанных на нейронных сетях, эволюционном моделировании и т.п. (рис. 5.3).

По существу, методология ИАД сводится к структуризации прогностической информации на основе прецедентного анализа исторических, ретроспективных данных. Важнейшей особенностью ИАД является гармоничное сочетание строгих, формальных методов (алгоритмов) анализа количественной информации с методами неформального, качественного анализа, опирающегося на субъективные знания экспертов и эвристические приемы их работы.

Сочетание прецедентного анализа ретроспективных данных с возможностями прогностических методов позволяет рассматривать средства ИАД как составную (и наиболее важную) часть современных систем поддержки принятия решений (СППР), реализующих контроль текущего и прогнозируемого состояния объекта управления, и способных осуществлять подготовку и количественную оценку возможных вариантов решений (рис. 5.4).

115

Математически аппарат DM

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Статистические методы DM

 

 

 

 

 

 

Кибернетические методы DM

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1. Предварительный анализ природы

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.

Анализ и прогноз на основе нейронных

 

 

 

 

 

 

 

 

 

 

 

статистических данных;

 

 

 

 

 

сетей;

 

 

 

2. Многомерный статистический анализ:

 

 

 

 

 

2.

Эволюционное программирование;

 

 

 

выявление связей и закономерностей;

 

 

 

 

 

3.

Метод группового учета аргументов;

 

 

 

3. Динамические модели и прогноз (вре-

 

 

 

 

 

4.

Генетические алгоритмы;

 

 

 

менные ряды);

 

 

 

 

 

5.

Синергетические методы.

 

 

 

4. Игровые методы.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Оптимизационные методы DM

 

 

 

 

 

Экспертные методы DM

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1. Вариационные методы;

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.

Ассоциативные методы;

 

 

 

2. Линейное и нелинейное программиро-

 

 

 

 

 

 

 

 

 

вание;

 

 

 

 

2.

Метод последовательного логического

 

 

 

3.Динамическое программирование;

 

 

 

 

вывода;

 

 

 

 

 

 

 

 

 

 

 

 

4.Системы массового обслуживания

 

 

 

 

3.

Предметно-ориентированные методы;

 

 

 

5.Логико-алгебраические методы.

 

 

 

 

4.

Методы визуализации решений.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Рис. 5.3. Основные методы ИАД

Система сбора, предварительного анализа и сортировки

прошлое (история)

ретроспективных

данных

настоящее

оперативных

данных

Структуризация

Система хранения будущего

информации

Система обработки данных

Ситуационный

анализ

Система

обучения

Система будущее

прогнозирования

Интеллектуальный анализ данных

Система выработки проектов решений

Структуризация

прошлого

Проект решения

Рис. 5.4. Схема содержания технологии ИАД

Акцент на количественной методологии позволяет перенести центр тяжести процедуры выработки проекта решения с эвристических логико-интуитивных методов, характерных для тра-

116

диционной экспертной технологии, на мощную глубоко формализованную платформу фундаментальной и прикладной математики. При этом качественный, экспертный анализ также сохраняется, но теперь основным центром его приложения является не всеобъемлющий и трудно охватываемый обзор исторического опыта, а лишь вполне обозримый объем конечного набора уже сформированных вариантов решений на фоне подготовленных прогностических сценариев.

Таким образом, речь, по существу, идет о новой форме гибридного интеллекта, сочетающей получение формальнооптимальных решений с эвристическим принятием терминальных качественных решений.

Методология ИАД существенно шире, чем только прецедентный прогноз и синергетика – обзорные сведения об этих методах приведены для того, чтобы подчеркнуть принципиально новые возможности, которые открывают современные средства хранения и обработки данных.

Следует отметить еще одну весьма существенную проблему, возникающую непосредственно в процессе применения матема- тико-аналитических инструментальных средств (как "классических", так и относящихся к средствам ИАД).

Суть проблемы состоит том, что любой предметный эксперт является глубоким профессионалом в своей области, но он не является экспертом в области математической обработки данных, в существенных тонкостях применения того или иного математического аппарата. В результате некорректного применения математики, заложенной в программно реализованных средствах поддержки работы предметного эксперта, полученные формализованные решения во многих ситуациях оказываются неверными (неадекватными реальным ситуациям); отсюда возникает кризис доверия к методам автоматизированного статистического анализа, машинным методам прогнозирования сценариев и т.п.

Одновременная работа предметного эксперта с математиком также не всегда увенчивается успехом: очень мало математиков способны выйти из своей математической, узко специальной области и понять комплексную проблему предметного эксперта.

Иерархия средств, составляющих основное содержание аналитических технологий и фактически отображающая основную

117

парадигму построения аналитических информационных систем (АИС), показана на рис. 5.5.

Обязательным условием применения аналитических технологий является наличие неких первичных данных (данных наблюдений, мониторинга), источником которых выступают OLTPсистемы. Реализуя основные информационные процессы, связанные с функциями учета и контроля (мониторинга), OLTP системы создают возможность накопления первичных данных (и прежде всего – временных рядов наблюдений) для их последующего анализа в интересах подготовки и принятия решений на основе прогноза развития ситуаций.

Даже если имеющиеся OLTP-системы согласованы по способам классификации и кодирования информации и допускают выполнение распределенных запросов к их БД, их непосредственное использование для аналитической обработки имеющихся в них данных затруднено следующими обстоятельствами:

распределенное хранение в нескольких разнородных БД существенно затрудняет комплексное использование этих данных из-за сложности их одновременной выборки из нескольких источников, возможных пересечений перечней хранимых данных и (или) нарушений их согласованности (целостности);

запросы на выборку ретроспективных данных снижают реактивность транзакционных систем;

глубина ретроспективного анализа определяется принятыми ограничениями для длительности периода архивного хранения данных.

Из-за различий характера хранения и использования данных в транзакционных и аналитических системах данные, получаемые от OLTP-систем (первичные данные) подлежат помещению в хранилище данных (ХД).

ХД – предметно-ориентированный, интегрированный, неизменчивый, поддерживающий хронологию набор данных, организованный для целей поддержки управления. При этом возможность работы пользователей с форматом оперативных данных не предусмотрена, т.е. ХД не обеспечивает доступ к БД транзакционных систем со стороны пользователей.

118

методики и алгоритмы анализа влияния и корреляции факторов, выявления закономерностей, прогноза

многомерные характеристики состояния

темпоральная информационная модель объекта

Data Mining

(интеллектуальный анализ данных)

OLAP

(оперативная аналитическая обработка данных)

Data Mart

(витрина данных)

Data Warehouse

(хранилище данных)

Системы класса OLTP, выполняющие мониторинг

Объект наблюдения и управления

методики и алгоритмы оценки состояния, формирования и оценки вариантов

многомерная темпоральная модель данных

модели и алгоритмы формирования запросов, выборки, визуализации

понятийная модель

логическая и физическая модель данных

интерфейс сбора данных мониторинга (протоколы, состав и представление данных)

Рис. 5.5. Иерархия средств реализации аналитических технологий

К числу главных преимуществ ХД относят следующее:

1) Единый источник информации: предприятие получает выверенную единую информационную среду, на которой будут строиться все справочно-аналитические приложения в той предметной области, по которой построено хранилище. Эта среда бу-

119

дет обладать единым интерфейсом, унифицированными структурами хранения, общими справочниками и другими корпоративными стандартами, что облегчает создание и поддержку аналитических систем.

2)Производительность: физические структуры хранилища специальным образом оптимизированы для выполнения абсолютно произвольных выборок, что позволяет строить действительно быстрые системы запросов.

3)Интегрированность: интеграция данных из разных источников уже сделана, поэтому не надо каждый раз производить соединение данных для запросов, требующих информацию из нескольких источников.

4)Историчность и стабильность: информационное хранилище данных нацелено на долговременное хранение информации за период 10-15 лет с адаптацией хранимой информации к изменениям структуры и параметров, происходящих в отображаемом объекте. Благодаря этому появляется возможность осуществлять исторический анализ информации.

5)Независимость: разделение информационного хранилища

иOLTP-систем существенно снижает нагрузку на последние со стороны аналитических приложений; тем самым производительность существующих систем не ухудшается, а на практике происходит уменьшение времени отклика и улучшение доступности систем.

Вместе или вместо ХД могут создаваться и использоваться витрины данных (ВД). Есть следующие варианты трактовки данных понятия витрины (киоска) данных:

усеченное ХД – т. е. хранилище, относящееся только к некоторой тематике (например, экономика и финансы предприятия, производство продукции и т. д.);

хранилище, которое не обладает в полной мере всеми свойствами, перечисленными выше;

ХД, создаваемое для решения частной задачи и уничтожаемое после того, как необходимость в нем отпала.

В современных АС ХД и ВД имеют реляционную структуру

иявляются источниками данных для средств оперативной аналитической обработки и интеллектуального анализа данных.

120