Проектирование систем автоматизации. Курс лекций

Система управления производством MES (Manufacturing Execution System) в режиме реального времени инициирует, отслеживает, оп- тимизирует, документирует производственные процессы от начала выполнения заказа до выпуска готовой продукции. Собирая и обоб- щая данные, полученные от уровня АСУТП (ПЛК, SCADA), MES выводит на более высокий уровень организацию всей производст- венной деятельности.

Система планирования ресурсов предприятия ERP (Enterprise Resource Planning) реализует единое хранилище данных, содержащее всю корпоративную бизнес-информацию и обеспечивающее одно- временный доступ к ней любого необходимого количества сотрудни- ков предприятия, наделенных соответствующими полномочиями. Как правило, ERP-система строится по модульному принципу и в той или иной степени охватывает все ключевые процессы деятельности компании. Система ERP в значительной степени ориентирована на взаимодействие компании с внешней средой, ее внимание сфокуси- ровано на планирование выполнения заказов, т.е. на вопросе когда и сколько продукции должно быть произведено. MES работают с более подробной информацией о производственных процессах и фокуси- руются на вопросе, как в действительности продукция производится.

Для большинства SCADA-систем их разработчиками предусмот- рен модуль интерфейса с приложениями уровня MES/ERP. Крупные изготовители, такие как Wonderware (США) имеют в номенклатуре своей продукции не только SCADA-пакеты, но и ПО для построения MES-систем. Естественно, взаимодействие между изделиями одного изготовителя налаживается без проблем.

3.2.Технологии Data Mining. OLAP

Впроцессе эксплуатации автоматизированных систем в их архи- вах накапливаются значительные объемы данных, использование которых позволяет повысить экономическую эффективность пред- приятия и поднять качество выпускаемой продукции. Для выявления скрытых закономерностей или взаимосвязей между переменными в больших массивах необработанных данных разработаны технологии Data Mining. Прямой перевод данного термина затруднителен, наи- более адекватным переводом можно считать «интеллектуальный анализ данных». Интеллектуальный анализ данных решает следую- щие базовые задачи:

51

•классификация – отнесение входного вектора (объекта, собы- тия) к одному из ранее известных классов;

•стратификация – разделение множества входных векторов на не предустановленные заранее группы (страты);

•сокращение описания – для визуализации данных, сжатия объемов собираемой и хранимой информации;

•ассоциация – поиск повторяющихся образцов. Например, об- наружение взаимосвязи между конкретным технологическим обору- дованием и отклонением в качестве продукции;

•прогнозирование;

•анализ отклонений;

•визуализация.

Технологии Data Mining возникли и развиваются на базе дости- жений прикладной статистики, распознавания образов, методов ис- кусственного интеллекта, теории баз данных и др. (рис. 3.2).

Рис 3.2. Data Mining – мультидисциплинарная область

Технологии Data Mining получили распространение во многих из- вестных статистических программных продуктах. Но основное вни- мание в них уделяется обычным методам – корреляционному и рег- рессионному анализу и т.п. Большинство реализованных в указанном ПО методов опирается на усредненные характеристики выборки, что не всегда эффективно при исследовании сложных явлений и взаимо- связей.

52

Нейронные сети имеют архитектуру, аналогичную нервной ткани, построенной из нейронов. Наиболее распространенной архитектурой является многослойный персептрон с обратным распространением ошибки. В нем нейроны организованы в слои, каждый нейрон соеди- нен своими выходами с входами нейронов более высокого уровня. На нейроны самого нижнего уровня поступает входная информация. Входные значения передаются со слоя на слой, изменяясь в соответ- ствии с весовыми коэффициентами, назначенными межнейронным связям. В результате на выходе самого верхнего слоя формируется ответ – реакция всей системы на поступившее входное воздействие. Перед применением нейронной сети ее надо обучить на имеющихся данных, для которых известны и значения входных параметров, и правильные ответы. В процессе обучения задаются веса межнейрон- ных связей, обеспечивающие наибольшую близость ответов сети к известным правильным ответам.

Мощным средством решения разнообразных комбинаторных за- дач и задач оптимизации являются генетические алгоритмы. По- строение генетического алгоритма начинается с кодирования в БД исходных логических закономерностей, называемых хромосомами. Набор таких закономерностей называют популяцией хромосом. За- тем определяется способ сравнения различных хромосом. Далее в популяции имитируют биологические процессы размножения, мута- ций (изменчивости), генетической композиции. При этом, в частно- сти, реализуются случайные мутации в отдельных хромосомах и аналогичная гетеросексуальной репродукции рекомбинация генети- ческого материала, содержащегося в родительских хромосомах. В ходе работы алгоритма на каждой его итерации (стадии эволюции) получаются популяции со все более совершенными индивидуумами.

Генетические алгоритмы могут быть распараллелены. Например, можно разделить популяцию на несколько групп и работать с каждой из них автономно, время от времени обмениваясь несколькими хро- мосомами.

Генетические алгоритмы имеют некоторые ограничения. Исполь- зуемые процедуры и критерии отбора хромосом определяются эври- стическим путем и не гарантируют нахождения наилучшего реше- ния. Эволюция, как и в реальности, может пойти по тупиковой ветви. И, наоборот, бывают случаи, когда два неперспективных родителя, которые будут исключены из эволюции генетическим алгоритмом, оказываются способными произвести высокоэффективного потомка.

53

Особенно это заметно при решении задач большой размерности со сложными внутренними связями.

Практически все системы Data Mining имеют в своем составе средства графического отображения данных. Тем не менее сущест- вуют специализирующиеся именно на этой функции продукты Data Mining. Основное внимание в них сфокусировано на дружелюбности пользовательского интерфейса, позволяющего ассоциировать с ана- лизируемыми показателями различные параметры диаграммы рас- сеивания объектов (записей) БД. К таким параметрам относятся цвет, форма, ориентация относительно собственной оси, размеры и другие свойства графических элементов изображения. Кроме того, системы визуализации данных снабжены удобными средствами для масшта- бирования и вращения изображений.

Для оперативной обработки сложных запросов к БД применяются технологии OLAP (англ. online analytical processing – аналитическая обработка в реальном времени). В основе OLAP лежит концепция многомерного представления данных. Ключевым понятием OLAP является понятие гиперкуба, или куба OLAP. OLAP-куб – это много- мерный массив данных, позволяющий оперативно группировать данные по интересующим аналитика критериям и делать разнооб- разные сопоставления.

Под измерением в гиперкубе понимается последовательность зна- чений одного из анализируемых параметров. На пересечениях осей измерения располагаются меры – данные, количественно характери- зующие анализируемые факторы. Организация гиперкуба показана на рис. 3.3.

Рис. 3.3. Организация гиперкуба

54

Основные операции над гиперкубом – это срез (рис. 3.4), враще- ние, консолидация и детализация (рис. 3.5). Под срезом понимается выделение подмножества меньшей размерности многомерного мас- сива данных, соответствующего единственному значению одного или нескольких параметров, в это подмножество не входящих. Эти параметры, собственно, и определяют срез.

Рис. 3.4. Срез

Вращение – это изменение расположения измерений. Консолида- ция – это переход от более подробного представления данных к ук- рупненному (агрегированному), детализация – это переход от агре- гированного представления к подробному.

Рис. 3.5. Консолидация и детализация

55

Термин OLAP был предложен в 1993 г. Эдгаром Коддом, тогда же им были сформулированы 12 основных правил, определяющих дан- ную концепцию. Ниже приведены 12 правил Кодда [3.2].

1.Многомерность. OLAP-система на концептуальном уровне должна представлять данные в виде многомерной модели, что упро- щает процессы анализа и восприятия информации.

2.Прозрачность. OLAP-система должна скрывать от пользовате- ля реальную реализацию многомерной модели, способ организации, источники, средства обработки и хранения.

3.Доступность. OLAP-система должна предоставлять пользова- телю единую, согласованную и целостную модель данных, обеспе- чивая доступ к данным независимо от того, как и где они хранятся.

4.Постоянная производительность при разработке отчетов.

Производительность OLAP-систем не должна значительно умень- шаться при увеличении количества измерений, по которым выполня- ется анализ.

5.Клиент-серверная архитектура. OLAP-система должна быть способна работать в системе «клиент-сервер», так как большинство данных, которые сегодня требуется подвергать оперативной анали- тической обработке, хранятся распределено. Главной идеей здесь является то, что серверный компонент инструмента OLAP должен быть достаточно интеллектуальным и позволять строить общую кон- цептуальную схему на основе обобщения и консолидации различных логических и физических схем корпоративных БД для обеспечения эффекта прозрачности.

6.Равноправие измерений. OLAP-система должна поддерживать многомерную модель, в которой все измерения равноправны. При необходимости дополнительные характеристики могут быть пред- ставлены отдельным измерениям, но такая возможность должна быть

улюбого измерения.

7.Динамическое управление разреженными матрицами. OLAP-система должна обеспечивать оптимальную обработку разре- женных матриц. Скорость доступа должна сохраняться вне зависи- мости от расположения ячеек данных и быть постоянной величиной для моделей, имеющих разное число измерений и различную степень разреженности данных.

8.Поддержка многопользовательского режима. OLAP-система должна предоставлять возможность нескольким пользователям рабо- тать совместно с одной аналитической моделью или должна созда- вать для них различные модели из единых данных. При этом воз-

56

можны как чтение, так и запись данных, поэтому система должна обеспечивать их целостность и безопасность.

9.Неограниченные перекрестные операции. OLAP-система должна обеспечивать сохранение функциональных отношений, опи- санных с помощью определенного формального языка между ячей- ками гиперкуба при выполнении любых операций среза, вращения, консолидации или детализации. Система должна самостоятельно (ав- томатически) выполнять преобразование установленных отношений, не требуя от пользователя их переопределения.

10.Интуитивная манипуляция данными. OLAP-система долж-

на предоставлять способ выполнения операций среза, вращения, кон- солидации и детализации над гиперкубом без необходимости поль- зователю совершать множество действий с интерфейсом. Измерения, определенные в аналитической модели, должны содержать всю не- обходимую информацию для выполнения вышеуказанных операций.

11.Гибкие возможности получения отчетов. OLAP-система должна поддерживать различные способы визуализации данных, т.е. средства формирования отчетов должны представлять синтезируемые данные или информацию, следующую из модели данных, в ее любой возможной ориентации. Это означает, что строки, столбцы или стра- ницы должны одновременно показывать от 0 до N измерений, где N – число измерений всей аналитической модели. Кроме того, каждое измерение содержимого, показанное в одной записи, колонке или странице, должно позволять показывать любое подмножество эле- ментов (значений), содержащихся в измерении, в любом порядке.

12.Неограниченная размерность и число уровней агрегации.

Исследование о возможном числе необходимых измерений, требую- щихся в аналитической модели, показало, что одновременно могут использоваться до 19 измерений. Отсюда вытекает настоятельная рекомендация, чтобы аналитический инструмент мог предоставить хотя бы 15, а предпочтительнее – и 20 измерений. Боле того, каждое из общих измерений не должно быть ограничено по числу опреде- ляемых пользователем-аналитиком уровней агрегации и путей кон- солидации.

В 1995 г. Э. Кодд дополнил приведенный выше перечень правил еще шестью [3.2].

1.Пакетное извлечение против интерпретации. OLAP-система должна в равной степени эффективно обеспечивать доступ как к соб- ственным, так и к внешним данным.

57

2.Поддержка всех моделей OLAP-анализа. OLAP-система должна поддерживать все четыре модели анализа данных, опреде- ленные кодом: категориальную, толковательную, умозрительную и стереотипную.

3.Обработка ненормализованных данных. OLAP-система должна быть интегрирована с ненормализованными источниками данных. Модификации данных, выполненные в среде OLAP, не должны приводить к изменениям данных, хранимым в исходных внешних системах.

4.Сохранение результатов OLAP: хранение их отдельно от ис- ходных данных. OLAP-система, работающая в режиме чтения- записи, после модификации исходных данных должна сохранять ре- зультаты отдельно. Иными словами, должна обеспечиваться безо- пасность исходных данных.

5.Исключение отсутствующих значений. OLAP-система, пред-

ставляя данные пользователю, должна отбрасывать все отсутствую- щие значения. Другими словами, отсутствующие значения должны отличаться от нулевых значений.

6.Обработка отсутствующих значений. OLAP-система должна игнорировать все отсутствующие значения без учета их источника. Эта особенность связана с предыдущим правилом.

OLAP-система состоит из двух основных компонентов: OLAP- сервера, обеспечивающего хранение данных, выполнение над ними необходимых операций и формирование многомерной модели, и OLAP-клиента, предоставляющего пользователю интерфейс к мно- гомерной модели данных, обеспечивая его возможностью управлять обработкой данных для выполнения процедур анализа.

OLAP-серверы формируют гиперкуб, используя три основные ме- ханизма:

1) MOLAP – многомерный (multivariate) OLAP. Многомерная мо-

дель строится на основе многомерных БД;

2) ROLAP – реляционный (relational) OLAP. Многомерная модель строится на основе реляционных БД;

3) HOLAP – гибридный (hybrid) OLAP. Многомерная модель строится на основе и многомерных, и реляционных БД.

MOLAP-сервер применяется для работы с данными многомерных БД. Данные хранятся в виде упорядоченных многомерных масси- вов – гиперкубов и поликубов. В гиперкубе все имеющиеся в БД ячейки имеют одинаковую мерность, т.е. находятся в наиболее пол- ном базисе измерений. В поликубе каждая хранится с собственным

58

набором измерений, а связанные с этим сложности обработки пере- кладываются на внутренние механизмы системы.

Поиск и выборка данных в многомерной системе осуществляются значительно быстрее, чем при обращении с запросами многомерного анализа данных к реляционной БД, многомерные БД эффективно справляются с задачами включения в информационную модель раз- нообразных встроенных функций, реализация которых средствами языка SQL затруднительна, а иногда и невозможна.

Денормализация и предварительная агрегация данных в много- мерных БД приводит к тому, что их объем оказывается на один-два порядка большим, чем объем исходных данных. В большинстве слу- чаев информационный гиперкуб оказывается сильно разреженным, поэтом в реальных системах приходится принимать меры по оптими- зации его структуры и искать компромисс между быстродействием и избыточным объемом дискового пространства, требуемого для орга- низации БД.

Таким образом, использование многомерных БД эффективно, ко- гда объем исходных данных относительно невелик, а время ответа системы на нерегламентированные запросы является наиболее кри- тичным параметром.

ROLAP-сервер использует для многомерного анализа набор таб- лиц реляционной БД. Инструменты ROLAP позволяют обращаться непосредственно к корпоративным хранилищам данных, которые в большинстве случаев реализуются средствами реляционных СУБД. ROLAP-системы позволяют эффективно реализовывать системы с динамическим представлением размерности, что позволяет работать с задачами переменной размерности без физической реорганизации БД. Реляционные СУБД обеспечивают значительно более высокий уровень защиты данных и хорошие возможности разграничения прав доступа. Основным недостатком ROLAP по сравнению с многомер- ными СУБД является меньшая производительность.

HOLAP-сервер использует гибридную архитектуру, интегрирую- щую технологии MOLAP и ROLAP. Применение MOLAP эффектив- но при относительно плотных данных, ROLAP – при разреженных. Сервер HOLAP реализует MOLAP-подход для плотных областей многомерного пространства данных и ROLAP-подход – для разре- женных. Это обеспечивается путем разделения запроса на несколько подзапросов, направляемых к соответствующим фрагментам данных, последующего объединения ответов и предоставления результата пользователю.

59

Практические реализации OLAP-кубов чрезвычайно разнообраз- ны. В простейших случаях OLAP-подход можно реализовать в Microsoft Excel. Реляционные OLAP-кубы успешно создаются на основе SQL-сервер. Подход OLAP осуществляется в семействе программ- ных продуктов 1С. Следует отметить систему подготовки отчетов Crystal Reports [3.3], работающую как с реляционными СУБД, так и с OLAP-серверами. Данный продукт может использоваться как для подготовки относительно простых отчетов на АРМ оператора, так и для сложного многомерного анализа данных.

В литературе применение технологий многомерного интеллекту- ального анализа данных обычно рассматривается применительно к торговле, поскольку такие примеры наиболее наглядны. В промыш- ленности указанные технологии применяются при решении задач управления качеством, оптимизации издержек, реинжиниринга биз- нес-процессов. Исходными данными являются архивы SCADA- систем, результаты автоматического отслеживания перемещения из- делий от передела к переделу, информация, вводимая операторами вручную и т.д. Интеллектуальный анализ данных, интегрированный с уровнями АСУТП, MES, ERP, поднимает управление производст- вом и предприятием на качественно новый уровень.

60