требования / Zadanie_na_kursovuyu_i_laboratornye_raboty / Заочники весна 2019 / Блок / Блок

5.Методические основы квалиметрии моделей и полимодельных комплексов

5.МЕТОДИЧЕСКИЕ ОСНОВЫ КВАЛИМЕТРИИ МОДЕЛЕЙ

ИПОЛИМОДЕЛЬНЫХ КОМПЛЕКСОВ

5.1.Особенности оценивания качества моделей

5.1.1.Факторы, влияющие на оценивание качества модели

Оценивание качества моделей характеризуется следующими факторами:

1)множественность моделей;

2)многомерное оценивание модели;

3)многообразие свойств модели;

4)неоднородность моделей сложного объекта;

5)источники исходных данных;

6)способы оценивания качества модели;

7)результаты оценивания.

Множественность моделей обусловливается неоднозначным отношением «объект-модель». Иными словами, объект может моделироваться разными способами. Отсюда следует актуальность выбора наиболее предпочтительной модели для решения поставленной задачи.

Многомерность оценивания модели следует из того факта, что в общем случае моделированию подлежит более одного свойства объекта-оригина- ла. Степень соответствия каждого свойства модели моделируемому свойству объекта-оригинала используется в качестве критерия оценивания, из чего следует многокритериальность оценивания.

В подразделе 3.1 были перечислены разнообразные свойства моделей. В частности, помимо таких обязательных свойств О-модели, как: результативность (сходимость), и достоверность (точность), она характеризует-

ся устойчивостью (повторяемостью результатов), чувствительностью (к

изменению параметров), сложностью и развиваемостью. Последние два свойства присущи и СФ-модели. Развиваемость обеспечивается за счет избыточности, закладываемой в модель, что дает возможность приспосабливать ее к изменениям внутренней и внешней среды.

Неоднородность моделей сложного объекта объясняется неоднородностью его составных частей. Применяемые для их моделирования модели относятся к разным областям знания и по этой причине обладают разными свойствами. Например, в отличие от жестких моделей классической математики, применяемых для моделирования объектов физической природы, в основе моделирования человеческих суждений и предпочтений лежат мягкие модели искусственного интеллекта. Именно по причине неоднородности модели сложных объектов получили название полимодельных комплексов [1].

Исходными данными для оценивания модели служат фактические значения ее параметров и показателей, и значения показателей (параметров) моделируемого объекта.

151

Квалиметрия моделей и полимодельных комплексов

Качество сопоставляемых моделей оценивается методами оптимизации при точечном задании параметров и методами классификации ‒ при их интервальном задании. Каждому интервалу присваивается своя категория качества (высокое, среднее, низкое).

Результаты оценивания могут быть качественными и количественными. В пределе применяются две качественных оценки модели: годна или не годна для использования. Источником численных оценок является целевая функция модели оптимизации. Они используются для ранжирования моделей по качеству.

Общимитребованиями,предъявляемымиккачествумодели,являются[2]:

1)соответствие(адекватность)объектумоделированиялибоцеляммоделирования;

2)сложность;

3)результативность;

4)адаптивность;

5)обоснованность (подсистема объяснения);

6)понятность (удобство восприятия).

Соответствие (адекватность) модели объекту моделирования основывается на их подобии (сходстве). Под подобием понимается взаимно-од- нозначное соответствие между исследуемым объектом и его моделью, при котором правила перехода от параметров модели к параметрам оригинала известны, а математическое описание допускает их преобразование к тождественному виду. Подобие характеризуется равенством безразмерных величин ‒ коэффициентов подобия. В зависимости от моделируемых свойств объекта-оригинала различают следующие виды подобия [3]:

‒функциональное;

‒структурное;

‒динамическое;

‒вероятностное;

‒физическое;

‒геометрическое.

Подфункциональнымподобиемпонимаетсявыполнениемоделируемым объектом и его моделью сходных функций при одинаковых на них воздействиях. Для реализации функционального подобия используется Ф-модель («стимул-реакция»). Примерами моделей, использующих принцип функциональногоподобия,являютсянейросетевыемоделивискусственноминтеллекте и регрессионные модели в статистическом анализе.

Структурное подобие предполагает сходство структур объекта и его модели. В том случае когда объектом исследования является структура сети, достаточным оказывается нахождение структурного подобия между сопоставляемыми моделями с применением С-моделей. Эта задача решается путем нахождения изоморфизма графов [4].

Структурно-функциональное подобие характеризуется сходством как структуры, так и функций ее элементов и описывается СФ-моделью объекта и модели. Оно реализуется при моделировании сложных систем, представляемых полимодельными комплексами. Одной из задач моделирования этих систем является анализ взаимодействия их компонентов.

152

5. Методические основы квалиметрии моделей и полимодельных комплексов

Под динамическим подобием понимается сходство последовательных изменений объекта и модели во времени. В гидродинамике, например, динамически подобными потоками называются такие потоки, у которых отношение постоянно для любой пары сходных точек. Динамическое подобие может быть выражено через тождественность О-моделей. Подобие в структуре, функциях и в последовательных изменениях состояний выражается через тождественность СФО-моделей.

Под вероятностным подобием понимается сходство случайных процессов в объекте и модели. Оно выражается через одинаковые законы распределения вероятностей.

Под физическим подобием понимается сходство физической природы оригиналаи модели.Оно реализуетсяв рамкахфизическогомоделирования объекта-оригинала. При этом материал модели и объекта-оригинала может быть разным, но в исследуемой области связь между ними должна соответствовать линейному закону, например, закону Гука при исследовании связи между напряжением и деформацией.

Геометрическое подобие представляет собой сходство пространственныххарактеристикоригиналаимодели.Оно,вчастности,используетсядля изготовления макетов. Макеты, изготовленные в натуральную величину, востребованы, например, в военном деле ‒ для тренировки в поражении цели и обмана противника, например, изготовлением муляжа танка.

Требование адекватности, как уже указывалось ранее, неприменимо к моделям познания и созидания по той причине, что при их составлении отсутствует объект-оригинал. В отсутствие объекта-оригинала можно говорить лишь о соответствии правилам перехода (в искусственном интеллекте (ИИ) правилам вывода) от одного этапа проектирования модели к другому, а также о полезности указанного класса моделей. В промышленности этот принцип получил название оценивание качества технологического процесса. Лежащее в его основе строгое соответствие требованиям технологическойдокументацииявляетсягарантиейкачествавыпускаемой продукции.

Сложность машинной исполнимой E-модели характеризуется двумя показателями: объемом занимаемой памяти и временем моделирования. Предварительное оценивание сложности осуществляется по описательным моделям: СФ-модели (объем памяти) и О-модели (вычислительная сложность).

Результативность О-модели оценивается показателями точности и достоверности (степенью доверия).

Адаптивность модели (параметрическая и структурная) предполагает возможность ее изменения с целью приспособления к изменениям состояния внутренней или внешней среды.

Обоснованность модели проистекает из ее теоретического обоснования и успешного применения. В системах искусственного интеллекта подсистема объяснения поясняет результаты логического вывода.

Понятность модели проявляется в удобстве ее восприятия. Оно облегчается при использовании общепринятой символики, когнитивной графики и соблюдении приемлемой для человека размерности.

153

Квалиметрия моделей и полимодельных комплексов

5.1.2. Особенности оценивания качества онтологических моделей

К особенностям онтологических моделей относится их субъективный характер, поскольку моделированию подвергается вымышленный объект (а не оригинал), как плод размышлений его автора. Согласно предыдущему пункту, в отсутствие объекта-оригинала о качестве создаваемой модели можно судить по соответствию ее поэтапного преобразования правилам перехода (вывода). Примером несоблюдения правил при составлении дерева целей являются следующие ошибки в выдвижении цели [5]:

‒использование неполного списка целей;

‒подмена цели субъекта, решающего проблему, целью другого интересанта проблемы;

‒неучет наличия других интересантов проблемы;

‒смешение целей и средств.

При составлении онтологической модели мысли облекаются в слова и образы, претворяемые в структурно-функциональную модель (СФ-модель). Ее вершины обозначаются именами понятий (терминами), а связи между ними ‒ абстрактными или предметными отношениями (двухместными предикатами) [2].

Исходя из словесной интерпретации структурно-функциональной модели, ее качество определяется качеством понятий и отношений между ними. Понятиеследуетрассматриватькакпервичнуюмодельзнания.Качествопонятия оценивается степенью соответствия его определения определяемой сущности (denote a thing) и правильной ориентацией присвоенного ему термина (лексического знака).

Близость смысла слова обозначаемому образу создает синергетический эффект правильного понимания понятия. Правильному пониманию и применению терминов препятствуют следующие факторы:

1)неправильное определение понятия;

2)иностранные термины, используемые носителями языка в другом контексте;

3)замена понятного русского слова иностранным термином;

4)ложно-ориентирующие термины.

Примером различного толкования оригинального англоязычного термина и его русского эквивалента являются термины control и контроль. Примером избыточного применения иностранных терминов является слово эмерджентность. Этим трудно произносимым словом заменяют термин целостность, имеющий смысл порождения свойств целого, не присущих свойствам его частей. Близость в произношении исходного англоязычного слова emergence (появление) и слова emergency (аварийный) создает ложные ассоциации.

Примером англоязычного ложно-ориентирующего термина является функция регрессии. Это понятие было сформулировано при выявлении зависимости роста людей от принадлежности поколению. Предположение о линейном приращении роста от поколения к поколению было опровергнуто статистикой. На этом основании функция взаимосвязи роста людей с их поколением была названа функцией регрессии, поскольку рост линейно не

154

5. Методические основы квалиметрии моделей и полимодельных комплексов

прогрессировал. В дальнейшем этот термин был распространен на любую взаимосвязь факторов, в том числе не имеющих отношения к регрессу. За-

мена термина функция регрессии на обобщающий термин функция взаимос-

вязи вполне допустима, в то время как обратная замена влечет ложное понимание термина. Пренебрежение категорией общности понятия является частой ошибкой в онтологических моделях.

В противоположность ложно-ориентирующему термину правильноориентирующий термин отражает смысл определения понятия, что способствует правильному использованию этого термина. Термины, включающие фамилию автора понятия, с точки зрения познавательной функции называются нейтральными [6]. Они рассчитаны на запоминание, что ложится дополнительной нагрузкой на память.

На выбор подходящего термина влияет не только обозначаемый им смысл, но и категория общности. Термин, относящийся к более высокой категорииобщности,можетбытьприменендляобозначениячастногопонятия. Недостатком такого применения является недостаточная конкретность. Применение конкретного термина для обозначения более общего понятия влечет ложные ассоциации. Примером является рассмотренный выше тер-

мин функция регрессии.

Качество отношений между понятиями оценивается на предмет возможности их применения к тому или иному типу онтологической модели. Отношения между понятиями делятся на абстрактные и предметные. К абстрактным отношениям относят не зависящие от предметного смысла пары: род-вид, цель-средство, целое-часть, класс-элемент, при- чина-следствие.

Отношение наследования (родо-видовая связь) применяется в иерархической классификации родового понятия. Родовое понятие последовательно сужается по объему в видовые понятия с применением конкретизирующих оснований деления. Примером может служить конкретизация места проживания: страна, регион, город, улица, дом, квартира. В сетевых моделях понятий наряду с видовыми формируются межвидовые понятия, полученные по разным основаниям деления [7]. Если устойчивость объекта разделить на пассивную и активную устойчивость по способу ее реализации и на физическую и информационную относительно природы объекта, то примером межвидового понятия является пассивная физическая устойчивость. Таким видом устойчивости обладает, например, корпус ледокола.

Отношениецелое-часть(инструментальнаясвязь)применяетсявдереве целей.

Отношение целое-часть (партитивная связь) ‒ в сборочных моделях. Отношение класс-элемент (классификационная связь) ‒ в различного

рода классификациях.

Отношение причина-следствие (каузативная связь) конкретизируется в отношение исток-сток в потоковых моделях.

Основной ошибкой, встречающейся в междисциплинарных онтологических моделях, является трактовка используемых в них понятий в рамках специальных дисциплин. Аналогом в арифметике является попытка вы-

155

Квалиметрия моделей и полимодельных комплексов

полнения сложения без приведения дробей к общему знаменателю. Между тем,каждаятеория имеетсвоюаксиоматику, по существу, представляющую собой систему ограничений. При использовании понятий, применяемых в разных теориях, возникает несовместимость характеризующих их существенных признаков. Неоднозначная трактовка понятий влечет установление ошибочных связей между ними [2].

Решению проблемы способствует применение теоремы Геделя о неполноте, предлагающей обращаться к внешней (мета) теории. Таковой теорией для специальных дисциплин служит системный анализ, а для разделов математики ‒ математическая логика.

Исходная информация, используемая для формирования онтологической модели, содержится в определении применяемых в ней понятий. От качества определений зависит качество онтологической модели. Понятия, применяемые в междисциплинарной онтологической модели, должны иметь наддисциплинарный характер. Это означает, что существенные признаки, содержащиеся в их определениях, должны сводиться к признакам, содержащимся в узкодисциплинарных определениях понятий или, по крайней мере, не противоречить им, поскольку все обобщения проверяются на частных примерах.

Показательным примером междисциплинарной онтологической модели является самоорганизующаяся система, изучаемая различными дисциплинами. Последствия необоснованного совмещения в онтологической модели самоорганизующейся системы понятий различных дисциплин [8] рассматриваются в подразделе 6.4.

5.1.3. Сопоставимость моделей

Перейдем к вопросу оценивания сопоставимости моделей. Две модели сопоставимы по адекватности объекту-оригиналу, если они отражают оди-

наковую совокупность его свойств и отношений между ними.

Если модель отражаетсвойства стационарного объекта B, то в ней отсутствует свойство Скорость: Скорость(B) = 0. Таким образом, модели, отражающие свойства транспортного и стационарного объектов, оказываются несопоставимыми по свойству Скорость. И наоборот, модели M1 и M2 с

предикатами Скорость(M1) = 0,5 и Скорость(M2) = 0,55 сопоставимы по скорости, причем модель M2 превосходит (доминирует) модель M1 по степени соответствия объекту-оригиналу A.

Приведенный пример демонстрирует функциональное подобие моделей M1 и M2объекту-оригиналуA напримереодногосвойства.Отношениямежду переменными в аналитической модели объекта-оригинала характеризуют его структуру, которую можно рассматривать как взаимозависимость или взаимодействие элементарных свойств. На рис. 6.1 структура модели показана на примере схемы решения выражения y = a · x1 + b · x2.

Если модели M1 и M2 имеют одинаковую структуру, они сопоставимы относительно структурно-функционального подобия объекту-оригиналу.

Примером структурного несоответствия объекту-оригиналу является нейросетевая модель [9]. Ее структура определяется особенностями решае-

156

5. Методические основы квалиметрии моделей и полимодельных комплексов

Рис. 5.1. Схема решения выражения y = a · x1 + b · x2.

мой задачи, а не структурой объекта-оригинала. Таким образом, нейросетевая модель находится в отношении только функционального подобия объекту-оригиналу.

Уровни подобия модели объекту-оригиналу следует учитывать при постановке задачи моделирования. Если достаточно только воспроизведения моделью поведения объекта-оригинала, то можно ограничиться лишь функциональным подобием. Достаточность функционального подобия имеет место, например, в задаче распознавания отпечатков пальцев, поскольку у каждого человека они неизменны. Неслучайно для решения этой задачи успешно применяются нейросетевые модели. Если же в задачу моделирования входит поиск оптимального режима объек- та-оригинала с применением внутренних управляющих параметров, то необходимо обеспечить структурно-функциональное подобие модели объекту-оригиналу. Здесь примером может служить сложная система с управляемыми блоками.

Сопоставимость моделей не зависит от их природы. Для иллюстрации этого утверждения рассмотрим пример решения задачи распознавания рукописных символов в монтажных карточках систем железнодорожной автоматики с применением жестких и мягких моделей [10, 11].

В работе [10] для решения этой задачи были применены методы классической математики ‒ теории графов (скелетные графы эталонных символов), теории фильтрации (волновые алгоритмы) и др. В [11] эта задача решалась на основе бионической парадигмы, а именно ‒ с помощью нейросетевой модели.

Степень соответствия моделей, предложенных в названных работах (условно 1 и 2), требованиям задачи оценивается отношением числа распознаваемыхсимволов| X1| и |X2| кчислурукописныхсимволов| X|,подлежащих распознаванию: | X1 | / | X | и | X2 | / | X |. Большая величина отношения свидетельствует о большей достоверности модели.

Но оценивать следует не только число, но и составы X1 и X2 распозна-

ваемых символов, X1 X, X2 X. Из X1 ∩ X2 = X 1, (X1 X2) следует, что модель M2 в большей степени соответствует заданным требованиям.

Если же X1 ∩ X2 ≠ X1 и X1 ∩ X2 ≠ X2, то модели дополняют друг друга. Оче-

157

Квалиметрия моделей и полимодельных комплексов

видно,чтоеслипотребуетсяраспознатьсимволыизмножестваX1\X2,тоследует использовать модель M1, а для распознавания символов из множества X2\X1 применить модель M2.

Вычислительная сложность моделей обычно характеризуется асимптотическими оценками. Однако при сопоставлении классических и нейросетевых моделей возникают определенные трудности в силу того, что трудоемкость решения задачи распознавания по-разному распределяется на этапах создания и применения моделей. При использовании классических моделей трудоемкость перераспределяется на этап распознавания, а нейросетевой модели ‒ на этап ее обучения, т. е. создания модели.

Этапы создания и применения приходится учитывать при разработке любой модели. При оценивании их трудоемкости следует исходить из массовости применения модели. При массовом применении модели время решения задачи играет существенную роль. Определение этого времени является несложной задачей. Гораздо сложнее оценить время создания модели. Нахождение приемлемого математического аппарата для решения сложной задачи, а главное, сопряжения между собой неоднородных математических моделей, может потребовать значительного времени.

Время создания модели напрямую влияет на достоверность (точность) решения задачи. Применительно к нейросетевой модели достоверность решения задачи зависит от качества обучения, а значит, ‒ от объема и качества обучающей выборки. Но у качества обучения есть свои пределы, и для достижения приемлемой достоверности решения может потребоваться изменение архитектуры модели и/или функций активации.

Из рассмотрения показателей, влияющих на качество модели, следует, что ее адекватность объекту-оригиналу, трудоемкость создания и применения, достоверность результатов решения могут детализироваться на большее количество измеряемых показателей.

Применительно к задаче распознавания рукописных символов адекватность модели оценивается следующими показателями:

‒размер символов;

‒угол наклона;

‒толщина написания;

‒разрывность написания;

‒связность соседних символов;

‒межстрочное расстояние.

Требования к большинству этих показателей могут быть сформулированы в интервальных или полуинтервальных оценках. Например, разница в размере символов может составлять не более 50%, угол наклона ‒ не менее

45° и т. д.

Трудоемкостьсозданияиприменениямоделиможетизмерятьсясоответственно в часах и секундах, а достоверность ‒ в проценте правильно распознанных символов. При разбиении символов на категории достоверность определяется для каждой категории.

Таким образом, качество сопоставляемых моделей может оцениваться как по отдельным группам показателей, так и по всем показателям, характеризующим оцениваемые модели.

158

5. Методические основы квалиметрии моделей и полимодельных комплексов

Как правило, сопоставляемые модели являются несравнимыми в отношении Парето-доминирования. По каким-то показателям одна из них лучше другой, а по другим ‒ такая же или хуже. Поэтому для выбора модели возникает необходимость охарактеризовать решаемую задачу на множестве выбранных показателей.

Заметим,чтоневсегдамодель,отражающаябольшееколичествосвойств изакономерностей,являетсяболеепредпочтительной.Всезависитотрешаемой задачи. В отличие от модели, предназначенной для исследования максимального числа свойств объекта-оригинала, модель, используемая в конкретном технологическом процессе, может быть ограничена свойствами, востребованными только этим процессом. Таким образом, есть ситуации, когда больше не значит лучше. А отсюда следует, что при сопоставлении моделей нужно исходить из требований конкретной задачи.

Помимо количественных оценок адекватность модели можно оценивать категориями качества. С этой целью на шкале показателя, характеризующего свойство модели, эксперт формирует функции принадлежности каждой категории качества. На основе мер принадлежности каждой категории качества по всем моделируемым свойствам вычисляется обобщенная принадлежность модели каждой категории качества. По наивысшей оценке выбирается категория качества оцениваемой модели.

Оценивание адекватности модели проектируемого объекта должно учитывать следующие особенности проектирования. Во-первых, объектоморигиналом является замысел проектировщика, материализуемый в виде облика будущей системы. Облик формируется совокупностью требований к свойствам этой системы. Во-вторых, модель проектируемого объекта является многоступенчатой. Модель каждого последующего этапа конкретизирует модель предыдущего этапа. Переход от модели одного этапа проектирования к модели последующего этапа неоднозначен. Требования к моделям разных этапов проектирования различны.

Приведем простой пример. Пусть в замысел проектировщика входит разработка компьютерной программы. На первом этапе он должен как можно более полно конкретизировать назначение этой программы. Качество модели этого этапа характеризует полнота требований к программе (все ли учтено?). Моделью следующего этапа является алгоритм решения поставленной задачи. Возможны различные способы алгоритмизации метода решения задачи. Предпочтительным будет тот из них, который дает более точное или достоверное решение задачи. Моделью следующего уровня является программа, составленная на выбранном языке программирования. К ее достоинствам относится наиболее простая и безошибочная реализация алгоритма. Соответствие разработанной программы исходному алгоритму измеряетсячисломдопущенныхошибок.Этотпримерпоказываетразличие требований к качеству моделей на разных этапах проектирования.

На несопоставимость могут влиять и рассмотренные выше свойства подобия, адаптивности и самоорганизуемости моделей в тех случаях, когда существуют ограничения на ресурсы.Действительно, реализация структур- но-функциональногоподобия,свойствадаптивностиисамоорганизуемости усложняет модель, что влечет за собой увеличение объема привлекаемых для ее реализации ресурсов.

159

Квалиметрия моделей и полимодельных комплексов

5.2.Методы оценивания качества моделей

иполимодельных комплексов

5.2.1.Основные понятия теории многомерного оценивания

Внастоящее время разработано большое количество методов оценивания объектов по многим показателям. Из них для определения качества моделей

иПМК представляют интерес методы многомерного оценивания конечного множества объектов (МО КМО). К этой группе относятся методы векторной оптимизации (Dominance analysis) [12], многоцелевой (многокритериальной) оптимизации (Multiobjective optimization) [13], многомерной оптимизация по полезности (Utility-based multiattribute optimization) [14, 15], вычисления при-

оритетов на основе парных сравнений (Pairwise prioritization) [16]. Рассчитанные на решение одного класса задач, они должны иметь как

общие черты, так и различия. Выявление сходства и различия позволяет систематизировать методы и на этой основе выбирать наиболее подходящий из них для решения конкретной задачи оценивания. Систематизация методов требует уточнения таких ключевых понятий многомерного оценивания,

как показатель, предпочтение, критерий, функция полезности (ценности).

В наглядной форме перечисленные понятия представлены на рис. 5.2 относительно шкал, в которых измеряются показатели (признаки объекта) и функции полезности [17].

Рис. 5.2. Оценивание объектов по одному признаку (свойству).

Оси абсцисс графика сопоставлена шкала [yj,min, yj,max] j-го признака, а оси ординат ‒ шкала [–1, +1] полезности. В целях общности в график включена отрицательная полуось [–1, 0], отражающая возможные потери по j-му признаку. Если в задаче выбора потери отсутствуют, то используется только положительная полуось полезности [0, +1]. Объект xi может оцениваться как в шкале признака [yj,min, yj,max], так и в шкале полезности [–1, +1].

160