Лекция №2. Показатели и критерии оценки систем. Шкалы

А.2.1. Показатели и критерии оценки систем

Существенные свойства в соответствии с представлением си­стемы как семантической модели можно условно классифициро­вать не только по уровню сложности, но и по принадлежности к системообразующим (общесистемным), структурным или функ­циональным группам. Ниже приведены характерные показатели существенных свойств систем:

• общесистемные свойства целостность, устойчивость, на­блюдаемость, управляемость, детерминированность, открытость, динамичность и др.;

• структурные свойства состав, связность, организация, сложность, масштабность, пространственный размах, централизованность, объем и др.;

• функциональные (поведенческие) свойства результатив­ность, ресурсоемкость, оперативность, активность, мощность, мобильность, производительность, быстродействие, готовность, работоспособность, точность, экономичность и др.

При таком рассмотрении показатели качества можно отнес­ти к области общесистемных и структурных свойств систем. Свой­ства же, которые характеризуют процесс функционирования (по­ведение) системы, можно назвать операционными свойствами или свойствами операции, поскольку искусственные системы создаются для выполнения конкретных операций.

В общем случае оценка операционных свойств проводится как оценка двух аспектов:

1) исхода (результатов) операции;

2) алгоритма, обеспечивающего получение результатов. Качество исхода операции и алгоритм, обеспечивающий по­учение результатов, оцениваются по показателям качества операции, к. которым относят результативность, ресурсоемкость и оперативность.

Результативность Э операции обусловливается получаемым Целевым эффектом, ради которого функционирует система.

Ресурсоемкость R характеризуется ресурсами всех видов (люд­скими, материально-техническими, энергетическими, информационными, финансовыми и т.п.), используемыми для получения целевого эффекта.

Оперативность О определяется расходом времени, потребно­го для достижения цели операции.

Оценки исхода операции (аспект 1) учитывает, что операция проводится для достижения определенной цели - исхода опера­ции. Под исходом операции понимается ситуация (состояние си­стемы и внешней среды), возникающая на момент ее заверше­ния. Для количественной оценки исхода операции вводится по­нятие показателя исхода операции (ПИО), вектора, , компоненты которого суть показатели его отдельных свойств, отражающие результативность, ресурсоемкость и опе­ративность операции.

Оценка алгоритма функционирования (аспект 2) является ве­дущей при оценке эффективности. Такое утверждение основыва­ется на теоретическом постулате, подтвержденном практикой: наличие хорошего «алгоритма» функционирования системы повы­шает уверенность в получении требуемых результатов. В прин­ципе, требуемые результаты могут быть получены и без хороше­го алгоритма, но вероятность этого невелика. Это положение особенно важно для организационно-технических систем и сис­тем, в которых результаты операции используются в режиме ре­ального времени.

В совокупности результативность, ресурсоемкость и опера­тивность порождают комплексное свойство - эффективность процесса - степень его приспособленности к достижению цели. Это свойство, присущее только операциям, проявляется при фун­кционировании системы и зависит как от свойств самой систе­мы, так и от внешней среды.

В литературе термин «эффективность» связывается и с сис­темой, и с операцией, и с решением. Образуемые при этом по­нятия можно считать эквивалентными. В конечном счёте каж­дое из них отражает соответствие исхода операции поставлен­ной цели. Обычно нужно иметь в виду, что одна или несколько операций реализуются системой. Для большинства операций процедура оценки эффективности решений носит характер прогнозирования.

Выбор критерия эффективности - центральный, самый ответ­ственный момент исследования системы.

Считается, что гораздо лучше найти неоптимальное решение по правильно выбранному критерию, чем наоборот - оптималь­ное решение при неправильно выбранном критерии.

Процесс выбора критерия эффективности, как и процесс оп­ределения цели, является в значительной мере субъективным, творческим, требующим в каждом отдельном случае индивиду­ального подхода. Наибольшей сложностью отличается выбор критерия эффективности решений в операциях, реализуемых иерархическими системами.

Математическое выражение критерия эффективности называ­ют целевой функцией, поскольку ее экстремизация является отобра­жением цели операции. Отсюда следует, что для формирования критерия эффективности решений в операции прежде всего требу­ется определить поставленную цель. Затем нужно найти множе­ства управляемых и неуправляемых характеристик системы, реа­лизующей операцию. Следующий шаг - определение показателей исходов операции. Только после этого возможны выбор и форми­рование критерия эффективности. Показатели (функции показа­телей) исходов операции, на основе которых формируется крите­рий эффективности, принято называть показателями эффективно­сти. В отдельных операциях показатель исхода операции может прямо выступать критерием эффективности.

Конкретный физический смысл показателей определяется ха­рактером и целями операции, а также качеством реализующей ее системы и внешними воздействиями.

В отдельных системах в качестве показателей результативно­сти могут рассматриваться показатели ресурсоемкости или опе­ративности, однако качество операции в целом не может быть охарактеризовано ни одним из перечисленных частных свойств в отдельности, а определяется, подобно ПИО, их совокупностью .

Хотя конкретные операции достаточно многообразны, суще­ствует ряд общих принципиальных положений, которыми необ­ходимо руководствоваться при формировании системы критериев эффективности решений.

В зависимости от типа систем и внешних воздействий опера­ции могут быть детерминированными, вероятностными или нео­пределенными. В соответствии с этим выделяют три группы по­казателей и критериев эффективности функционирования систем:

• в условиях определенности, если ПИО отражают один стро­го определенный исход детерминированной операции;

• в условиях риска, если ПИО являются дискретными или непрерывными случайными величинами с известными законами распределения в вероятностной операции;

• в условиях неопределенности, если ПИО являются случай­ными величинами, законы распределения которых неизвестны.

Критерий пригодности для оценки детерминированной опе­рации

определяет правило, по которому операция считается эффектив­ной, если все частные показатели исхода операции принадлежа! области адекватности.

Критерий оптимальности для оценки детерминированной опе­рации

определяет правило, по которому операция считается эффектив­ной, если все частные показатели исхода операции принадлежат области адекватности, а радиус области адекватности по этим показателям оптимален.

Критерий пригодности для оценки эффективности вероятнос­тной операции

определяет правило, по которому операция считается эффектив­ной, если вероятность достижения цели по показателям эффек­тивности не меньше требуемой вероятности достиже­ния цели по этим показателям.

Критерий оптимальности для оценки эффективности вероят­ностной операции

определяет правило, по которому операция считается эффектив­ной, если вероятность достижения цели по показателям эффек­тивности равна вероятности достижения цели с опти­мальными значениями этих показателей.

Основной проблемой оценки эффективности вероятностных операций является неясность способа определения требуемых ве­роятностей. Это связано с отсутствием достаточной статистики. Известно, что применение методов классической теории вероят­ностей допустимо при повторяемости опытов и одинаковости условий. Эти требования в сложных системах выполняются не всегда.

Наибольшие трудности возникают при оценке эффективнос­ти систем в условиях неопределенности. Для решения этой зада­чи разработано несколько подходов. Порядок оценки эффектив­ности систем в неопределенных операциях составляет один из разделов теории принятия решений.

Выбор показателей для конкретной системы связан с анали­зом большого объема плохо структурированной информации, и поэтому в системном анализе сформулированы требования, сле­дование которым позволяет обосновать применимость показа­телей в данной задаче оценки.

Общими требованиями к показателям исхода операции явля­ются:

• соответствие ПИО цели операции;

• полнота;

• измеримость;

• ясность физического смысла;

• неизбыточность;

• чувствительность.

Одним из основных требований является соответствие ПИО цели операции, реализуемой системой. Цели операции в значитель­ной степени зависят от предназначения системы. Например, для такой ИС, как АСУ, целями операции могут быть обеспечение требуемых значений оперативности, достоверности, устойчиво­сти и безопасности решения задач управления и передачи сооб­щений и др. Для каждой из выдвигаемых целей должны быть оп­ределены одна или несколько составляющих ПИО.

К числу основных требований к ПИО относится также его полнота. Суть этого требования заключается в том, что ПИО должен отражать желательные (целевые) и нежелательные (по­бочные) последствия операции по показателям результативнос­ти, ресурсоемкости и оперативности. Заметим, что одним из по­казателей правильности выбора составляющих ПИО и их полноты является монотонный характер функции полезности (ценнос­ти), построенной для каждой составляющей. Если при этом ка­кая-либо из функций не монотонная, то это означает, что упуще­ны одна или несколько составляющих ПИО.

Следующее важное требование к ПИО - измеримость ею составляющих с помощью либо натурного эксперимента, либо моделей операции. Если рассматриваемая операция не позволя­ет это сделать, ее целесообразно разложить на подоперации, обес­печивающие измеримость составляющих. Процесс декомпозиции операции на подоперации может быть многоуровневым. Напри­мер, операцию «Решение задач управления» можно разделить на подоперации: «Решение задач планирования» и «Решение задач оперативного управления», а последние, в свою очередь, - на «Ре­шение задач учета», «Решение задач контроля» и т.д.

При определении задач ПИО необходимо стремиться к ясно­сти их физического смысла, т.е. чтобы они измерялись с помо­щью количественных мер, доступных для восприятия. Однако достичь этого удается не всегда. Тогда приходится вводить так называемые субъективные составляющие ПИО. Например, такое свойство людей, как обученность, обычно не может быть опре­делено с помощью характеристик, имеющих физический смысл. В этом случае часто вводят некоторую искусственную шкалу. Другой способ обеспечения измеримости составляющих ПИО переход к показателям-заменителям, косвенно характеризующим рассматриваемое свойство. Требование ясности физического смысла ограничивает возможности агрегирования частных по­казателей в один критерий. Так, например, не имеет физического смысла обобщенный скалярный показатель, составленный из ча­стных показателей результативности, ресурсоемкости и оператив­ности.

Важным требованием к ПИО является минимизация его раз­мерности, т.е. обеспечение неизбыточного набора составляющих. С ростом количества составляющих резко возрастает трудоем­кость построения функции эффективности.

И, наконец, в группу основных требований к составляющим ПИО обычно вводят их относительно высокую чувствительность к изменениям значений управляемых характеристик.

Таким образом, набор составляющих ПИО может быть оп­ределен различными способами, поскольку к настоящему времени еще не существует формальной теории, обеспечивающей объективное решение этой задачи. Два лица, принимающие ре­шение на одну и ту же операцию, могут определить различный состав ПИО. Важно лишь то, что, используя различные ПИО, они должны выбрать одинаковое решение - оптимальное.

А.2.2. Основные типы шкал измерения

В основе оценки лежит процесс сопоставления значений ка­чественных или количественных характеристик исследуемой си­стемы значениям соответствующих шкал. Исследование харак­теристик привело к выводу о том, что все возможные шкалы при­надлежат к одному из нескольких типов, определяемых перечнем допустимых операций на этих шкалах.

Формально шкалой называется кортеж из трех элементов , где Х реальный объект, шкала,гомоморфное отображениеХ на .

В современной теории измерений определено:

эмпирическая система с отно­шением, включающая множество свойств , на которых в соответствии с целями измерения задано некоторое отношение . В процессе измерения необходимо каждому свойству поста­вить в соответствие признак или число, его характеризующее. Если, например, целью измерения является выбор, то элементы , рассматриваются как альтернативы, а отношение должно позволять сравнивать эти альтернативы;

знаковая система с отношением, являющаяся отображением эмпирической системы в виде неко­торой образной или числовой системы, соответствующей изме­ряемой эмпирической системе;

- гомоморфное отображение Х на , устанавливающее соответствие междуХ и так, чтотолько тогда, когда.

Тип шкалы определяется по , множеству до­пустимых преобразований .

В соответствии с приведенными определениями, охватываю­щими как количественные, так и качественные шкалы, измере­ние эмпирической системы Х с отношением состоит в опреде­лении знаковой системы с отношением , соответствующей измеряемой системе. Предпочтения на множестве в ре­зультате измерения переводятся в знаковые (в том числе и коли­чественные) соотношения на множестве .

Самой слабой качественной шкалой является номинальная (шкала наименований, классификационная шкала), по которой объектам , или их неразличимым группам дается некоторый признак. Основным свойством этих шкал является сохранение неизменными отношений равенства между элементами эмпири­ческой системы в эквивалентных шкалах.

Шкалы номинального типа задаются множеством взаимно однозначных допустимых преобразований шкальных значений.

Название «номинальный» объясняется тем, что такой признак дает лишь ничем не связанные имена объектам. Эти значения для разных объектов либо совпадают, либо различаются; никакие более тонкие соотношения между значениями не зафиксирова ны. Шкалы номинального типа допускают только различение объектов на основе проверки выполнения отношения равенства на множестве этих элементов.

Номинальный тип шкал соответствует простейшему виду из­мерений, при котором шкальные значения используются лишь как имена объектов, поэтому шкалы номинального типа часто называют также шкалами наименований.

Примерами измерений в номинальном типе шкал могут слу­жить номера автомашин, телефонов, коды городов, лиц, объек­тов и т. п. Единственная цель таких измерений выявление раз­личий между объектами разных классов. Если каждый класс со­стоит из одного объекта, шкала наименований используется для различения объектов.

На рис. 2.1 изображено измерение в номинальной шкале объектов, представляющих три множества элементов А, В, С. Здесь эмпирическую систему представляют четыре элемента: , принадлежащих соответствующим мно­жествам. Знаковая система представлена цифровой шкалой наи­менований, включающей элементы и сохраняющей отношение равенства. Гомоморфное отображение ставит в со­ответствие каждому элементу из эмпирической системы опреде­ленный элемент знаковой системы.

Следует обратить внимание на две особенности номинальных шкал.

Во-первых, элементам с и d поставлено в соответствие одно и то же значение шкалы измерения (см. рис. 2.1). Это означает, что при измерении эти элементы не различаются.

Во-вторых, при измерении в шкале наименований символы 1, 2, 3,... , п, используемые в качестве шкальных значений, явля­ются не числами, а цифрами, служащими лишь для обозначения и различия объектов. Так, цифра 2 не является в два раза или на единицу больше цифры 1 в отличие от чисел 2 и 1.

Всякая обработка результатов измерения в номинальной шка­ле должна учитывать данные особенности. В противном случае могут быть сделаны ошибочные выводы по оценке систем, не соответствующие действительности.

Шкала называется ранговой (шкала порядка), если множество Ф состоит из всех монотонно возрастающих допустимых преоб­разований шкальных значений.

Монотонно возрастающим называется такое преобразование , которое удовлетворяет условию: если , то и для любых шкальных значений из области определения . Порядковый тип шкал допускает не только раз­личие объектов, как номинальный тип, но и используется для упо­рядочения объектов по измеряемым свойствам. Измерение в шкале порядка может применяться, например, в следующих ситуациях:

• необходимо упорядочить объекты во времени или про­странстве. Это ситуация, когда интересуются не сравнением сте­пени выраженности какого-либо их качества, а лишь взаимным пространственным или временным расположением этих объектов;

• нужно упорядочить объекты в соответствии с каким-либо качеством, но при этом не требуется производить его точное из­мерение;

• какое-либо качество в принципе измеримо, но в настоящим момент не может быть измерено по причинам практического или теоретического характера.

Примером шкалы порядка может служить шкала твердости минералов, предложенная в 1811 г. немецким ученым Ф. Моосом и до сих пор распространенная в полевой геологической работе. Другими примерами шкал порядка могут служить шкалы силы ветра, силы землетрясения, сортности товаров в торговле, раз­личные социологические шкалы и т.п.

Любая шкала, полученная из шкалы порядка S с помощью произвольного монотонно возрастающего преобразования шкальных значений, будет также точной шкалой порядка для исходной эмпирической системы с отношениями.

Несколько более «сильными», чем порядковые шкалы, явля­ются шкалы гиперпорядка. Допустимыми для этих шкал являют­ся гипермонотонные преобразования, т.е. преобразования , такие, что для любых и

только когда ипринадлежат области определенияи.

При измерении в шкалах гиперпорядка сохраняется упорядо­чение разностей численных оценок

Одним из наиболее важных типов шкал является тип интер­валов. Тип шкал интервалов содержит шкалы, единственные с точностью до множества положительных линейных допустимых преобразований вида , где шкальные значе­ния из области определения ;а > 0; b - любое значение.

Основным свойством этих шкал является сохранение неизмен­ными отношений интервалов в эквивалентных шкалах:

.

Отсюда и происходит название данного типа шкал. Приме­ром шкал интервалов могут служить шкалы температур. Пере­ход от одной шкалы к эквивалентной, например от шкалы Цельсия к шкале Фаренгейта, задается линейным преобразованием шкальных значений: .

Другим примером измерения в интервальной шкале может служить признак «дата совершения события», поскольку для из­мерения времени в конкретной шкале необходимо фиксировать масштаб и начало отсчета. Григорианский и мусульманский ка­лендари две конкретизации шкал интервалов.

Таким образом, при переходе к эквивалентным шкалам с по­мощью линейных преобразований в шкалах интервалов проис­ходит изменение как начала отсчета (параметр b), так и масшта­ба измерений (параметр а).

Шкалы интервалов так же, как номинальная и порядковая, сохраняют различие и упорядочение измеряемых объектов. Од­нако кроме этого они сохраняют и отношение расстояний между паоами объектов. Запись

означает, что расстояние между и вК раз больше расстоя­ния между ив любой эквивалентной шкале это значение (отношение разностей численных оценок) сохранится. При этом отношения самих оценок не сохраняются.

В социологических исследованиях в шкалах интервалов обыч­но измеряют временные и пространственные характеристики объектов. Например, даты событий, стаж, возраст, время выпол­нения заданий, разницу в отметках на графической шкале и т.д. Однако прямое отождествление замеренных переменных с изу­чаемым свойством не столь просто.

В качестве другого примера рассмотрим испытание умствен­ных способностей, при котором измеряется время, требуемое для решения какой-нибудь задачи. Хотя физическое время измеряет­ся в шкале интервалов, время, используемое как мера умствен­ных способностей, принадлежит шкале порядка. Для того чтобы построить более совершенную шкалу, необходимо исследовать более богатую структуру этого свойства.

Типичная ошибка: свойства, измеряемые в шкале интервалов, принимаются в качестве показателей для других свойств, монотонно связанных с данными.

Применяемые для измерения связанных свойств исходные шкалы интервалов становятся всего лишь шкалами порядка. Игнорирование этого факта часто приводит к неверным резуль­татам.

Шкалой отношений (подобия) называется шкала, если Ф состо­ит из преобразований подобия , а> 0, где - шкальные значения из области определения Y; а - действительные числа.

Нетрудно убедиться, что в шкалах отношений остаются неиз­менными отношения численных оценок объектов. Действитель­но, пусть в одной шкале объектам и соответствуют шкальные значения и, а в другой и, где а > 0 - произвольное действительное число. Тогда имеем:

.

Данное соотношение объясняет название шкал отношений. Примерами измерений в шкалах отношений являются измерения массы и длины объектов. Известно, что при установлении массы используется большое разнообразие численных оценок. Так, про­изводя измерение в килограммах, получаем одно численное зна­чение, при измерении в фунтах - другое и т.д. Однако можно за­метить, что в какой бы системе единиц ни производилось изме­рение массы, отношение масс любых объектов одинаково и при переходе от одной числовой системы к другой, эквивалентной, не меняется. Этим же свойством обладает и измерение расстоя­ний и длин предметов.

Как видно из рассмотренных примеров, шкалы отношений отражают отношения свойств объектов, т.е. во сколько раз свойство одного объекта превосходит это же свойство другого объекта.

Шкалы отношений образуют подмножество шкал интервалов фиксированием нулевого значения параметра b : b = 0. Такая фиксация означает задание нулевой точки начала отсчета шкальных значений для всех шкал отношений. Переход от одной шка­лы отношений к другой, эквивалентной ей шкале осуществляется с помощью преобразований подобия (растяжения), т.е. измене­нием масштаба измерений. Шкалы отношений, являясь частным случаем шкал интервалов, при выборе нулевой точки отсчета со­храняют не только отношения свойств объектов, но и отношения расстояний между парами объектов.

Шкалы разностей определяются как шкалы, единственные с точностью до преобразований сдвига , где - шкальные значения из области определения ;b действитель­ные числа. Это означает, что при переходе от одной числовой системы к другой меняется лишь начало отсчета.

Шкалы разностей применяются в тех случаях, когда необхо­димо измерить, насколько один объект превосходит по опреде­ленному свойству другой объект. В шкалах разностей неизмен­ными остаются разности численных оценок свойств. Действитель­но, если и - оценки объектов и в одной шкале, а и- в другой шкале, то имеем:

.

Примерами измерений в шкалах разностей могут служить измерения прироста продукции предприятий (в абсолютных еди­ницах) в текущем году по сравнению с прошлым, увеличение чис­ленности учреждений, количество приобретенной техники за год и т. д.

Другим примером измерения в шкале разностей является ле­тоисчисление (в годах). Переход от одного летоисчисления к дру­гому осуществляется изменением начала отсчета.

Как и шкалы отношений, шкалы разностей являются част­ным случаем шкал интервалов, получаемых фиксированием па­раметра а: (а = 1), т.е. выбором единицы масштаба измерений. Точка отсчета в шкалах разностей может быть произвольной.

Шкалы разностей, как и шкалы интервалов, сохраняют отно­шения интервалов между оценками пар объектов, но, в отличие от шкалы отношений, не сохраняют отношения оценок свойств объектов.

Абсолютными называют шкалы, в которых единственными допустимыми преобразованиями Ф являются тождественные преобразования: , где е{х) = х.

Это означает, что существует только одно отображение эм­пирических объектов в числовую систему. Отсюда и название шкалы, так как для нее единственность измерения понимается в буквальном абсолютном смысле.

Абсолютные шкалы применяются, например, для измерения количества объектов, предметов, событий, решений и т.п. В ка­честве шкальных значений при измерении количества объектов используются натуральные числа, когда объекты представлены целыми единицами, и действительные числа, если кроме целых единиц присутствуют и части объектов.

Абсолютные шкалы являются частным случаем всех ранее рассмотренных типов шкал, поэтому сохраняют любые соотно­шения между числами оценками измеряемых свойств объектов: различие, порядок, отношение интервалов, отношение и разность значений и т.д.

Кроме указанных существуют промежуточные типы шкал, та­кие, например, как степенная шкала ; а >0, b> 0, ,и ее разновидность логарифмическая шкала.

Не останавливаясь подробно на промежуточных вариантах, изобразим для наглядности соотношения между основными ти­пами шкал в виде иерархической структуры основных шкал (рис. 2.2). Здесь стрелки указывают включение совокупностей до­пустимых преобразований более «сильных» в менее «сильные» типы шкал. При этом шкала тем «сильнее», чем меньше свободы в выборе .

Некоторые шкалы являются изоморфными, т.е. равносильны­ми. Например, равносильны шкала интервалов и степенная шка­ла. Логарифмическая шкала равносильна шкале разностей и шка­ле отношений.