20.Разновидности методов качественного оценивания сложных систем. Методы экспертного оценивания: метод ранжирования.

При использовании экспертных методов предполагается, что использование группы методов надежнее, чем мнение одного эксперта. В некоторых отмечается, что это предположение не является очевидным. Одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки более надежны. К числу таких требований относится: распределение оценок, полученных от экспертов должно быть гладким. Две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом должны быть близки.

Метод ранжирования представляет собой процедуру упорядочивания объектов, которую выполняет эксперт. На основе своих знаний и опыта эксперт располагает объекты в порядке их предпочтения. При этом он руководствуется одним или несколькими выбранными показателями сравнения.

В зависимости от вида отношений между объектами возможны различные варианты упорядочивания объектов:

1-й вариант: пусть среди объектов нет одинаковых по сравниваемым показателям (нет эквивалентных объектов). В этом случае между объектами существует отношение строгого порядка. В результате сравнения всех объектов по отношению строгого порядка составляется упорядоченная последовательность, при этом объект с 1-м номером является наиболее предпочтительным из всех объектов. Такому упорядочиванию объектов соответствует упорядочивание чисел.В практике ранжирования чаще всего применяется числовое представление последовательности в виде натуральных чисел. В этом случае эти числовые значения называют рангами.

2-й вариант: применение строгих числовых отношений типа >,< или = не всегда позволяет установить порядок между объектами. Поэтому наряду с перечисленными отношениями для определениями большей или меньшей степени какого-то качественного признака используют и отношения более предпочтительно или менее предпочтительно, эквивалентно или безразлично. Такое упорядочивание объектов образует нестрогий линейный порядок. В этом случае наиболее предпочтительному объекту присваивается ранг, равный единице, второму по предпочтительности – ранг, равный двум и т.д.

Для эквивалентных объектов удобно с точки зрения обработки экспертных оценок назначать одинаковые ранги. В качестве значения ранга принимается среднее арифметическое значение рангов присваиваемых равным объектам.

Достоинством ранжирования как метода субъективного измерения является простота осуществления процедуры.

Недостатком ранжирования является практическая невозможность упорядочивания объектов, когда их число превышает 15-20.

Психологи утверждают, что память человека позволяет оперировать одновременно 7 2 объекта.

21. Разновидности методов качественного оценивания сложных систем. Методы экспертного оценивания: метод парного сравнения.

При использовании экспертных методов предполагается, что использование группы методов надежнее, чем мнение одного эксперта. В некоторых отмечается, что это предположение не является очевидным. Одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки более надежны. К числу таких требований относится: распределение оценок, полученных от экспертов должно быть гладким. Две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом должны быть близки.

Все множество проблем, решаемых методами экспертных оценок можно разделить на 2 класса:

1-й класс: такие методы, в отношении которых имеется достаточное обеспечение информации. При этом методы опроса и обработки основываются на принципе «хорошего измерителя», т.е эксперт является источником достоверной инф, а групповое мнение экспертов близко к истинному решению.

2-й класс: проблемы, в отношении которых инф для уверенности и справедливости указанных гипотез недостаточно. В этом случае экспертов уже нельзя рассматривать, как хороших измерителей, поэтому необходимо осторожно подходить к обработке результатов экспертизы.

Экспертные оценки несут в себе как узко субъективные черты, присущие каждому эксперту, так и коллективно субъективные, присущие группе экспертов. При этом если первые устраняются в процессе обработки индивидуальных оценок, то вторые не исчезают, какие бы способы обработки не использовались.

Экспертиза включает следующие этапы:

Опрос; Формирование группы экспертов;

Анализ; Формирование цели экспертизы;

Обработка информации. Разработка процедуры экспертизы

При этом при формировании целей разработчик должен выработать четкое представление о том, кем и для каких целей будут использованы результаты экспертизы.

Типы использования процедур экспертизы зависят от задачи оценивания. К наиболее часто используемым процедурам экспертных измерений относят:

Непосредственная оценка Множественное сравнение

Метод фон Неймана-Моргенштерна Ранжирование

Парное сравнение

Целесообразность применения того или иного метода во многом определяется характером анализируемой инф. Если оправданы лишь качественные оценки объектов по некоторым признакам, то используются методы ранжирования парного и множественного сравнения. Если характер анализируемой информации такой, что целесообразно получить численные оценки объектов, то можно использовать более тонкие методы, в частности метод фон Неймана. При описании каждого из перечисленных методов предполагается, что имеется конечное число измеряемых или оцениваемых альтернатив (объектов). А также сформулированы один или несколько признаков сравнения. Следовательно методы измерения будут отличаться лишь процедурой сравнения объектов.

Парное сравнение представляет собой процедуру упорядочивания предпочтительности объектов при сравнении всех возможных пар. В отличие от ранжирования, парное сравнение является более простой задачей. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Из этого следует, что парное сравнение также, как и ранжирование, есть измерение в порядковой шкале.

Суть метода «Парное сравнение» можно пояснить на простом примере: представим, что перед нами множество внешне одинаковых предметов, но разных по весу. Если под рукой нет весов, то эти предметы можно проранжировать путем их парного взвешивания в руках. При этом можно, что является важным для данного метода, также определить минимальную величину, которая ощущается как разница 2-х близких весов. Эта величина характеризует порог восприятия оцениваемых объектов по какому-то признаку. В данном случае по весу.

В результате парного сравнения пары объектов эксперт упорядочивает их, высказывая предположения о способах предпочтительности.