2.4. Методы экспертных оценок

Изучению возможностей и осо­бенностей применения методов экспертных оценок посвящено много работ, в том числе имеется ряд обзоров. Термин «эксперт» происходит от латинского слова expert, означающий «опытный». Неизвестная характеристика исследуемого явления трактуется при этом обычно как случайная величина.

Применение классического частотного подхода к оценке веро­ятности при проведении экспертной оценки бывает затруднитель­ным, а иногда и просто невозможным, так как исчисление вероят­ностей основано на законе больших чисел, выполнение которого предполагает массовый характер исследуемых явлений и наличия большого числа подтверждений в прошлом.

Отражением закона распределения этой величины является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события.

Когда такие оценки получены от группы экспер­тов, предполагается, что истинное значение исследуемой харак­теристики находится внутри диапазона оценок и что обобщенное коллективное мнение является достоверным.

Одной из важнейших черт различных сложных систем является их неопределенность.

Эта неопределенность объясняется:

• сравнительно слабой изученностью анализируемых процессов и явлений;

• отсутствием однозначного критерия качества функционирования объектов и систем;

• недостатком как априорной, так и оперативной информации о состоянии вопроса;

• наличием существенных ошибок измерения контролируемых показателей;

• отсутствие достаточно адекватных реальности математических моделей;

• существенной трудностью предсказания состояния объекта управления с приемлемой точностью даже на малый промежуток времени;

• наличием существенной нестационарности характеристик объектов, имеющих трудно предсказуемую структуру, и.т.д.

Всё это свидетельствует о сложности технико-экономических проблем, требует использования для их решения применения методов теории систем, основанных на разумном сочетании современных математических методов, богатого опыта специалистов-практиков и научных работников.

Как, в какой степени и на каком этапе исследования следует использовать метод экспертных оценок, в основном зависит от конкретной проблемы и условий, в которых она решается.

Экспертные оценки следует трактовать шире, чем просто сбор и усреднение произвольно собранных точек зрения, что действительно является некорректным. Помимо того, необходимо иметь в виду, что последнее слово всегда остаётся за исследователем, который принимает окончательное решение об использовании результатов экспертизы, которую следует рассматривать как средство получения дополнительной информации, позволяющей уменьшить не определённость, имеющая место при решении задачи.

Любой исследователь, даже полностью отрицающий применимость экспертных оценок, в реальной жизни сталкивается с их использованием. Так, решая конкретную прикладную задачу, он непременно пользуется различного рода консультациями, извлекает пользу из личных бесед. При этом он либо останавливается на одном из предложенных решений, либо синтезирует новое решение, анализируя полученную субъективную информацию.

Основное возражение против метода экспертных оценок заключается в том, что ряд исследователей считают недопустимым совместное рассмотрение мнений экспертов, высказывающих различные точки зрения. Однако привычными для всех являются ошибки измерения в физическом эксперименте, устранение которых достигается дублированием и многократным повторением опыта. Эксперты же при опросе выполняют, по сути дела, функции датчиков и измерительных приборов. Если диапазон ответов включает истинный ответ, а это, как отмечают многие авторы, на практике обычно имеет место, то совокупность разрозненных мнений корректно может быть синтезирована в некоторое обобщенное мнение, близкое к реальности. Полное единодушие экспертов с первых шагов экспертизы свидетельствует лишь о тривиальности проблемы.

Таким образом, ясно, что выбор методов и приёмов обработки экспертных заключений должен зависеть, кроме всего прочего, и от степени согласованности ответов. Многие из методов экспертных оценок учитывают эту ситуацию. С другой стороны, если взгляды экспертов существенно расходятся, могут быть применены специальные многошаговые опросы, преследующие цель уменьшить разброс мнений, либо выяснить их причину. Однако следует помнить, что даже полное единодушие экспертов не является критерием достоверности ответа, так как из-за неправильно организованной экспертизы оно может быть результатом конформизма, либо следствием не репрезентативности выбранной группы экспертов.

В большинстве прикладных исследований метод экспертных оценок применяется для выделения существенных факторов и их ранжирования. При этом чаще всего применяют методы опроса, основанные на прямом ранжировании, а полученные субъективные методы обрабатывают методами ранговой корреляции. Однако область применения метода намного шире.

Можно указать следующие задачи, в которых использование метод экспертных оценок дает определенную практическую пользу:

• выбор целей исследования;

• выбор и построение критериев в задачах векторной оптимизации;

• принятие решений при управлении производством и выбор наилучшего варианта решения любой другой достаточно сложной проблемы в условиях неопределенности;

• задачи идентификации (математическое описание);

• построение эвристических механизмов управления;

• эргонометрические исследования;

• оценка качества продукции и пр.

Экспертные оценки не следует рассматривать как некий нулевой цикл исследования, ему должен предшествовать детальный априорный анализ существа вопроса. Систематизация этих априорных сведений позволяет целенаправленно и планомерно организовать экспертизу, ориентированную на извлечение массовой информации.

Экспертизу чаще всего следует рассматривать как последний, наиболее формальный шаг априорного анализа. При этом получают приближённую информацию по данной задаче на языке ее окончательного решения, которая может использоваться в дальнейшем в виде ограничений, отправных точек процесса оптимизации и т.д. Однако в некоторых случаях результаты могут быть использованы и как самостоятельные решения, особенно если отсутствует какая-либо другая информация.

До сих пор обсуждались вопросы формализации субъективного мнения с самостоятельным использованием экспертных оценок. Однако иногда встречаются такие случаи, когда некоторые вопросы могут быть решены формальными методами и лишь на отдельных этапах требуется экспертная информация. Наилучшего сочетания обоих подходов можно добиться, используя так называемые диалоговые, имитационные системы. Хотя это ещё сравнительно новое направление в научных исследованиях, в настоящее время уже имеется определенный опыт разработки и практического применения диалоговых человека-машинных алгоритмов решения различных задач описания, оптимизации и т.д.

Сущность метода экспертных оценок.

Сущность метода экспертных оценок заключается в про­ведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и фор­мальной обработкой результатов.

Получаемое в резуль­тате обработки обобщенное мнение экспертов принима­ется как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мыш­ления и количественных оценок с их формальной обра­боткой позволяет получить эффективное решение проб­лемы.

При выполнении своей роли в процессе управления эксперты производят две основные функции:

• формируют объекты (альтернативные ситуации, цели, решения и т. п.);

• производят измерение их характеристик (ве­роятности свершения событий, коэффициенты значимо­сти целей, предпочтения решений и т. п.).

Формирование объектов осуществляется экспертами на основе логиче­ского мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характери­стик объектов требует от экспертов знания теории изме­рений.

Характерными особенностями метода экспертных оце­нок как метода решения сложных не фор­мализуемых проблем являются:

• научно обо­снованная организация проведения всех этапов экспер­тизы, обеспечивающая наибольшую эффективность работы на каждом из этапов;

• применение ко­личественных методов, как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов.

Эти две особенности отличают метод экспертных оценок от обычной давно из­вестной экспертизы, широко применяемой в различных сферах человеческой деятельности.

Экспертные коллективные оценки широко использо­вались в государственном масштабе для решения слож­ных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реоргани­зации народного хозяйства страны. При составлении планов развития экономического развития страны систематически используются экспертные оценки ши­рокого круга специалистов.

В настоящее время в России и за рубежом ме­тод экспертных оценок широко применяется для решения широкого круга проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные ко­миссии, формирующие решения по различным сложным и не формализуемым проблемам.

Все множество плохо формализуемых проблем услов­но можно разделить на два класса.

1. К первому классу относятся проблемы, в отношении которых имеется до­статочный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информаци­онного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя.

Принцип означает, что выполняются следующие гипотезы:

• эксперт является хранилищем большого объема ра­ционально обработанной информации, и поэтому он мо­жет рассматриваться как качественный источник инфор­мации;

• групповое мнение экспертов близко к истинному ре­шению проблемы.

Если эти гипотезы верны, то для построения проце­дур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической стати­стики.

2. Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающее­ся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработ­ка.

Типовые задачи, решаемые ме­тодом экспертных оценок:

• составление перечня возможных событий в различ­ных областях за определенный промежуток времени;

• определение наиболее вероятных интервалов време­ни свершения совокупности событий;

• определение целей и задач управления с упорядоче­нием их по степени важности;

• определение альтернативных (вариантов решения за­дачи с оценкой их предпочтения;

• альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

• альтернативные варианты принятия решений в опре­деленной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоя­щее время применяются различные разновидности мето­да экспертных оценок. К основным видам относятся: ан­кетирование и интервьюирование; мозговой штурм; дис­куссия; совещание; оперативная игра; сценарий.

В литературе в основном рассматриваются вопросы экспертного оценивания для решения задач первого класса. Но всегда необходимо помнить особенности экспертных оценок: они несут в себе как субъективные черты, присущие каждому эксперту, так и коллективно-субъективные, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, ка­кие бы способы обработки ни применялись.

Каждый из этих видов экспертного оценивания обла­дает своими преимуществами и недостатками, определя­ющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное примене­ние нескольких видов экспертизы.

Для реализации методов экспертных оценок важную роль играет тщательная подготовка их проведения.

Этапы организа­ции экспертизы:

• формирование цели экспертизы;

• разработка про­цедуры опроса;

• формирование группы экспертов;

• опрос, анализ и обработка информации.

При формулировке цели экспертизы разработчик прогноза должен выработать четкое представление о том, кем и для каких целей будут использованы результаты прогноза.

Прогноз может быть ориентирован на:

• повышение обоснованности решений, принимаемых плановы­ми органами;

• производство технических средств;

• оценку развития различных направлений научных исследова­ний и технических идей и т. д.

В первом случае задача прогноза состоит в опре­делении желательности и необходимости отдельных событий и сроков их свершения. В других случаях задача прогноза должна состоять в определении принципиальной осуществимости и воз­можности свершения ряда событий в течение определенных про­межутков времени.

При использовании метода экспертных оценок воз­никают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обра­ботка результатов опроса, организация процедур экспер­тизы.

Организация экспертного оценивания

Организация экспертного оценивания состоит из трех этапов.

1. Первым этапом организации работ по применению экс­пертного оценивания является подготовка и издание ру­ководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы: постановка задачи-эксперимента; цели эксперимента; обоснование необходимости эксперимента; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ.

Для подготовки этого документа, а также для руко­водства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управ­ления и ответственность за организацию ее работы.

После формирования, группа управления осуществля­ет работу по подбору экспертной группы в следующей последовательности:

• уяснение решаемой проблемы;

• определение круга областей деятельности, связанных с проблемой;

• определение долевого состава экспертов по каждой области деятельности;

• определение количества экспертов в группе;

• составление предварительного спи­ска экспертов с учетом их местонахождения;

• анализ ка­честв экспертов и уточнение списка экспертов в группе;

• получение согласия экспертов на участие в работе;

• составление окончательного списка экспертной группы.

Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов.

При этом решаются следующие вопросы:

• место и время проведения опроса; количество и задачи туров опроса;

• форма проведения опроса;

• порядок фиксации и сбора результатов опроса;

• состав необходимых документов.

2. Вторым этапов работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы об­работки, силы и средства для проведения обработки.

В процессе непосредственного проведения опроса экс­пертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответст­вии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.

3. Третьим этапом работ для группы управления яв­ляется оформление результатов работы.

На этом этапе:

• производится анализ результатов экспертного оценива­ния; составление отчета;

• обсуждение и одобрение ре­зультатов; представление итогов работы на утвержде­ние;

• ознакомление с результатами экспертизы организа­ций и лиц.

Подбор экспертов.

Для реализации процедуры экспертного оценивания не­обходимо сформировать группу экспертов. Общим тре­бованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффектив­ность решения проблемы определяется характеристика­ми достоверности экспертизы и затрат на нее.

Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Использование экс­пертов как раз и обусловлено тем, что отсутствуют ка­кие-либо другие способы получения информации. Поэто­му оценка достоверности экспертизы может осуществ­ляться, как правило, только по апостериорным данным. Если экспертиза проводится систематически с примерно одним и тем же составам экспертов, то появляется возможность накопления ста­тистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки до­стоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы экспертов для последующих экспертиз.

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характе­ристик экспертов.

Важными проблемами процедуры подбора экспертов являются:

1. Определение характера зависимости достоверности от перечисленных факторов является.

2. Формирование системы характеристик эксперта, сущест­венно влияющих на ход и результаты экспертизы и описывающие специфические свой­ства специалиста и возможные отношения между людь­ми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.

3. Организация процеду­ры подбора экспертов, т.е. определение четкой последо­вательности работ, выполняемых в процессе подбора экс­пертов и необходимых ресурсов для их реализации.

Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив за­висимость между достоверностью, количеством экспер­тов и расходами на оплату, группа управления представ­ляет руководству эту информацию и формулирует воз­можные альтернативы решений.

Такими альтернативами могут быть:

• либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего вы­полнение ограничения по расходам на оплату экспертов;

• либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.

Важным этапом работы по подбору экспертов яв­ляется составление предварительного списка экспертов, в процессе которого, проводится анализ ка­честв экспертов. Кроме учета качеств экспертов, опреде­ляются их местонахождение и возможности участия вы­бранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандида­тов в эксперты.

После составления списка экспертов им направляют­ся письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления состав­ляет окончательный список группы экспертов, которые должны участвовать в экспертизе.

После составления и утверждения списка экспертам посылается сообщение о включении их в состав эксперт­ной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высы­лается анкета с необходимыми инструкциями для их за­полнения. Сообщением экспертам о включении их в экс­пертизу заканчивается работа по подбору экспертов.

Опрос экспертов.

Опрос – главный этап совместной работы группы управ­ления и экспертов. Основным содержанием опроса явля­ется:

• постановка задачи и предъявление вопросов экспер­там;

• информационное обеспечение работы экспертов;

• выработка экспертами суждений, оценок, предложе­ний;

• сбор результатов работы экспертов.

Выделяют три типа задач, которые решаются в процессе опроса:

• оценка качественная или количественная заданных объектов;

• построение новых объектов;

• построение и оценка новых объектов.

При коллективной экспертизе используются следую­щие основные виды опроса:

• дискуссия;

• анкетирование и интервьюирование;

• метод коллективной генерации идей, или мозговой штурм;

Интервьюирование может осу­ществляться как индивидуально, так и с группой экспер­тов. Остальные виды экспертизы предполагают коллек­тивное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в ра­боте целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов. Анкетирование и сценарий предполагают индивиду­альную работу эксперта.

Анкетирование может проводиться с обратной связью или без нее. При анкетировании с обратной связью опрос экспер­тов производится в несколько этапов, с доведением до сведения экспертов некоторых результатов опроса на предыдущем этапе, включая оценки отдельных экспертов и их аргументацию.

Анкетирование является наиболее эффективным и самым распространенным видом опроса, ибо позволяет наилучшим образом сочетать информационное обеспече­ние экспертов с их самостоятельным творчеством.

Опрос является методом, в организации которого должно быть обеспечено максимум информации и максимум творческой актив­ности, самостоятельности эксперта. Необходимо стре­миться довести до каждого эксперта по возможности всю информацию, относящуюся к анализируемому яв­лению, которой располагают как эксперты, так и орга­низаторы опроса, не лишая в то же время эксперта твор­ческой самостоятельности и активности.

Однако возможности эксперта по переработке инфор­мации ограниченны. В результате эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении. Кроме того, новая информация воспринимается чело­веком с определенным внутренним сопротивлением и не сразу влияет на уже сложившиеся субъективные оценки. Отношение к новой информации благожелательнее, а восприятие и использование ее полнее, если она пред­ставляется в доходчивой, яркой и компактной форме.

Из этих психологических особенностей следует необ­ходимость предоставления экспертам возможностей для фиксации поступающей информации путем ведения за­писей, использования технических средств, а также не­обходимость предварительной обработки информации и представления ее экспертам в наиболее удобной форме.

Необходимо подчеркнуть противоречивость значения обмена экспертами информацией, так как получение такой информации таит опасность потери творческой не­зависимости в построении модели объекта экспертом. Разрешение этого противоречия в полной мере невоз­можно, и при каждой экспертизе ее организаторы долж­ны находить разумный компромисс, прежде всего, путем выбора вида опроса, формы и степени общения экспер­тов.

Каждый из видов опроса имеет свои достоинства и недостатки в построении обмена информацией между экспертами и в организации их независимого творчества.

Основными характеристиками опроса являются:

• цель и задачи экспертизы;

• существо и сложность анализируемой проблемы;

• полнота и достоверность исходной информации;

• требуемые объем и достоверность информации;

• время, отведенное на опрос и экспертизу в целом;

• допустимая стоимость опроса, и экспертизы в целом;

• количество экспертов и членов группы управления, их характеристики.

При использовании экспертных оценок обычно предполагает­ся, что мнение группы экспертов надежнее, чем мнение отдель­ного эксперта. В некоторых исследованиях отмеча­ется, что это предположение не является очевидным. Но одновре­менно со ссылкой на экспериментальные исследования утвержда­ется, что при соблюдении определенных требований в большин­стве случаев групповые оценки надежнее индивидуальных. К чис­лу таких требований относится: распределение оценок, получен­ных от экспертов, должно быть «гладким»; две групповые оцен­ки, данные двумя одинаковыми подгруппами, выбранными слу­чайным образом, должны быть близки.

Положительный результат проведения экспертизы во многом зависит от разра­ботки рабочей программы экспертной оценки: оценки типа ин­тервью, «докладная записка», метод комиссии, метод отнесенной оценки и др.

Таким образом, решение задачи о выборе группы (коллектива) экспертов про­водится в такой последовательности:

1. Составляется список вопросов, по которым желательно получить мнение экспертов.

2. Составляется список экспертов, включающий по возмож­ности такое их число, чтобы априори можно быть более или менее уверенным в том, что эксперты могут в совокупности дать заключение по всему множеству вопросов списка.

3. Список вопросов рассыпается каждому эксперту с просьбой определить свою компетентность по каждому вопросу, т. е. опре­делить, сможет или не сможет он компетентно участвовать в рас­смотрении данного вопроса при экспертизе.

4. Рассчитываются необходимые затраты времени и средств на проведение опроса каждого эксперта.

5. Ставится и решается задача об экспертах, т. е. задача осуществления такого выбора экспертов, чтобы по каждому воп­росу можно было получить заключение, по крайней мере, одного эксперта и чтобы при этом затраты времени или средств на проведение опроса экспертов были минимальны.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количе­ственной оценки степени согласованности мнений экспертов при­меняется коэффициент конкордации

, (2.1)

где

т – количество экспертов, ;

– количество рассматрива­емых свойств, ;

– место, которое заняло -e свойство в ранжировке -м экспертом;

– отклонение суммы рангов по -му свойству от среднего арифметического сумм рангов по свойствам.

Коэффициент конкордации W позволяет оценить, насколько согласованы между собой ряды предпочтительности, построен­ные каждым экспертом. Его значение находится в пределах ; означает полную противоположность, a — полное совпадение ранжировок. Практически достоверность счи­тается хорошей, если .

Небольшое значение коэффициента конкордации, свидетель­ствующее о слабой согласованности мнений экспертов, является следствием следующих причин: в рассматриваемой совокупности экспертов действительно отсутствует общность мнений; внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мне­ния таких групп противоположны.

Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции

, (2.2)

где – разность (по модулю) величин рангов оценок

-ro свой­ства, назначенных экспертами А и В;

и – показатели связанных рангов оценок экспертов А и В.

Коэффициент ранговой корреляции принимает значе­ния – . Значение соответствует полному совпа­дению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а — двум взаимно противопо­ложным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).

Тип используемых процедур экспертизы зависит от задачи оценивания.

Наиболее известными процедурами экспертных измерений являются, следующие:

• ранжирование;

• парное сравнение;

• множественное сравнение;

• непосредственное сравнение;

• Черчмена-Акоффа;

• метод Терстоуна;

• метод фон Неймана-Моргенштерна.

Целесообразность применения того или иного метода во многом определяется характером анализируемой информации. Если оправданы лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного и множественного сравнения.

Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов и систем, то можно использовать какой-нибудь метод численной оценки, начиная от непосредственных численных оценок и кончая более тонкими методами Терстоуна и фон Неймана-Моргенштерна.

При описании каждого из перечисленных методов будет предполагаться, что имеется конечное число измеряемых или оцениваемых альтернатив и сформулированы один как несколько признаков сравнения, по которым осуществляется сравнение свойств системы. Следовательно, методы измерения будут различаться лишь процедурой сравнения. Эта процедура включает построение отношений между объектами эмпирической системы, выбор преобразований и определение типа шкал измерений. С учетом изложенных выше обстоятельств рассмотрим каждый метод измерения.

Ранжирование. Метод представляет собой процедуру упорядочивания объектов, выполняемую экспертов. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь при этом или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочивания объектов.

Имеются следующие варианты упорядочивания объектов:

• отношение строгого порядка, когда среди упорядочиваемых объектов нет эквивалентных (т.е. имеющих одинаковые показатели;

• отношение нестрогого линейного порядка, когда используются отношения нестрого порядка, например полезности, «более предпочтительного» ( ), «менее предпочтительного» ( ), «равноценно» ( ) или безразлично ( ).

Упорядочение объектов при этом может иметь, к примеру, следующий вид

.

Такое упорядочение образует нестрогий линейный порядок.

Для отношения нестрогого линейного порядка доказано существование числовой системы с отношениями неравенства и равенства между числами, описывающими свойства объектов. Любые две числовые системы для нестрогого линейного порядка связаны между собой монотонным преобразованием. Следовательно, ранжирование при условии наличия эквивалентных объектов представляет собой измерение также в порядковой шкале.

В практике ранжирования объектов, между которыми допускаются отношения, как строгого порядка, так и эквивалентности, числовое представление выбирается следующим образом. Наиболее предпочтительному объекту присваивается ранг, равный единице, второму по предпочтительности – ранг, равный двум, и т.д. Для эквивалентных объектов удобно с точки зрения технологии последующей обработки экспертных оценок назначать одинаковые

ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым объектам. Такие ранги называют связанными рангами.

Для приведенного примера упорядочения на основе нестрогого линейного порядка при ранги объектов будут равными .

В этом же примере ранги объектов также одинаковы и равны среднеарифметическому . Связанные ранги могут оказаться дробными числами. Удобство использования связанных рангов заключается в том, что сумма рангов N объектов равна сумме натуральных чисел от единицы до N. При этом любые комбинации связанных рангов не изменяют эту сумму. Данное обстоятельство существенно упрощает обработку результатов ранжирования при групповой экспертной оценке.

При групповом ранжировании каждый S-й эксперт присваивает каждому i-му объекту ранг . В результате проведения экспертизы получается матрица рангов размерности , где – число экспертов; N – число объектов; ; .

Напомним, что ранги объектов определяют только порядок расположения объектов по показателям сравнения. Ранги как числа не дают возможности сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим.

Достоинством метода ранжирования как метода экспертного измерения является простота осуществления процедур, не требующая трудоемкого обучения экспертов. Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов. Как показывает опыт, при числе объектов, большем 10-15, эксперты затрудняются в построении ранжировки. Это объясняется тем, что в процессе ранжирования эксперт должен установить взаимосвязь между всеми объектами, рассматривая их как единую совокупность.

При увеличении числа объектов количество связей между ними растет пропорционально квадрату числа объектов. Сохранение в памяти и анализ большой совокупности взаимосвязей между объектами ограничиваются психологическими возможностями человека.

Психология утверждает, что оперативная память человека позволяет оперировать в среднем не более чем объектами одновременно. Поэтому при ранжировании большого числа объектов эксперты могут допускать существенные ошибки.

Парное сравнение. Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов является более простой задачей. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Отсюда следует, что парное сравнение так же, как и ранжирование, есть измерение в порядковой шкале.

В результате сравнения пары объектов , эксперт упорядочивает ее, высказывая либо либо , либо . Выбор числового представления можно произвести так: если то ; если предпочтение в паре обратное, то знак неравенства заменяется на противоположный. Если объекты эквивалентны, то можно считать, что .

В практике парного сравнения используются следующие числовые представления:

, (2.3)

. (2.4)

Результаты сравнения всех пар объектов удобно представлять в виде матрицы. Пусть, например, имеются пять объектов и проведено парное сравнение этих объектов по предпочтительности. Результаты сравнения представлены в виде

.

Используя числовое представление (2.3), составим матрицу измерения результатов парных сравнений (табл.2.1).

Матрица парных

сравнений

Результаты измерений

пяти объектов

Таблица 2.1 Таблица 2.2

	1	1	1	1	0			1	2	2	2	0
	0	1	1	1	0			0	1	2	2	0
	0	0	1	1	0			0	0	1	1	0
	0	0	1	1	0			0	0	1	1	0
	1	1	1	1	1			2	2	2	2	1

В табл. 2.1 на диагонали всегда будут расположены единицы, поскольку объект эквивалентен себе. Представление (2.4) характерно для отображения результатов спортивных состязаний. За выигрыш даются два очка, за ничью одно и за проигрыш ноль очков (футбол, хоккей и т.п.). Предпочтительность одного объекта перед другим трактуется в данном случае как выигрыш одного участника турнира у другого. Таблица результатов измерения при использовании числового представления не отличается от таблиц результатов спортивных турниров за исключением диагональных элементов (обычно в турнирных таблицах диагональные элементы заштрихованы). В качестве примера в табл. 2.2 приведены результаты измерения пяти объектов с использованием представления (2.4), соответствующие табл. 2.1.

Вместо представления (2.4) часто используют эквивалентное ему представление

, (2.5)

Если сравнение пар объектов производится отдельно по различным показателям или сравнение осуществляет группа экспертов, то по каждому

показателю или эксперту составляется своя таблица результатов парных сравнений. Сравнение во всех возможных парах не дает полного упорядочения объектов, поэтому возникает задача ранжирования объектов по результатам их парного сравнения.

Однако, как показывает опыт, эксперт далеко не всегда последователен в своих предпочтениях. В результате использования метода парных сравнений эксперт может указать, что объект , предпочтительнее объекта , предпочтительнее объекта и в то же время предпочтительнее объекта . В случае разбиения объекта на классы эксперт может к одному классу отнести пары и , и , но в то же время объекты и отнести к различным классам.

Такая непоследовательность эксперта может объясняться различными причинами: сложностью задачи, неочевидностью предпочтительности объектов или разбиения их на классы (в противном случае, когда все очевидно, проведение экспертизы необязательно), недостаточной компетентностью эксперта, недостаточно четкой постановкой задачи, многокритериальностью рассматриваемых объектов и т.д.

Непоследовательность эксперта приводит к тому, что в результате парных сравнений при определении сравнительной предпочтительности объектов мы не получаем ранжирования и даже отношений частичного порядка не выполнено свойство транзитивности.

Если целью экспертизы при определении сравнительной предпочтительности объектов является получение ранжирования или частичного упорядочения, необходима их дополнительная идентификация. В этих случаях имеет смысл в качестве результирующего отношения выбирать отношение заданного типа, ближайшее к полученному в эксперименте.

Множественные сравнения. Они отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки, ..., n-ки ( ) объектов. Эксперт их упорядочивает по важности или разбивает на классы в зависимости от целей экспертизы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, они позволяют использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения в результате одновременного соотнесения объекта не с одним, а с большим числом объектов.

С другой стороны, при ранжировании объектов их может оказаться слишком много, что затрудняет работу эксперта и сказывается на качестве результатов экспертизы. В этом случае множественные сравнения позволяют уменьшить до разумных пределов объем поступающей к эксперту информации.

Рис.2.1. Пример сравнения пяти объектов на шкале

Непосредственная оценка. Метод заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа. На рис. 2.6 в качестве примера приведено такое представление для пяти объектов на отрезок числовой оси [0,1].

Поскольку за начало отсчета выбрана нулевая точка, то в данном примере измерение производится в шкале отношений. Эксперт соединяет каждый объект линией с точкой числовой оси и получает следующие числовые представления объектов (рис. 2.6):

.

Измерения в шкале интервалов могут быть достаточно точными при полной информированности экспертов о свойствах объектов. Эти условия на практике встречаются редко, поэтому для измерения применяют балльную оценку. При этом вместо непрерывного отрезка числовой оси рассматривают участки, которым приписываются баллы. Эксперт, приписывая объекту балл, тем самым измеряет его с точностью до определенного отрезка числовой оси. Применяются 5-бальные, 10-бальные и 10-бальные шкалы.

Метод Черчмена-Акоффа (последовательное сравнение). Этот метод относится к числу наиболее популярных при оценке альтернатив. В нем предполагается последовательная корректировка оценок, указанных экспертами.

Предположения, на которых основан метод, состоят в следующем:

• каждой альтернативе ставится в соответствие, действительное неотрицательное число ;

• если альтернатива , то , если же альтернативы равноценны, то ;

• если и оценки альтернатив и , то соответствует совместному осуществлению альтернативы и альтернативы .

Наиболее сильным является последнее предположение об аддитивности оценок альтернатив.

Согласно методу Черчмена-Акоффа альтернативы ранжируются по предпочтительности. Пусть для удобства изложения альтернатива наиболее предпочтительна, за ней следует и т.д. Эксперт указывает предварительные численные оценки для каждой из альтернатив. Иногда наиболее предпочтительной альтернативе приписывается оценка 1, остальные оценки располагаются между 0 и 1 в соответствии с их предпочтительностью. Затем эксперт производит сравнение альтернативы и суммы альтернатив . Если предпочтительнее, то эксперт корректирует оценки так, чтобы

иначе .

Если альтернатива оказывается менее предпочтительной, то для уточнения оценок она сравнивается по предпочтению с суммой альтернатив и т.д. После того как альтернатива предпочтительнее, чем суммы альтернатив ( ), она исключается из рассмотрения, а вместо оценки альтернативы рассматривается и корректируется оценка альтернативы . Процесс продолжается до тех пор, пока откорректированными не окажутся оценки всех альтернатив.

При достаточно большом N применение метода Черчмена-Акоффа становится слишком трудоемким. В этом случае целесообразно разбить альтернативы на группы, а одну из альтернатив, например максимальную, включить во все группы. Это позволяет получить численные оценки всех альтернатив с помощью оценивания внутри каждой группы.

Метод Черчмена-Акоффа является одним самых эффективных. Его можно успешно использовать при измерениях в шкале отношений. В этом случае определяется наиболее предпочтительная альтернатива . Ей присваивается максимальная оценка. Для всех остальных альтернатив эксперт указывает, во сколько раз они менее предпочтительны, чем . Для корректировки численных оценок альтернатив можно использовать как стандартную процедуру метода Черчмена-Акоффа, так и попарное сравнение предпочтительности альтернатив. Если численные оценки альтернатив не совпадают с представлением эксперта об их предпочтительности, производится корректировка.

Метод фон Неймана–Моргенштерна. Он заключается в получении численных оценок альтернатив с помощью так называемых вероятностных смесей. В основе метода лежит предположение, согласно которому эксперт для любой альтернативы , менее предпочтительной, чем , но более предпочтительной, чем , может указать число такое, что альтернатива , эквивалентна смешанной альтернативе (вероятностной смеси) .

Смешанная альтернатива состоит в том, что альтернатива выбирается с вероятностью , а альтернатива с вероятностью . Очевидно, что если достаточно близко к 1, то альтернатива менее предпочтительна, чем смешанная альтернатива . В литературе помимо, упомянутого выше предположения рассматривается система предположений (аксиом) о свойствах смешанных и несмешанных альтернатив. К числу таких предположений относятся предположение о связности и транзитивности отношения предпочтительности альтернатив, предположение о том, что смешанная альтернатива предпочтительнее, чем , если и др.

Если указанная система предпочтений выполнена, то для каждой из набора основных альтернатив определяются числа , характеризующие числовую оценку смешанных альтернатив. Числовая оценка смешанной альтернативы равна . Смешанная альтернатива предпочтительнее альтернативы если

.

Таким образом, устанавливается существование функции полезности , значение которой характеризует степень предпочтительности любой смешанной альтернативы, в частности и несмешанной.

Более предпочтительна та смешанная альтернатива, для которой значение функции полезности больше.

Рассмотренные выше методы экспертных оценок обладают различными качествами, но приводят в общем случае к близким результатам. Практика применения этих методов показала, что наиболее эффективно комплексное применение различных методов для решения одной и той же задачи. Сравнительный анализ результатов повышает обоснованность сделанных выводов.

Следует учитывать, что методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким метод последовательного сравнения (Черчмена-Акоффа). Метод парного сравнения без дополнительной обработки не дает полного упорядочения объектов.