§ 7.10. Экспертные методы выбора

При исследовании сложных систем возникают проблемы, выходящие за пределы формальных математических постановок задач. В таком случае прибегают к услугам экспертов, т.е. лиц, чьи суждения и интуиция могут уменьшить сложность проблемы. В последующих главах мы подробнее рассмотрим работу экспертов – системных аналитиков; сейчас обсудим вопросы привлечения экспертов к решению конкретной и частной задачи системного анализа – задачи выбора. Правда, в этой частной задаче имеются и некоторые общие черты экспертных методов (например, подходы к оценке компетентности экспертов, к интерпретации даваемых ими результатов и пр.).

Основная идея экспертных методов состоит в том, чтобы использовать интеллект людей, их способность искать и находить решение слабо формализованных задач. Однако особенность интеллектуальной деятельности людей состоит в том, что она во многом зависит от внешних и внутренних условий. Поэтому в методиках организации экспертных оценок специальное внимание уделяется созданию благоприятных условий и нейтрализации факторов, неблагоприятно влияющих на работу экспертов.

ФАКТОРЫ, ВЛИЯЮЩИЕ НА РАБОТУ ЭКСПЕРТА

Очень важную роль играют факторы психологического характера. Прежде всего эксперты должны быть освобождены от ответственности за использование результата экспертизы. Дело не только в том, что лицо, принимающее решения, не хочет или не должно возлагать ответственность на других, но и в том, что сама ответственность накладывает психологические ограничения на характер выбора, а этого на стадии оценки альтернатив желательно избежать. Однако это еще не все. Приходится также учитывать, что оценка, даваемая экспертом, может зависеть от межличностных отношений с другими экспертами и иногда даже от того, известна ли его оценка другим лицам. На ход экспертизы могут повлиять и личная заинтересованность эксперта, т.е. его необъективность, и другие личностные качества (самолюбивость, конформизм, сила характера и пр.). С другой стороны, обычно сложность проблемы выходит за рамки возможностей одного человека. Было бы неразумно не использовать тот очевидный факт, что коллективная деятельность открывает дополнительные возможности для взаимного стимулирования экспертов.

Поскольку взаимодействие между экспертами может как стимулировать, так и подавлять их деятельность, в разных случаях используют методики экспертиз, имеющие различные степень и характер взаимного влияния экспертов друг на друга: анонимные и открытые опросы и анкетирование, совещания (комитеты, коллегии, комиссии, штабы), дискуссии (консилиумы, суды, ученые советы), деловые игры, мозговой штурм и т.д. Рассмотрим наиболее типичные процедуры экспертного выбора.

МЕТОДЫ ОБРАБОТКИ МНЕНИЙ ЭКСПЕРТОВ

Простейший вариант состоит в следующем. Если эксперты предлагают различающиеся упорядочения альтернатив, то возникает вопрос о том, как использовать мнения всех экспертов для окончательного упорядочения. Это далеко не тривиальная задача. Фактически мы возвращаемся к проблеме коллективного выбора со всеми его особенностями, в том числе – с возможностями парадоксов (см. § 7.5) [24; 31].

Предположим, например, что эксперты оценивают альтернативы в числовых шкалах (см. § 6.2). Пусть q_j(x_i) – оценка i-й альтернативы j-м экспертом (). Оценкиq₁(x_i), ..., q_n(x_i) можно рассматривать как “измерения” искомой “истинной характеристики” q(x_i), считая отклонения q_j(x_i) – q(x_i) случайными величинами. В качестве приближения можно использовать некоторую статистику =; обычно это выборочное среднее

,

но можно использовать и другие статистики (см. § 7.7).

Сложнее обстоит дело, когда альтернативы нельзя оценить сразу одним числом и экспертам предлагается дать оценки отдельно по каждому показателю. Например, оценка качества промышленного изделия складывается из оценок признаков социальных (уровень потребности), функциональных (степень соответствия назначения), экономических, эстетических, эргономических и др. В этом случае имеем набор чисел q_jk(x_i), где k – номер признака. Кроме этих чисел экспертов просят оценить степень важности ?_jk каждого показателя (если это не выполнено другим способом). Тогда

.

Следующее уточнение вводят в случае неоднородности группы экспертов. Естественно придать различные (а не одинаковые, равные 1/n) веса мнениям экспертов, имеющих разную квалификацию. Определение коэффициента ?_j компетентности j-го эксперта можно поручить самим экспертам. Пусть каждый из них (l-й) оценивает компетентность других числами 0  ?_lj  1 (при этом и свою – числом ?_ll). Усреднение^* дает . В результате получают итоговую оценку

.

В тех случаях, когда эксперты лишь упорядочивают альтернативы, т.е. используют только порядковую шкалу, возможность арифметических операций отпадает (см. § 6.2). Тогда переходят к обработке либо относительных частот предпочтений данной альтернативы, либо рангов; иногда используют “медианную” альтернативу или расстояния между ранжированиями [24].

Более глубокие сведения о сравниваемых альтернативах можно получить, изучая “тонкую структуру” суждений экспертов. Дело в том, что оценки экспертов “разбросаны” в пространстве критериев или упорядочений неравномерно, и чаще всего можно выделить несколько кластеров, т.е. кучно расположенных оценок, можно обнаружить и “выбросы”, т.е. оценки, далеко отстоящие от кластеров. Значительный интерес представляет выяснение общего между близкими оценками и различий между отдаленными оценками. Это выполняют уже в ходе уточняющих опросов, в других терминах. Например, при сравнении качества промышленных изделий [24] выяснилось, что кластеры связаны с такими отсутствовавшими в исходной анкете признаками, как различная жесткость правил приемки для различных альтернатив, технологические различия между моделями изделий и т.д. Возможен и более детальный анализ расхождений экспертов во мнениях [29; 37].

МЕТОД “ДЕЛФИ”

Следующим шагом в развитии экспертных оценок является метод “Делфи” [43]. Основная идея этого метода состоит в том, что критика благотворно влияет на эксперта, если она психологически не связана с персональной конфронтацией. Поэтому если проводить оценку альтернатив в несколько туров, сообщая после каждого его полные итоги и сохраняя анонимность участников, то эксперты склонны не только критиковать, но и прислушиваться к критике, относящейся к ним лично. Устранение психологических трудностей, связанных с персональной критикой, придает самой критике большую деловитость, объективность, она легче воспринимается. Все это приводит к тому, что обычно оказывается достаточно следующих четырех этапов:

1) раздача анкет, сбор оценок, их обобщенное представление с указанием разброса мнений;

2) сообщение итогов и запрос объяснений причин индивидуального отклонения от средней или медианной оценки первой итерации;

3) сообщение всех объяснений и запрос контраргументов на них;

4) сообщение возражений и запрос новых оценок альтернатив, если эксперт пожелает их изменить; нахождение окончательного итога.

Вся работа проводится под руководством отдельной управляющей группы, в которую входят системный аналитик и лицо, принимающее решения; анонимность экспертов сохраняется до конца работы (а по желанию экспертов – и после ее окончания). Методика “Делфи” показала на практике хорошую эффективность.

Остальные экспертные процедуры, упомянутые в начале параграфа, предназначены не столько для выбора, сколько для генерирования альтернатив. Мы вернемся к ним в гл. 9.

Подведем итог Всякий выбор основан на оценивании или на сравнении альтернатив. В ряде случаев не удается сделать такую оценку “объективно”, т.е. произвести нужные измерения с помощью измерительных приборов. Тогда прибегают к “субъективным измерениям”, т.е. к экспертным оценкам. Такой способ оценивания альтернатив имеет важные особенности не только в самом процессе получения оценок, но и в методах их обработки. Эти особенности необходимо учитывать в ходе проведения системного анализа с привлечением экспертов.

Summary Any decision is based on comparison of alternatives. In some cases it is impossible to compare them “objectively”, i.e., to take proper measurements with the use of measuring devices. In such cases one usually turns to “subjective measurements”, i.e., to expert opinions. This type of estimate has certain important features, both in the process of obtaining the estimates and in processing them as well. These features should be taken into account in the course of systems analysis that involves expert opinions.