Учебники 80358

Таблица 2.1

Результаты парных сравнений (пример)

Обычно при парном сравнении двух альтернатив ограничиваются простой констатацией того, что одна из них предпочтительнее другой. В случаях, когда степень предпочтения можно выявить, используются специальные шкалы, где каждой степени предпочтения присваивается определенная оценка.

2.3.4. Качественные экспертные оценки

Качественными называются экспертные оценки, не содержащие чисел. Их можно подразделить на две группы [68]:

- оценки, проводимые по заранее составленным шкалам (оценка качественных признаков); - оценки, шкалы для которых заранее не могут быть составлены.

Оценки первой группы применяются при определении значений признаков, имеющих качественную вариацию, все значения которых могут быть заранее перечислены и определены некоторыми стандартными терминами или выражениями. Например, признак «влияние исследуемого параметра процесса на количество и качество получаемого продукта» может иметь градации:

121

сильно увеличивается выход продукта, а качество продукта ухудшается; увеличивается количество продукта, качество не меняется;

количество получаемого продукта не меняется, качество улучшается; уменьшается выход продукта, а его качество сильно улучшается и т.д.

Качественные экспертные оценки первой группы применяются на промежуточных и конечных этапах экспертизы.

Оценки второй группы, не имеющей заранее составленных шкал, используются при проведении операций генерации. Они выражаются в предложениях, гипотезах, перечнях тех или иных показателей, фактов. Качественные экспертные оценки в виде перечней будущих событий или цепочек взаимосвязанных событий применяются при решении задач прогнозирования, при составлении сценариев.

При качественной экспертной оценке группе экспертов необходимо выполнить следующие основные операции:

составить полный перечень фактов, признаков, подходов и других качественных показателей, которые могут быть существенными в условиях поставленной задачи;

построить шкалы возможных значений качественных признаков; провести содержательную группировку качественных показателей; обнаружить и охарактеризовать взаимосвязи качественных оценок; выявить отношения качественных признаков, существенные для построения комплексной оценки или схемы принятия решения.

В ряде случаев возникает необходимость присвоения баллов отдельным градациям качественных признаков или определения весов этих признаков.

122

2.3.5. Этапы работ по организации экспертной оценки

Организационные работы по применению экспертного оценивания начинаются с разработки руководящего документа

– плана, в котором формулируются цель работы и основные положения по выполнению. В этом документе должны быть отражены следующие основные вопросы: описание проблемы, обоснование необходимости проведения экспертной оценки, цели и задачи экспертизы, сроки выполнения работ, задачи и состав группы управления, финансовое и материальное обеспечение работ. Для подготовки этого документа, а также для руководства всей дальнейшей работой по проведению экспертного опроса назначается руководитель экспертизы. Он прежде всего формирует группу управления.

Группа управления определяет структуру экспертизы и осуществляет отбор экспертной группы. Эта работа предусматривает следующую последовательность действий: описывается решаемая проблема; определяется раздел исследований и перечень специалистов, связанных с решением сформулированной задачи; определяется долевой состав экспертов по каждой области деятельности; устанавливается число экспертов в группе; составляется предварительный список экспертов; анализируется квалификация экспертов и уточняется список экспертов. Работа по отбору экспертов завершается получением согласия экспертов, включенных в окончательный список, на участие в работе.

Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса, предполагаемое число и задачи туров опроса, форма и порядок проведения опроса, форма и содержание вопросов, порядок фиксации и сбора результатов опроса, форма оформления результатов опроса.

Следующим этапом работы группы управления является определение методики обработки данных опроса. Здесь

123

необходимо определить задачи и сроки обработки, процедуры

иалгоритмы обработки, средства для проведения обработки.

Впроцессе непосредственного проведения опроса экспертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его при необходимости.

Проведение экспертной оценки завершается оформлением полученных результатов. На этом этапе производится анализ результатов экспертного оценивания, составление отчета, представление итогов работы в удобном для пользователя виде.

2.3.6. Отбор экспертов и их характеристика

Процедура отбора специалистов в группы экспертов включает три этапа: определение числа экспертов, составление списка экспертов, получение согласия экспертов на участие в работе [68].

Для определения числа экспертов члены группы управления выявляют области знаний, связанные с решаемой проблемой. На основе рассмотрения содержания проблемы составляется перечень областей знаний, по которым необходимо привлечь специалистов. Для каждой области знаний определяется минимальное и максимальное число экспертов, исходя из приемлемой достоверности результатов экспертизы с учетом роли каждой области знаний в решении проблемы. После определения минимального и максимального числа экспертов по каждой области суммированием определяется общее минимальное и максимальное число экспертов.

Достоверность экспертизы зависит от числа экспертов в группе, долевого состава различных специалистов в группе, квалификации экспертов. Для проблем с высоким уровнем информационного потенциала знаний увеличение числа экспертов в группе обычно приводит к монотонному возрастанию достоверности экспертизы.

124

Следующим этапом работы по подбору экспертов является составление предварительного списка экспертов. В

этот список включают лиц, компетентных в предметной области. При составлении списка кандидатов в эксперты проводится анализ качеств экспертов, определяются возможности участия выбранных специалистов в экспертизе.

После составления списка экспертов им направляется соответствующее сообщение, объясняется цель проведения экспертизы, ее сроки, порядок проведения, приводятся поясняющие примеры, необходимые примечания. К сообщениям могут прилагаться специальные анкеты для самооценки компетентности.

После получения ответов экспертов и обработки данных составляется окончательный список группы экспертов.

Основные характеристики экспертов. Для описания экспертов с точки зрения оценки качества решения проблемы используются следующие основные характеристики:

компетентность, креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, коллективизм, самокритичность и др.

Перечисленные характеристики в основном оцениваются качественно. Для ряда характеристик могут быть введены количественные оценки.

Компетентность – это степень квалификации эксперта в определенной области знаний. Так как компетентность является очень сложным свойством, ее измерение реально может быть осуществлено только людьми. Поэтому на практике оценка компетентности часто проводится путем самооценки эксперта.

Для оценки этой характеристики эксперта введен числовой показатель – коэффициент компетентности [68]:

,

где – коэффициент информированности по проблеме, устанавливаемый на основе самооценки (но балльной шкале);

– коэффициент аргументации, получаемый в результате суммирования баллов но эталонной таблице.

125

Существуют и другие, более эффективные методики оценивания компетентности экспертов. Например, согласно методике, основанной на вычислении относительных коэффициентов компетентности, ряду специалистов предлагается высказать суждения о включении лиц в экспертную группу для решения определенной проблемы, и по результатам проведенного опроса составляется матрица оценки компетентности экспертов (табл. 2.2).

Таблица 2.2 Результаты опроса по оценке компетентности экспертов

Для каждого эксперта относительные коэффициенты компетентности t-го порядка определяются по формуле

где t – номер порядка коэффициента компетентности.

126

Коэффициенты компетентности нормированы так, что их сумма равна единице:

По формуле (1) можно непосредственно вычислять значения коэффициентов компетентности для различных порядков. Например, коэффициент компетентности для первого порядка рассчитывают по формуле (1) при :

Смысл формулы (2) состоит в том, что вычисляется сумма , единиц (число голосов), поданных за i-го

эксперта, и делится на общую сумму всех голосов

Таким образом, коэффициент компетентности первого порядка определяется как относительное число экспертов, высказавшихся за включение i-го эксперта в список экспертной группы.

Коэффициент компетентности второго порядка () представляет собой относительное количество голосов, взвешенных коэффициентами компетентности первого порядка.

Креативность – это способность решать творческие задачи. Данная характеристика оценивается на основе суждений о деятельности эксперта.

Отношение к экспертизе – эту характеристику необходимо учитывать для принятия решения о привлечении специалиста к экспертизе. Здесь оценивается негативное или пассивное отношение специалиста к решению конкретной проблемы, занятость и другие факторы, влияющие на выполнение специалистом функций эксперта.

Конформизм – это подверженность влиянию авторитетов. Данное свойство проявляется в виде неустойчивости собственного мнения эксперта.

Коллективизм – это свойство должно учитываться при проведении открытых дискуссий. Этика поведения человека в

127

коллективе экспертов во многих случаях существенно влияет на создание определенного психологического климата.

Самокритичность эксперта проявляется при самооценке степени своей компетентности, а также при принятии решений по рассматриваемой проблеме.

Часть характеристик эксперта, как правило, является положительной, а часть – отрицательной. В связи с этим возникает задача согласования характеристик между собой. Для этого необходимо сформулировать какую-то обобщенную характеристику эксперта, учитывающую его важнейшие качества, с одной стороны, и допускающую непосредственное измерение, с другой стороны. В качестве такой характеристики можно принять достоверность суждений эксперта, которая определяет эксперта как «измерительный прибор». Однако применение такой обобщенной характеристики требует информации о прошлом опыте участия эксперта в решении проблем, а такая информация не всегда имеется.

Количественно достоверность эксперта оценивают по формуле

где — число случаев, когда i-й эксперт дал решение, приемлемость которого подтвердилась практикой; — общее число случаев участия i -го эксперта в решении проблемы.

Относительная достоверность, учитывающая вклад каждого эксперта в достоверность группы,

где – средняя достоверность группы экспертов.

128

2.3.7. Методы опроса экспертов

Опрос является главным этапом совместной работы группы управления и экспертов. Основным содержанием опроса являются:

постановка задачи и предъявление вопросов экспертам;

информационное обеспечение работы экспертов;

выработка экспертами суждений, оценок, предложений; сбор результатов работы экспертов.

Вопросы должны быть сформулированы так, чтобы ответы на них были однозначными. В случае, когда ответы экспертов даются в письменном виде, необходимо в вопросниках привести примеры ответа и заполнения предложенных таблиц. В зависимости от сложности и изученности исследуемой проблемы ответы экспертов могут быть в виде количественной оценки или в словесной форме (качественная информация).

Рассмотрим основные методы проведения опроса и их свойства.

Анкетный опрос

Анкетный опрос состоит в подготовке и предъявлении экспертам опросных карт-анкет, на вопросы которых они должны дать ответы в письменной форме. Анкетирование может быть очным и заочным.

По содержанию информацию и вопросы, включаемые в анкеты, можно разделить на следующие группы:

объективные данные об эксперте (возраст, образование, должность, специализация, стаж работы и т. д.);

основные вопросы по сути анализируемой проблемы; дополнительные вопросы, позволяющие выяснить источники информации и аргументы эксперта.

129

По форме основные вопросы можно разделить на открытые, закрытые и с вариантами ответов, прямые и косвенные.

Открытым, или свободным, называется вопрос, ответ на который может быть дан в произвольной форме. Закрытый вопрос задается в форме, предлагающей только несколько возможных ответов, например, «да», «нет», «не знаю». Вопрос с вариантами ответов (типа меню) предоставляет эксперту возможность выбора одного из предлагаемых ответов. К этой же форме относятся вопросы-задания на ранжирование альтернатив, на оценку их весов, значимости в баллах, на оценку вероятности некоторого события.

К достоинствам вопросов этого типа можно отнести однозначность трактовки вопросов и конкретность ответов, а также возможность количественной обработки результатов опроса. Их недостатком является опасность навязывания эксперту ответов, поэтому в формировании вопросов и при составлении возможных ответов необходимо избегать тенденциозности, обеспечить достаточно широкий спектр вариантов ответа, предоставить эксперту возможность дать свой вариант ответа.

Косвенные вопросы используются в том случае, когда есть опасения, что эксперт уклонится от ответа на прямой вопрос (например, если целесообразно скрыть от эксперта цель использование его ответов). Такой целью может быть проверка самостоятельности эксперта, оценка его компетентности, выявление его отношения к экспертизе.

Одним из наиболее распространенных методов анкетирования является метод Дельфи (по названию древнегреческого города Дельфи, где при храме бога Аполлона трудился оракул, предсказывавший будущее). В методе Дельфи нет непосредственных коллективных обсуждений; каждый эксперт получает специально разработанную анкетувопросник, которую заполняет независимо от других. Ответы экспертов обобщают и вместе с обобщенными безличными аргументами в пользу тех или иных оценок возвращают

130