25. Методы экспертных оценок

Методы, основанные на опыте и интуиции, - эвристические методы, используют в решении наиболее сложных проблем, в особенности в условиях неопределенности, которая возникает из-за недостатка информации или неустойчивости развития.

Экспертными оценками называют эвристические оценки, основывающиеся на интуиции, воображении и опыте. Примерами традиционных эвристических процедур являются консилиумы, совещания, заседания, поскольку порядок их проведения регламентируется традициями. Постепенно в эту область начинают проникать математические методы планирования и обработки результатов эвристической деятельности.

Выделяют два уровня использования экспертных оценок: качественный и количественный. Применение экспертных оценок на качественной уровне, например для определения возможных направлений деятельности, как правило, оправдано. Применение экспертных оценок в тех случаях, когда могут быть использованы математические методы, нередко обусловлено неумением использовать математические методы.

Для достоверности, надежности экспертных оценок необходимо следовать методическим основам использования экспертных методов, не обманываясь их кажущейся простотой.

Предполагается, что эксперт основывает свое суждение на группе причинных факторов, действующих в рамках определенного сценария, оценивая вероятность его реализации и влияния факторов на изучаемый показатель. Причинно-следственная структура неразрывно связана с личностью эксперта. Так, два разных эксперта, решая одну и ту же проблему, используя одну и ту же информацию, могут прийти к разным выводам.

Ценность полученных оценок зависит от опыта и интуиции лица, формулирующего оценку. Уменьшить риск субъективности индивидуального суждения можно, обратившись к группе экспертов, которые могут обсуждать и согласовывать свои оценки.

Широко распространено мнение, что достоверны те оценки, которые являются результатом согласованности действий экспертов. Это не всегда верно. Известны случаи, когда именно один эксперт, не согласный с мнением большинства, как раз и давал правильные оценки, прогнозы. Кроме того, очень распространена ошибка, которая состоит в характеристике согласованности действий экспертов на основе величины коэффициентов конкордации экспертных оценок.

При решении проблем нестандартных, например связанных с прогнозированием в нестабильных условиях, должны участвовать эксперты высокой квалификации. Прогнозы, составленные «средними» экспертами, обычно основаны на традиционных, привычных оценках. В ситуации неопределенности, неустойчивости они часто ошибочны. Высококвалифицированные специалисты оценят скрытые факторы и возможность появления новых тенденций.

26. Методика проведения экспертных опросов

Проведение экспертных опросов обычно включает несколько этапов. Подбор экспертов и формирование экспертных групп. Исходя из целей опроса решаются вопросы относительно структуры группы, устанавливается специализация экспертов и определяется их количество. По каждому направлению выделяют подгруппы экспертов, устанавливается количество экспертов в каждой подгруппе, которое должно обеспечивать полноту оценок по каждому конкретному вопросу. Затем определяются требования к квалификации экспертов, стажу их работы в данной области, общему стажу.

На практике численность экспертов устанавливают исходя из накопленного опыта. Для повышения статистической значимости оценок используют ранговые или бальные оценки. Например, вместо оценки длительности выполнения проекта оценивают в баллах возможность его завершения к определенному сроку.

Нижняя оценка численности групп экспертов зависит от числа направлений оцениваемых событий. По каждому направлению в группе не должно быть менее 3—6 экспертов, причем каждое направление должно быть представлено равным числом экспертов.

Подготовка анкет для опроса экспертов. Правила опроса экспертов должны обеспечивать объективность мнений экспертов. К числу условий, обеспечивающих формирование объективных оценок, следует отнести:

• предоставление экспертам требуемой информации; простота и удобство работы с предполагаемыми анкетами, обеспечиваемая прежде всего однозначностью вопросов; соответствие вопросов структуре объекта опроса; независимость формирования экспертами собственного мнения; приемлемые затраты времени, удобное время получения вопросов и выдачи ответов;

• сохранение анонимности ответов для членов экспертной группы; коллективные обсуждения оцениваемых событий. Для выполнения этих условий должны быть разработаны правила организации работы экспертной группы. Экспертные группы для работы на основе специальных методов, таких, как «мозговой

• штурм», «Дельфи», и им подобных, а также организаторы и обслуживающий персонал должны пройти специальную подготовку.

Определение групповых оценок на основе оценок отдельных экспертов. Групповая оценка каждого объекта зависит от оценок экспертами этого объекта и степени компетентности экспертов. Степень компетентности эксперта определяют его опыт и квалификация.

При равной компетентности экспертов в качестве групповой оценки используют среднеарифметическое значение оценок экспертов. Точность оценки может быть определена по величине ее стандартного отклонения.