Анализ и обработка экспертных оценок

При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо представить информацию, полученную от экспер­тов в виде, удобном для принятия решений (упорядочить объек­ты — варианты, показатели, факторы и т.п.), а также опреде­лить согласованность действий экспертов и достоверность экс­пертных оценок.

Так, например, выявленные в процессе качественного ана­лиза риски необходимо представить в порядке их важности (сте­пени возможного их влияния на уровень потерь), или варианты снижения риска — в порядке их предпочтительности и т.п.

Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффек­тивного применения. Наиболее распространенными из них яв­ляются: ранжирование, непосредственная оценка, последова­тельное сравнение, парное сравнение.

Важным моментом экспертных процедур является оценка согласованности действий экспертов и достоверности эксперт­ных оценок.

Как отмечалось, существующие способы определения дос­товерности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.

Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, достоверности их оценок.

Коэффициент конкордации определяется из выражения:

 - фактическая дисперсия суммарных (упорядо­ченных) оценок, данных экспертами;

 - дисперсия суммарных (упорядоченных) оце­нок, в случае, когда мнения экспертов пол­ностью совпадают.

Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками различных экспертов отсутствует. При W = 1 — согласованность мнений экспертов полная.

Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкорда­ции был больше заданного (нормативного) значения W_н (W > W_н).

Можно принять W_н = 0,5. Считается, что при W > 0,5 дей­ствия экспертов в большей степени согласованы, чем не согла­сованы.

Определение коэффициента конкордации рассмотрим на сле­дующем упрощенном примере. Пусть в процессе качественного анализа выявлены пять видов риска, которым может подвергать­ся проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти риски (представить в порядке их важ­ности) по степени возможного их влияния на уровень потерь.

Результаты оценок этих рисков четырьмя экспертами пред­ставлены в табл. 3.1.

При полностью согласованном мнении экспертов каждый из них первому виду риска дал два балла, второму — один, тре­тьему — четыре, четвертому — три, пятому — пять. В этом слу­чае суммарный ранг важности рисков составил бы соответственно 8, 4, 16, 12 и 20 баллов.

Известно, что среднее значение суммарной оценки для m объектов, назначаемых n экспертами, составляет 1/2 • n (m+1) и в рассматриваемом примере среднее значение составляет — 12.

Тогда:

 

Таким образом, мнения экспертов можно считать в доста­точной степени согласованным.

Используются также критерии, которые позволяют оценить вероятность того, что согласованность экспертов не явилась ре­зультатом случайных вариаций их мнений.

Если в соответствии с принятыми критериями мнения экс­пертов можно считать согласованными, то данные ими оценки принимаются и используются в процессе подготовки и реализа­ции управленческих решений.

Если полученные оценки нельзя считать достоверными, сле­дует повторить опрос заново. Если и это не дает желаемых ре­зультатов, следует уточнить исходные данные и (или) изменить состав группы экспертов.

Здесь следует отметить важную роль организаторов экспер­тизы, в задачи которых входят:

постановка проблемы, опреде­ление целей и задач экспертизы, ее границ и основных этапов;

разработка процедур экспертизы, в наибольшей степени соот­ветствующей характеру решаемой проблемы; отбор экспертов, проверка их компетентности и формирование групп экспертов;

проведение опроса и согласование оценок; формализация полу­ченной информации, ее обработка, анализ и интерпретация.

От правильной организации экспертизы в значительной сте­пени зависит эффективность результатов, полученных посред­ством экспертных оценок, в т.ч. и достоверность этих оценок.