11 Определение совместимости экспертных оценок на основе расчёта коэффициента конкордации
Любая процедура экспертного оценивания носит субъективный характер, поскольку основывается, в конечном счете, на отражении личного опыта и знаний отдельных людей. Поэтому при построении методов экспертного оценивания обычно предусматриваются меры, направленные на повышение факторов объективности в конечных выводах, основанных на субъективных суждениях.
Одним из наиболее известных и широко используемых методов оценки совместимости экспертных оценок является метод, основанный на расчёте коэффициента конкордации.
11.1 Существо метода
Оценка основывается на сравнении ранжировок (порядка размещения альтернатив по важности). Степень расхождения ранжировок оценивается с помощью коэффициента конкордации:
Здесь R=M(N+1)/2,
М – количество экспертов, N-
количество альтернатив;
- ранг i-й
альтернативы по j-у
эксперту.
Значение S изменяется от 1 при полном совпадении ранжирований экспертов до 0, когда согласованность оценок экспертов полностью отсутствует.
11.2 Проверка существенности наблюдаемого значения коэффициента конкордации
При независимости
экспертов считается, что S
распределяется по закону Фишера.
Предельные величины S
(обозначаемые как
)
вычисляются по таблицам распределения
Фишера, входом в которые являются степени
свободы:
,
.
Если значения
,
то считается, что мнения экспертов в
достаточной степени согласованы и
полученные экспертные оценки могут
быть положены в основу дальнейших
расчетов.
12 Организация проведения экспертного оценивания
Известно, что для успешного проведения процедуры экспертного оценивания необходимо обеспечить адекватное восприятие каждым экспертом своей задачи. С этой целью необходимо придать ясный физический смысл оцениваемым нечетким отношениям предпочтения.
Для проведения экспертного оценивания будем применять процедуру, которая заключается в реализации следующей последовательности действий.
(1).Эксперты ознакамливаются с целями и задачами проводимой экспертизы, с материалами, характеризующими оцениваемые альтернативы. При этом особое внимание уделяется разъяснению смыслового содержания показателей (критериев) оценки рассматриваемых альтернатив.
(2).Каждому из экспертов вручаются:
-оценочная шкала нечетких отношений ;
- незаполненные таблицы показателей (критериев) оценки для каждого уровня иерархической системы критериев;
-незаполненные таблицы – оценки альтернативных вариантов образцов (решений) по каждому из рассматриваемых критериев оценки с пояснением физической сущности элементов таблиц.
(3).Осуществляется индивидуальное и независимое заполнение таблиц - матриц каждым из экспертов. Проверяется согласованность оценок каждого эксперта и при необходимости – уточнение их.
(4).Осуществляется расчёт векторов приоритетов.
(5).В соответствии с методикой Т.Саати определяется согласованность (совместимость) экспертных оценок. При отсутствии совместимости - производится ознакомление экспертов с результатами экспертизы и обсуждаются основные разногласия. После этого повторяется экспертное оценивание.
(6).В случае достаточной согласованности мнений экспертов по данным экспертизы строятся результирующие векторы приоритетов на основе соотношений:
;
;
