Обработка результатов опроса экспертов
Специфика обработки экспертных оценок при групповой экспертизе зависит от характера информации, выражающей предпочтения экспертов, целей, назначения и других факторов проводимой экспертизы, и заключается в следующем [5]:
• определение обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;
• оценка согласованности и зависимости мнений экспертов;
• оценка достоверности полученных расчетных величин.
Определение обобщенной оценки исследуемых объектов осуществляется на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями». Упорядочив полученные результаты обобщенных оценок объектов по убыванию их значимости, можно судить об их относительной важности.
Покажем технику обработки результатов экспертизирования на методах парных сравнений и балльного (рангового) ранжирования.
Пусть после опроса пяти экспертов получены пять матриц оценки (табл. 1.5). Нормированные значимости (весомости) по всем экспертам сведены в таблицу 1.6.
Таблица 1.6
Нормированные экспертные оценки значимости объектов
|
Нормированные оценки объектов |
∑ |
|||||
1 |
2 |
3 |
4 |
5 |
|||
Эксперты |
1 |
0,20 |
0,18 |
0,14 |
0,22 |
0,26 |
1 |
2 |
0,22 |
0,14 |
0,18 |
0,20 |
0,26 |
1 |
|
3 |
0,26 |
0,16 |
0,18 |
0,14 |
0,26 |
1 |
|
4 |
0,20 |
0,14 |
0,16 |
0,22 |
0,28 |
1 |
|
5 |
0,20 |
0,16 |
0,16 |
0,22 |
0,26 |
1 |
|
|
1,08 |
0,78 |
0,82 |
1,00 |
1,32 |
5 |
|
Vsср |
0,216 |
0,156 |
0,164 |
0,200 |
0,264 |
1 |
|
С учетом компетентности экспертов групповая средневзвешенная оценка S-го объекта определяется следующим образом:
(1.3)
где Ki - коэффициент компетентности i-го эксперта;
Vsi – нормированная оценка значимости S- го объекта, данная i- м экспертом.
Умножив значения весомостей из таблицы 1.6 на соответствующие коэффициенты компетентности экспертов из таблицы 1.2, после расчетов получим данные, сведенные в таблицу 1.7.
Таблица 1.7
Нормированные оценки значимости с учетом компетентности экспертов
|
Нормированные оценки объектов, умноженные на соответствующие коэффициенты компетентности |
∑ |
|||||
1 |
2 |
3 |
4 |
5 |
|||
Эксперты |
1 |
0,0348 |
0,0313 |
0,0244 |
0,0383 |
0,0452 |
0,1740 |
2 |
0,0574 |
0,0365 |
0,0470 |
0,0522 |
0,0679 |
0,2610 |
|
3 |
0,0452 |
0,0279 |
0,0313 |
0,0244 |
0,0452 |
0,1740 |
|
4 |
0,0348 |
0,0244 |
0,0279 |
0,0383 |
0,0487 |
0,1741 |
|
5 |
0,0434 |
0,0347 |
0,0347 |
0,0477 |
0,0564 |
0,2169 |
|
∑ |
0,2156 |
0,1548 |
0,1653 |
0,2009 |
0,2634 |
1,000 |
|
Средние |
0,0431 |
0,0310 |
0,0331 |
0,0402 |
0,0526 |
0,2000 |
|
Vs´ |
0,2155 |
0,1550 |
0,1655 |
0,2010 |
0,2630 |
1,000 |
|
Значения в нижней строке таблицы 1.7 определяются делением каждого значения предпоследней строки на 0,2 (нормировка).
Как видно, из-за небольших отличий коэффициентов компетентности экспертов (табл. 1.2) нормированные значимости в последних строках таблиц 1.6 и 1.7 мало отличаются.
Покажем пример обработки оценок экспертов ранжированием ими оценок объектов, в ходе которого они заполняют анкеты в виде таблицы 1.5. Экспертные ранговые оценки (баллы), присвоенные семью экспертами шести объектам, представлены в таблице 1.8.
Таблица 1.8
Ранговые оценки объектов экспертами
Номер эксперта (i) |
Объекты (j) |
Сумма рангов |
|||||
1 |
2 |
3 |
4 |
5 |
6 |
||
1 |
1 |
3 |
6 |
4 |
2 |
5 |
21 |
2 |
2 |
4 |
5 |
3 |
1 |
6 |
21 |
3 |
2 |
3 |
5 |
4 |
1 |
6 |
21 |
4 |
1 |
4 |
5 |
3 |
2 |
6 |
21 |
5 |
1 |
6 |
4 |
2 |
3 |
5 |
21 |
6 |
1 |
5 |
4 |
2 |
3 |
6 |
21 |
7 |
1 |
4 |
6 |
3 |
2 |
5 |
21 |
Сумма рангов |
9 |
29 |
35 |
21 |
14 |
39 |
147 |
Объект, у которого сумма рангов в нижней строке таблицы 1.8 наибольшая, считается наиболее важным (в примере это шестой объект).
Оценка согласованности мнений экспертов осуществляется посредством расчета коэффициента конкордации в следующей последовательности:
1. Определяется сумма рангов каждого объекта Sj.
2. Рассчитывается средняя сумма рангов объектов по формуле
3. Рассчитываются алгебраические разности между суммами рангов каждого объекта и средним значением.
4. Определяются квадраты алгебраических разностей.
Этот расчет сведен в таблицу 1.9.
Таблица 1.9
Промежуточные результаты оценки согласованности мнений экспертов
Последовательность оценки согласован-ности мнений экспертов |
Объекты |
|||||
1 |
2 |
3 |
4 |
5 |
6 |
|
1. Суммы рангов |
9 |
29 |
35 |
21 |
14 |
39 |
2. Среднее значение |
24,5 |
|||||
3.
Алгебраические разности Sj
-
|
-15,5 |
4,5 |
10,5 |
-3,5 |
-10,5 |
14,5 |
4. Квадраты алгебраических разностей (Sj - )2 |
240,25 |
20,25 |
110,25 |
12,25 |
110,25 |
210,25 |
Сумма квадратов алгебраических разностей равна К = 703,5.
В теории экспертных оценок показано, что если мнения всех экспертов совпадают, то суммарный квадрат алгебраических разностей максимален и рассчитывается по формуле:
Кmax
=
(1.4)
В нашем случае
Рассчитывается коэффициент конкордации
Если коэффициент конкордации равен нулю или близок к нему, то это означает практически полную несогласованность мнений экспертов. При Ккон ≥ 0,5 можно судить о согласованности мнений экспертов и использовать результаты экспертной оценки в дальнейших исследованиях.
Для удобства использования целесообразно осуществить нормирование рангов объектов, преобразовав их в весомости, определяемые по формуле
(1.5)
при
этом
.
Для вышерассмотренного примера суммы рангов проблем приведены в нижней строке таблицы 1.8, а общая сумма рангов равна 147. Сведем рассчитанные нормированные весомости объектов в следующую таблицу.
Таблица 1.10
Весомости объектов
Объекты |
1 |
2 |
3 |
4 |
5 |
6 |
Весомости Vj |
0,061 |
0,197 |
0,238 |
0,143 |
0,095 |
0,266 |
При использовании экспертных методов, в которых ранги не определяются (например, в методе парных сравнений), для нахождения коэффициента конкордации рассчитанные значимости объектов следует перевести в ранги. Ранг 1 приписывается объекту, у которого значимость наибольшая и т.д.
Оценки объектов, получаемые в результате обработки экспертных оценок представляют собой случайные величины. Поэтому необходимо оценивать надежность (достоверность) результатов экспертизы. При этом рассчитанную величину коэффициента конкордации следует взвешивать по критерию Пирсона X2 («хи- квадрат») с определенным уровнем значимости, т.е. с максимальной вероятностью неправильного результата экспертизы. Обычно задавать значимость достаточно в пределах 0,005 – 0,05.
Расчетная величина критерия Пирсона определяется по формуле
(1.6)
В
случае получения расчетной величины
больше табличной, т.е.
(с избранным уровнем значимости), мнения
экспертов окончательно признаются
согласованными.
Табличные величины X2 (фрагмент взят из, значения которых представлены в таблице 1.11, зависят от принимаемого уровня значимости и числа степеней свободы S, определяемого по формуле S = n – 1.
Таблица 1.11
Табличные
величины критерия Пирсона
(фрагмент)
Уро-вень значимос-ти |
Число степеней свободы (S = n – 1) |
|||||||||||||
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
15 |
20 |
25 |
30 |
|
0,005 |
7,9 |
10,6 |
12,8 |
14,9 |
16,8 |
18,6 |
20,3 |
22 |
23,6 |
25,2 |
32,8 |
40 |
47 |
54 |
0,020 |
5,4 |
7,8 |
9,8 |
11,7 |
13,4 |
15 |
16,6 |
18,2 |
19,7 |
21,2 |
28,3 |
35 |
41,6 |
48 |
0,050 |
3,8 |
6 |
7,8 |
9,5 |
11,1 |
12,6 |
14,1 |
15,5 |
16,9 |
18,3 |
25 |
31,4 |
37,7 |
43,8 |
Для вышеприведенного примера (табл. 1.8) получаем по формуле (1.6)
При
уровне значимости 0,05 табличная величина
,
т.е.
.
Поэтому мнения экспертов по данному
примеру можно окончательно принять
согласованными с вероятностью 0,95.