19

1.3.1. Оценка по отклонению от среднего мнения экспертной группы.

В основе этого метода лежит посылка, что истинным значением определяемой экспертами величины является средняя оценка экспертной группы. Отсюда следует, что чем меньше отклонение индивидуальной экспертной оценки от коллективной (т. е. усредненной для всей группы экс­пертов), тем выше качество эксперта, давшего эту оцен­ку. Как известно, чаще всего выносимые экспертами оценки представляют собой или ранжированную последовательность (например, ранжированные по важности пока­затели), или совокупность числовых значений параметров (например, численные значения коэффициентов весомо­сти). Рассмотрим особенности оценки отклонения от сред­ней применительно к этим двум типам экспертных оценок.

1. Эксперт ранжирует оцениваемые величины.

1. Для этого случая В. Д. Малюгиным предлагается метод определения оценки компетентности эксперта.

Оценка компетентности j-го эксперта К_{ком j} определя­ется выражением:

К_{ком j}=f(L)

где L – расхождение между ранжировкой, построенной экспертом, и «средней» ранжировкой;

f – некоторая монотонная функция, выбираемая с учетом специфических условий работы конкретной экспертной комиссии.

2. Несколько отличный по форме, но почти такой же по своей сущности метод, основан на использовании «коэффициента конкордации»:

а) Каждый эксперт ранжирует все объекты

M_ij = M_1j, M_2j,…, M_{n j}.

б) Подсчитывается сумма рангов каждого объекта

где a_ij – ранг i–го объекта у j–го эксперта.

в) Подсчитывается отклонение от средней суммы рангов _i (дисперсия рангов):

где T_p – средняя сумма рангов определяемая выражением

далее подсчитывается величина S^’

г) Коэффициент конкордации для N экспертов W_n определяется по формуле

Так как 0  W_N  1, то при W_N= 0 полностью отсутст­вует какая-либо согласованность в мнениях N экспертов, а при W_N = 1 имеется полная согласованность в мнениях всех N экспертов.

Если эксперт считает важность каких-либо объектов оди­наковой, то он присваивает им одинаковые (связанные) ранги. Причем присвоение рангов производится таким обра­зом, чтобы сумма рангов объектов у каждого эксперта рав­нялась величине . Например, эксперт, ранжируя пять объектов, считает, что первых три — одинаковые по важности. Тогда он присваивает следующие ранги: 2, 2, 2, 4, 5. При наличии связанных рангов коэффициент конкорда­ции вычисляется по формуле

д)

где

причем P – число групп одинаковых рангов в ранжировке j-го эксперта;

t_j – число повторений одинакового ранга в –й группе у j–го эксперта.

Так как 0  W_N  1, то при W_N = 0 полностью отсутст­вует какая-либо согласованность во мнениях N экспертов, а при W_N = 1 имеется полная согласованность во мнениях всех N экспертов.

Обычно считается, что согласованность впол­не достаточна, если W > 0,5.

е) Аналогичным образом вычисляется коэффициент конкордации для W`_N-1 для группы из (N-1) экспертов (т.е. для группы, из которой исключен один j-й эксперт).

ж) Для каждого j-го эксперта вычисляется отклонение W_N :

W`<sub>N</sub> = W<sub>N</sub> - W`_N-1

з) Оценка компетентности j-го эксперта К_{ком j} принимается пропорциональной величине отклонения W`_N:

К_{ком j} = bW`_N

где b – коэффициент пропорциональности» может определяться экспертным методом

Следует отметить, что оба описанных выше метода оценки отклонения от среднего достаточно эффективны. Однако их практическое применение связано с относительно большим объемом вычислительной работы.

3. Ниже описывается еще один метод такого рода, отличаю­щийся от двух предыдущих меньшей трудоемкостью: ис­пользование коэффициента ранговой корреляции (по Спир-мену) между ранжировкой эксперта и средней ранжировкoй.

где d_i – разность между средним рангом и рангом, присвоенным данным экспертом i-му объекту. (Данная формула используется при отсутствии связанных рвнгов)

Поскольку величина R_j заключена в интервале -1  R_j  1, то для удобства ее использования при оценке качества экспертов величина R_j переводится в шкалу 0..1 по формуле:

Тогда оценка качества эксперта по отклонению от сред­ней K_{oc j} c учетом принятой ранее 10-балльной шкалы будет равна:

К_{ос j} = 10 R`_j

Причем

0 ≤ К_{ос j} ≤ 10