4.6.1. Метод экспертной оценки ранжированием
При экспертном оценивании качества аналогичных, но не идентичных объектов методом ранжирования, эксперты представляют объекты в виде (возрастающего) ранжированного ряда. Численное определение итоговых оценок качества осуществляют поэтапно.
При этом:
1) Все объекты оценивания Qi нумеруются произвольно.
2) Эксперты ранжируют объекты по шкале порядка.
3) Ранжированные ряды объектов, составленные экспертами, сопоставляются.
Например:
Эксперт № 1 – Q5 < Q3 < Q2 < Q1 < Q6 < Q4 < Q7
Эксперт № 2 – Q5 < Q3 < Q2 < Q6 < Q1 < Q4 < Q7
Эксперт № 3 – Q5 < Q2 < Q3 < Q1 < Q6 < Q7 < Q4
Ранги R: 1 2 3 4 5 6 7
Наименее значимому объекту (предмету или его свойству), поставленному экспертом на первое место в возрастающем ранжированном ряду объектов, присваивается 1 ранг (R=1), следующему 2 ранга (R=2) и т.д. Наибольшее число рангов R равно числу оцениваемых объектов. В нашем примере число объектов m=7 и Rmax=7. Число рангов объекта соответствует его месту в ранжированном ряду.
4)
Определяем суммы рангов
каждого объекта полученных от всех n
экспертов.
В данном примере это:
,
,
,
,
,
,
.
5) На основании полученных сумм рангов строят обобщенный ранжированный ряд.
В нашем примере: Q5 < Q3 < Q2 < Q1 < Q6 < Q4 < Q7 .
6) Рассчитывают обобщенные экспертные оценки качества рассматриваемых объектов (коэффициенты весомости)
.
(31)
где n – количество экспертов; m – число оцениваемых объектов или показателей; Rij – ранг j-го показателя свойства, который дал i-й эксперт.
Общее количество рангов в данном примере
В примере:
g1 = 13 / 84 = 0,15; g2 = 8 / 84 = 0,10; g3 = 7 / 84 = 0,08;
g4 = 19 / 84 = 0,23; g5 = 3 / 84 = 0,04; g6 = 14 / 84 = 0,17;
g7 = 20 / 84 = 0,24.
Анализируя полученные результаты, можно указать какой объект лучше и на сколько.
7) Точность экспертных оценок определяют по согласованности мнений экспертов.
Степень совпадения оценок экспертов характеризует качество экспертизы и выражается коэффициентом конкордации W (0<W<1):
,
(32)
где S – сумма квадратов отклонений рангов или баллов каждого объекта от среднего арифметического значения;
n – количество экспертов;
m – количество оцениваемых объектов.
Значение S рассчитывают по формуле:
(33)
или
,
где
;
Rij – оценка в рангах данная i-му объекту j-м экспертом;
Rcp – среднеарифметическое значение рангов.
При W=0 имеем абсолютную несогласованность, а при W=1,0 – полное совпадение мнений.
В примере:
Rcp = (13 + 8 + 7 + 19 + 3 + 14 + 20) / 7 = 84 / 7 = 12
S = 12 + 42 + 52 + 72 + 92 + 22 + 82 = 240
W = 12 240 / (9 (343 – 7)) = 2880 / 3024 = 0,87
Повысить точность экспертных оценок показателей качества можно, если произвести двукратное сопоставление и ранжирование.
4.6.2. Метод попарного сопоставления
При экспертной оценке качества методом попарного сопоставления эксперты находят сколько предпочтений Ni имеет каждый объект по сравнению с другими.
Наибольшее число предпочтений любого из рассматриваемых объектов, полученное от одного из экспертов, равно
,
(34)
где m – количество оцениваемых относительно друг друга объектов.
Частота предпочтений i-го объекта Fi находится как частное от деления Ni и Nmax, т.е.
.
(35)
Общее число суждений одного эксперта С, связанное с количеством объектов экспертизы m, получают по формуле:
.
(36)
Зная значения Fi и С рассчитывают показатель качества или весомости i-го объекта по формуле (31), преобразованной к виду
,
(37)
где m – число оцениваемых объектов;
n – число экспертов в группе.
В идеале сумма всех показателей качеств gi, как коэффициентов весомости, должна равняться единице.
Показатель согласованности решений (оценок, мнений) экспертов, т.е. коэффициент конкордации W, рассчитывают также по формуле (32).
Если
и W
на много меньше единицы, то экспертизу
повторяют. Для двухкратного сопоставления
объектов экспертами в первоначально
избранной ими последовательности и в
другой последовательности при повторном
определении предпочтений имеем:
;
;
(38)
.
И в этом случае значения gi рассчитывают по формуле (37).
По результатам расчетов значений gi легко составить ранжированный ряд рассматриваемых объектов по их качетсву.