5.2.2. Метод ранжирования вариантов

Простейший метод экспертных оценок, основанный на ранжировании вариантов, заключается в следующем.

Пусть имеется группа из m экспертов и множество из n вариантов решения. Сформулирована целевая функция принятия решения в виде критерия q.

В результате сопоставления вариантов по критерию q на основе накопленного опыта и профессиональных знаний каждый эксперт определяет начальный вектор рангов вариантов, для i-го эксперта этот вектор имеет вид:

y_i = (y_i1, y_i2, … , y_in).

где y_ij – ранг варианта v_j, присваиваемый i-м экспертом.

Вектора y_i образуют матрицу рангов Y размером m × n.

Требуется по значениям компонентов матрицы Y определить:

• оптимальный вариант или сформировать подмножество предпочтительных вариантов, содержащее оптимальное решение;

• рейтинги вариантов;

• степень согласованности мнений экспертов.

Ранжированием совокупности вариантов V = {v₁,… , v_n} называется нумерация вариантов в соответствии с возрастанием или убыванием критерия q.

Окончательным результатом ранжирования n вариантов решения i-ым экспертом является нормированная последовательность (вектор):

x_i = (x_i1, x_i2, … , x_in).

При правильном ранжировании для суммы рангов x_ij любого i-го эксперта должно выполняться условие нормировки:

. (5.1)

Для количественной оценки степени согласованности мнений экспертов используется коэффициент конкордации W. В случае, когда компетентность экспертов не учитывается, т. е. для всех экспертов веса одинаковы и равны 1, расчет коэффициента конкордации производится по формулам:

; (5.2)

; (5.3)

где t_ij – число повторений рангов x_ij в i-м ряду.

Значение коэффициента конкордации 0 ≤ W ≤ 1 показывает, на сколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. W = 0 означает полную противоположность мнений, а W = 1 – их полное совпадение. На практике достоверность экспертных оценок считается хорошей, если W ≥ 0,7 ÷ 0,8.

Небольшое значение коэффициента W свидетельствует о слабой согласованности мнений экспертов, которая может быть вызвана следующими причинами:

• в группе экспертов отсутствует общность мнений;

• внутри группы существуют подгруппы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.

В том случае, когда учитывается компетентность экспертов с помощью весовых коэффициентов c_j, коэффициент конкордации рассчитывается следующим образом:

; (5.4)

.

Веса c_j могут определяться различными путями. Например, на основе учета квалификации, образования, стажа работы по специальности и т.д. Кроме того, для определения c_j можно использовать тесты или оценивание другой группой экспертов.

Достоверность предположения о согласованности мнений экспертов проверяется методами проверки статистических гипотез. Статистические гипотезы представляют собой некоторые предположения относительно характеристик случайных величин, которые подлежат проверке. Различают нулевые и альтернативные гипотезы. К нулевым гипотезам относятся предположения о равенстве нулю определяемых статистических показателей или отсутствии различия между ними.

Для проверки значимости коэффициента конкордации W, т.е. проверки гипотезы, что W существенно больше 0, могут использоваться Z-критерий Фишера и критерий «Хи-квадрат» Пирсона (или χ²).

В первом случае используется величина:

, (5.5)

имеющая распределение с числами степеней свободы

v₁ = n – 1; v₂ = (m – 1) v₁; (5.6)

где m и n – число экспертов и вариантов.

Во втором случае рассматривается величина

χ² = m(n – 1)W, (5.7)

подчиняющаяся распределению Пирсона с числом степеней свободы

v = n – 1. (5.8)

Проверка значимости коэффициента конкордации W производится в следующем порядке:

1. Выбирается статистический критерий (Фишера или Пирсона). При n ≥ 7 рекомендуется использовать критерий Пирсона.

2. По формуле (5.5) или (5.7) рассчитывается оценка критической статистики (Z или χ²).

3. Задается уровень значимости 100α, %, рассчитывается число степеней свободы по формулам (5.6) или (5.8). По соответствующей статистической таблице критерия определяется табличное значение . Например, для критерия Пирсона по табл. П.1, используя значения v и α, можно определить χ_т(v, α).

4. Если χ ≥ χ_т(v, α), то нулевая гипотеза отвергается и коэффициент конкордации W считается значимым; если χ ≥ χ_т(v, α), то имеет место нулевая гипотеза и W незначим.

По результатам ранжирования рассчитываются суммарные xs_j и средние ранги вариантов:

; ; j = 1, 2, … , n. (5.9)

По значениям определяются рейтинги вариантов.

При значимом коэффициенте конкордации W рейтинги вариантов определяются по формуле:

, j = 1, 2, … , n. (5.10)

В формуле (5.10) принимают 1/x_ij = 0, если x_ij = n.

При незначимом коэффициенте рейтинги вариантов определяются следующим образом:

, j = 1, 2, … , n. (5.11)

❒ Пример 5.1. Обработка результатов экспертизы с помощью ранжирования вариантов.

Требуется обработать результаты экспертизы y_ij, представленные в табл. 5.1.

Таблица 5.1

Оценки экспертов

Эксперты (m = 4)	Варианты (n = 6)						Σyij
	v1	v2	v3	v4	v5	v6
1	1	2	1	4	3	5	16
2	1	2	2	3	1	4	13
3	1	1	3	2	3	4	14
4	1	1	3	3	4	3	15

Условие нормировки по формуле (5.1) будет:

.

Для обеспечения этого условия следует перемножить оценки каждой строки таблицы 5.1 на соответствующий ей коэффициент:

;

a₁ = 21/16 = 1,31; a₂ = 21/13 = 1,62;

a₃ = 21/15 = 1,5; a₄ = 21/15 = 1,4.

Отсюда нормальные ранги x_ij после округления с точность. 0,5 будут иметь значения, показанные в табл. 5.2.

Таблица 5.2

Нормальные ранги

Эксперты (m = 4)	Варианты (n = 6)
	v1	v2	v3	v4	v5	v6
1	1,5	3	1,5	5	4	6
2	1,5	3,5	3,5	5	1,5	6
3	1,5	1,5	4,5	3	4,5	6
4	1,5	1,5	4	4	6	4
xsj	6	9,5	13,5	17	16	22
xsj – m(n + 1)/2	-8	–4,5	–0,5	3	2	8
(xsj – m(n + 1)/2)2	64	20,25	0,25	9	4	64

Значения T_i определим путем составления таблицы с числами t_ij повторений рангов в каждом i-ом ряду (табл. 5.3).

Таблица 5.3

Числа t_ij повторений рангов в каждой строке таблицы нормальных рангов

Эксперты (m = 4)	Варианты (n = 6)						Ti
	v1	v2	v3	v4	v5	v6
1	2	1	0	1	1	1	0,5
2	2	2	0	1	0	1	1
3	2	0	2	1	0	1	1
4	2	0	3	0	1	0	2,5

По формуле (5.3) получим:

T₁ = [(2³ – 2) + (1³ – 1) + (1³ – 1) + (1³ – 1)]/12 = 0,5;

T₂ = [(2³ – 2) + (2³ – 2) + (1³ – 1) + (1³ – 1)]/12 = 1;

T₃ = [(2³ – 2) + (2³ – 2) + (1³ – 1) + (1³ – 1)]/12 = 1;

T₃ = [(2³ – 2) + (3³ – 3) + (1³ – 1)]/12 = 2,5.

Коэффициент конкордации по формуле (5.2) будет:

.

Проверку значимости коэффициента произведем по критерию χ². Расчетное значение критерия χ² по формуле (5.7) будет:

χ² = 4(6 – 1)0,621 = 12,43.

Сравним значение χ с табличным χ_т, получаемым при α = 0,05 и v = n – 1 = 5. По табл. П.1 получим χ_т²(0,05; 5) = 11,7.

Поскольку

χ² = 12,43 > χ_т² = 11,7,

то мнения экспертов при уровне значимости 5% можно считать согласованными.

Рейтинги вариантов по формуле (5.10) будут:

; ;

; ;

; .

Таким образом, наибольший рейтинг по согласованному мнению экспертов имеет вариант v₂. ❒