8.2.1. Ранжирование объектов.

Рассмотрим случай, когда эксперты ранжируют объекты строго, т.е. указывают номер места, которое занимает данный объект по важности. Обозначим:

число объектов;

число экспертов;

ранг, присвоенный м экспертом у объекту.

Результаты сводят в таблицу:

.

Затем находят суммы рангов по столбцам: где .

Объекты ранжируют в соответствии с суммами рангов: объект предпочтительнее объекта , если ; объекты и эквивалентны, если .

Далее необходимо оценить согласованность экспертов.

Пусть все эксперты совершенно согласованы, т.е. дают одинаковые ранги объектам. В этом случае суммы рангов по столбцам будут: , т.е. в одном столбце все единицы, в другом только двойки и т.д.

Сумма чисел в одной строке: .

Общая сумма рангов во всей матрице: .

Если эксперты полностью рассогласованы, то ранги равны:

. (8.1)

Разброс мнений экспертов будем характеризовать следующим образом. Найдем отклонение суммы рангов в таблице от : . Так как разности будут разного знака, то суммируют квадраты разностей

. (8.2)

Если эксперты полностью согласованы, то сумма максимальна. Если эксперты полностью рассогласованы, то . Обозначим наибольшее значение , соответствующее случаю полной согласованности экспертов.

Для оценки согласованности экспертов вводится коэффициент конкордации (согласованности):

. (8.3)

Если , то полное отсутствие согласованности. Если , то полная согласованность.

Найдем

первый член суммы –

второй –

и т.д.

.....................................................

.

После суммирования получим: . Окончательно получаем:

. (8.4)

Если эксперты неквалифицированны и друг от друга не зависят, то тогда можно рассматривать как случайную величину , для которой известно распределение.

Можно найти вероятность того, что значение коэффициента конкордации получено случайно, т.е. вероятность

.

Значение можно рассматривать, как доверительную вероятность. Если она достаточно мала, а достаточно велико, то предположение об отсутствии согласованности отклоняется. Обычно согласованность считают удовлетворительной, если и и хорошей, если и .

Для малых значений и составлены специальные таблицы распределения , например, таблица значений коэффициента конкордации, для которых вероятность ошибки при принятии гипотезы о согласованности мнений экспертов не превосходит 0,05.

\	3	4	5	6	7
3	-	-	0,71	0,66	0,65
4	-	0,625	0,55	0,51	0,505
5	-	0,504	0,448	0,416	0,411
6	-	0,422	0,378	0,351	0,347
8	0,375	0,319	0,288	0,267	0,264
10	0,3	0,256	0,231	0,215	0,213

При можно считать, что величина имеет распределение близкое к распределению с степенями свободы.

Пример 8.1. Пять экспертов ранжировали восемь объектов . Результаты приведены в таблице. Объект → 1 2 3 4 5 6 7 8 Эксперт ↓ 1 5 7 1 6 2 3 8 4 2 3 1 7 2 4 6 8 5 3 4 6 1 5 3 7 8 2 4 3 8 5 7 4 1 6 2 5 6 4 2 8 1 3 7 5 21 26 16 28 14 20 37 18 5 6 2 7 1 4 8 3 Находим ранг объектов при полном рассогласовании экспертов (8.1): . Сумма отклонений (8.2): Коэффициент конкордации (8.4): . . Число степеней свободы . По таблицам находим . Вероятность слишком велика. Для сближения оценок экспертов нужно провести дополнительный тур оценивания, либо исключить второго эксперта, как слишком “оригинального”. После исключения второго эксперта получаем новую таблицу : Объект → 1 2 3 4 5 6 7 8 Эксперт ↓ 1 5 7 1 6 2 3 8 4 2 4 6 1 5 3 7 8 2 3 3 8 5 7 4 1 6 2 4 6 4 2 8 1 3 7 5 18 25 9 26 10 14 29 13 5 6 1 7 2 4 8 3 Производим все вычисления в таком же порядке: ; ; ; Число степеней свободы . По таблицам находим . Согласованность экспертов значительно лучше.