8.2.1. Ранжирование объектов.

Рассмотрим случай, когда эксперты ранжируют объекты строго, т.е. указывают номер места, которое занимает данный объект по важности. Обозначим:

число объектов;

число экспертов;

ранг, присвоенныйм экспертому объекту.

Результаты сводят в таблицу:

.

Затем находят суммы рангов по столбцам: где.

Объекты ранжируют в соответствии с суммами рангов: объект предпочтительнее объекта, если; объектыиэквивалентны, если.

Далее необходимо оценить согласованность экспертов.

Пусть все эксперты совершенно согласованы, т.е. дают одинаковые ранги объектам. В этом случае суммы рангов по столбцам будут: , т.е. в одном столбце все единицы, в другом только двойки и т.д.

Сумма чисел в одной строке: .

Общая сумма рангов во всей матрице: .

Если эксперты полностью рассогласованы, то ранги равны:

. (8.1)

Разброс мнений экспертов будем характеризовать следующим образом. Найдем отклонение суммы рангов в таблице от :. Так как разности будут разного знака, то суммируют квадраты разностей

. (8.2)

Если эксперты полностью согласованы, то сумма максимальна. Если эксперты полностью рассогласованы, то. Обозначимнаибольшее значение, соответствующее случаю полной согласованности экспертов.

Для оценки согласованности экспертов вводится коэффициент конкордации(согласованности):

. (8.3)

Если , то полное отсутствие согласованности. Если, то полная согласованность.

Найдем

первый член суммы –

второй –

и т.д.

.....................................................

.

После суммирования получим: . Окончательно получаем:

. (8.4)

Если эксперты неквалифицированны и друг от друга не зависят, то тогда можно рассматривать как случайную величину, для которой известно распределение.

Можно найти вероятность того, что значение коэффициента конкордации получено случайно, т.е. вероятность

.

Значение можно рассматривать, как доверительную вероятность. Если она достаточно мала, адостаточно велико, то предположение об отсутствии согласованности отклоняется. Обычно согласованность считают удовлетворительной, еслиии хорошей, еслии.

Для малых значений исоставлены специальные таблицы распределения, например, таблица значений коэффициента конкордации, для которых вероятность ошибки при принятии гипотезы о согласованности мнений экспертов не превосходит 0,05.

\	3	4	5	6	7
3	-	-	0,71	0,66	0,65
4	-	0,625	0,55	0,51	0,505
5	-	0,504	0,448	0,416	0,411
6	-	0,422	0,378	0,351	0,347
8	0,375	0,319	0,288	0,267	0,264
10	0,3	0,256	0,231	0,215	0,213

При можно считать, что величинаимеет распределение близкое к распределениюсстепенями свободы.

Пример 8.1. Пять экспертов ранжировали восемь объектов. Результаты приведены в таблице. Объект → 1 2 3 4 5 6 7 8 Эксперт ↓ 1 5 7 1 6 2 3 8 4 2 3 1 7 2 4 6 8 5 3 4 6 1 5 3 7 8 2 4 3 8 5 7 4 1 6 2 5 6 4 2 8 1 3 7 5 21 26 16 28 14 20 37 18 5 6 2 7 1 4 8 3 Находим ранг объектов при полном рассогласовании экспертов (8.1): . Сумма отклонений (8.2): Коэффициент конкордации (8.4): .. Число степеней свободы . По таблицам (Приложение ) находим . Вероятность слишком велика. Для сближения оценок экспертов нужно провести дополнительный тур оценивания, либо исключить второго эксперта, как слишком “оригинального”. После исключения второго эксперта получаем новую таблицу : Объект → 1 2 3 4 5 6 7 8 Эксперт ↓ 1 5 7 1 6 2 3 8 4 2 4 6 1 5 3 7 8 2 3 3 8 5 7 4 1 6 2 4 6 4 2 8 1 3 7 5 18 25 9 26 10 14 29 13 5 6 1 7 2 4 8 3 Производим все вычисления в таком же порядке: ; ; ; Число степеней свободы . По таблицам (Приложение ) находим . Согласованность экспертов значительно лучше.