Согласованность ранговых оценок

Для оценок, полученных в ранговой шкале, используются другие методы. Рассмотрим некоторые из них.

Для измерения согласованности полного ранжирования можно использовать коэффициент конкордации. В основе его расчета лежит идея о том, что при полной согласованности мнений экспертов дисперсия сумм рангов будет максимальной (т.е. все m экспертов дали одним и тем же объектам ранги от 1 до n, суммы рангов для каждого объекта составляют от m до m*n). Коэффициент конкордации W представляет собой соотношение двух дисперсий – дисперсию сумм рангов, которая имеет место на самом деле, делят на максимальную дисперсию. Поэтому всегда , и чем ближе коэффициент к единице, тем более высокой является согласованность мнений экспертов. Если W=0, мнения полностью рассогласованы^*, при W=1 мнение экспертов является единогласным. Обычно мнения считают согласованными, если W>0.5. После всех математических преобразований (здесь не приводятся) формула для этого коэффициента принимает следующий вид:

(11)

где W – коэффициент конкордации;

n - число ранжируемых объектов;

m - число экспертов;

- сумма рангов, присвоенных всеми экспертами j–му объекту (а_ij – ранг, который i–й эксперт приписывает j–му объекту);

– среднее арифметическое таких сумм.

Использовать эту формулу можно только если каждому эксперту удалось дифференцировать по предпочтительности все объекты, т.е. стандартизированные ранги не используются.

Например, пусть эксперты предложили следующее упорядочение (таблица 18):

Таблица 18 – Оценка согласованности ранговых оценок (вспомогательные расчеты)

Способы Эксперты	А	Б	В	Г	Д
	Индивидуальное ранжирование
Иванов	4	3	2	5	1
Петров	4	3	1	5	2
Сидоров	1	2	3	5	4
Сумма рангов Sj	9	8	6	15	7
= Sj - 9	0	-1	-3	6	-2
	0	1	9	36	4

Средняя сумма рангов равна m * (n + 1) / 2 = 3 * (5 + 1) / 2 = 9; сумма квадратов отклонений сумм рангов от нее равна 0 + 1 + 9 + 36 + 4 = 50. W = 50*12 / (3² * (5³ – 5)) = 0.56 > 0.5, следовательно, мнения можно считать согласованными.

Если в оценках экспертов присутствуют стандартизированные ранги, вид формулы для коэффициента конкордации несколько изменяется:

(12)

где L – число групп стандартизированных рангов;

t_i – число повторяющихся рангов в i–й группе.

Пример снова рассмотрим в виде таблицы (таблица 19).

Таблица 19 – Оценка согласованности ранговых оценок при наличии стандартизированных рангов (вспомогательные расчеты)

Способы Эксперты	А	Б	В	Г	Д
	Индивидуальное ранжирование
Иванов	3.5	3.5	2	5	1
Петров	4	4	1.5	4	1.5
Сидоров	1	2	3	5	4
Сумма рангов	8.5	9.5	6.5	14	6.5
= Sj - 9	-0.5	0.5	-2.5	5	-2.5
	0.25	0.25	6.25	25	6.25

Сумма квадратов отклонений сумм рангов от средней суммы равна 0.25 + 0.25 + 6.25 + 25 + 6.25 = 38. В оценках Петрова имеется одна группа из двух совпадающих рангов (ранг 3.5 имеют объекты А и Б), а в оценках Сидорова – две группы из двух (В и Д имеют ранг 1.5) и трех (А, Б и Г имеют ранг 4) рангов, поэтому W = 38*12 / (3² * (5³ – 5) – 3 * (2³ – 2 + 2³ – 2 + 3³ – 3)) = 0.47 < 0.5, следовательно, мнения нельзя считать согласованными.

Рассчитанные коэффициенты также должны быть проверены на статистическую значимость, поскольку их значения могут быть результатом случайного совпадения. Для проверки используется критерий Пирсона (рассчитывается по формуле W*m(n-1)), который при n>7 имеет –распределение c n-1 степенями свободы. Если его значение больше табличного, коэффициент конкордации можно считать значимым (уровень значимости обычно задают 0.05 или 0.01). В данном примере, поскольку альтернатив всего пять, этот критерий использовать нельзя.

Для оценки согласованности ранговых оценок двух экспертов используют коэффициенты ранговой корреляции Спирмена или Кендалла. Формулы для расчетов здесь не приводятся, рекомендуется изучить их самостоятельно, используя учебники по статистике и экспертным оценкам [5, 7].