1.2.3.1.Эксперт ранжирует оцениваемые величины.

Если определяются не численные значения коэффициен­тов весомости, а только их порядковая последовательность (ранжировка), то оценка воспроизводимости результата может быть определена аналогично оценке отклонения от средней при помощи коэффициента ранговой корреляции (по Спирмену) между ранжировками двух туров, произве­денными каждым j-м экспертом

К_{вр j} = 10R`_j (16)

где

(17)

Причем d`_ij – разность между рангами присвоенными i-му коэффициенту весомости j-тым экспертом в первом и втором турах опроса.

Понятно, что структура формул (16) и (17) аналогична формулам (12) и (13).

1.2.1.2. Эксперт определяет численные значения оцениваемых величин.

Если же эксперты вычисляют числен­ные значения коэффициентов весомости, то целесообразно использовать формулы, аналогичные формулам (14) и (15)

К_{вр j}= 10 (1-`_j ) (18)

где

(19)

причем М`_ij и М``_ij – значения i-го коэффициента весомости, назначенное j-тым экспертом соответственно в первом и втором турах.

Необходимо отметить, что при современных методах опроса эксперта нет необходимости проводить второй тур для оценки воспроизводимости мнения эксперта. Например, проверка на непротиворечивость может быть заключена в наличии воз­можности несколькими путями рассчитать получаемые оценки (в матричном методе). Иногда в пределах одной анкеты экспертов просят заполнить разные по строению таблицы, которые при обработке дают, по сути, схожую информацию, а далее сравнивают результаты (в методе вспомогательной процентной шкалы)

Практический опыт оценки ка­чества экспертов показывает, что оценку воспроизводимос­ти результата целесообразно применять при формировании экспертной группы.