10. Согласованность мнений экспертов при ранжировании объектов. Коэффициент координации.
Каждый эксперт дает свои собственные оценки, но окончательный результат всей группы экспертов необходимо проверить на согласованность с помощью коэффициента конкордации.
Согласованность группы экспертов рассчитывается с помощью коэффициента конкордации.
Рассмотрим пример ранжирования мероприятий (j = 1, ..., m), проводимого командами экспертов (i = l,...,m). Схема представления исходных данных дана в таблице:
Таблица мнений
-
Члены команды
(эксперты)
i=1…m
Мероприятия j=1…n
A1
B
2
…
P
15
1. Сидоров П.Н.
120
2.
120
……..
m.
120
Обобщенное мнение команды
Этап 1. Каждая команда должна сформировать таблицу мнений. В строке мнения члена команды не должно быть одинаковых рангов.
Этап 2. Каждая команда экспертов определяет степень согласованности мнений членов команды. Для этого по таблице мнений рассчитывается коэффициент конкордации (согласованности) W.
1. В итоговом столбце должны быть одинаковые суммы рангов, равные n(n+1)/2. В данном примере сумма рангов равна: 15x16/2 =120
Рассчитываются значения в итоговой строке - фактический ранг J-ro мероприятия по всем экспертам.
Рассчитывается среднестатистический ранг j-ro мероприятия по всем экспертам:
4.Определяется сумма отклонений п.2 и п.З.:
5.Рассчитывается максимально возможная сумма отклонений:
6.Рассчитывается W - коэффициент конкордации:
7.Определяется
значимость и согласованность мнений
членов команды. Для этого
приводится W
к
факт
и сравнивается с табличным значением
.
Со степенью свободы (n-1):
Пусть P
=0,05; находим по таблице значение
.
Если
>
,
то W
существенен и с заданной надежностью
P
мнение членов команды согласовано. В
этом случае итоговая строка «Обобщение
мнение команды» из таблицы мнений может
быть принята для обсуждения.
Если < , мнение членов команды не согласовано и не может быть принято.
Этап 3. Сравниваются и обсуждаются результаты проведенного анализа. Делаются выводы: та команда, у которой W больше (при согласовании мнений), считается более перспективной, и ее обобщенное мнение является основной для прогноза.
Выводы:
Экспертиза независима.
Результат экспертизы - основа для расчетов по проекту, реализации цели.
Результат экспертизы должен быть подтвержден согласованностью мнений экспертов.
Результат экспертизы - есть обоснованное обобщенное мнение нескольких экспертов.