VI.4 Показатели согласованности общественного мнения группы экспертов

Статистическая обработка информации, полученной от экспертов, должна включать в себя оценку степени согласованности мнений экспертов и выявление причин неоднородности.

В общем случае статистический анализ материалов ответов, полученных от группы экспертов, предполагает:

оценку степени согласованности экспертов по каждому признаку в отдельности и по всему набору признаков в целом;

выделение подгрупп экспертов с “близким” мнением в случае существенных расхождений в ответах;

выявление причин разброса мнений, определяющих влияние характеристик экспертов на содержание ответов, и осуществления мероприятий, позволяющих повысить достоверность оценок экспертов.

VI.4.1 Метод коэффициентов ассоциаций

Для оценки меры сходства мнений каждой пары экспертов, может быть использован метод коэффициентов ассоциации, с помощью которого учитывают число совпадающих или не совпадающих ответов. Один из этих коэффициентов – информационная мера близости ответов двух экспертов:

где - мера совпадения ответов i-го и j-го специалистов

- количество признаков . одинаково оцененных i-ым и j-ым специалистами

- количество признаков, оцененных i-ым специалистом

- количество признаков, оцененных j-ым специалистом

Величина меняется в пределах от 1 до 0, причем =1 указывает на полное совпадение мнений экспертов, а =0 - на полное различие мнений.

Довольно часто возникает необходимость выявить взаимосвязь между признаками, которая состоит в том, что в зависимости от изменений одного из них меняется средняя величина других признаков, т.е. проверить согласованность оценок, полученных от экспертов. Для этого вычисляются так называемые коэффициенты ранговой корреляции.

Этот метод является грубым. Например, в случае:

=0, хотя 3 из 4-х альтернатив имеют одинаковую последовательность.

VI.4.2 Коэффициенты ранговой корреляции

Пусть n объектов ранжированы дважды в соответствии с изменением их свойств X и Y. Получим 2-а упорядоченных ряда: : x,y- ранги, данные экспертами альтернативам

Условием применения методов ранговой корреляции, является равенство числа рангов числу измеряемых объектов. Т.е. сумма рангов должна быть равна числу альтернатив:

Пусть связь между рангами и определяется как , а связь между и - как . Величина определяется так: 0, =

= 1, <

-1, >

Аналогично введем коэффициент :

0, =

= 1, <

-1, >

Формула для вычисления ранговой корреляции по Кендалу будет такой:

- коэффициент близости ответов экспертов

где S- алгебраическая сумма числа высших рисков по отношению к каждому низшему рангу (взятому последовательно, как значение y и сопоставленному с рядом значений x в восходящем или нисходящим порядке). Вычисляется по формуле:

Для одного эксперта: записываем ранги в порядке убывания, тогда альтернативы будут записываться в соответствующем порядке.

Величина S определяется как оценок, равных +1 или –1 и определяемых путем сравнения текущего ранга со всеми последующими рангами . При этом каждой паре, следующей в прямом порядке, присваивается +1, а следующих в обратном порядке присваивается –1.

Пример использования ранговой корреляции Кендалла:

Данные для расчета .

альтернативы ранги эксперта №1 ранги эксперта №2

1 3

2 4 S=(7-2)+(6-2)+(7-0)+(6- 0)+(2-3)+(-0+4)+

3 1 +(-3+0)+(-0+2)+(-1+0)=23

4 2

5 8

6 5

7 10

8 6

9 9

10 7

Если проверить все возможные комбинации рангов и вычислить для них S, то оказывается: распределение частот для Sсимметрично и с увеличением n стремится к нормальному => принимается следующий критерий для проверки значимости полученного результата:

Если полученное S принимает значение такое, что случайное появление маловероятно, то гипотеза о независимости ответов экспертов отвергается: ,

где - уровень значимости.

Для примера: , =0,05 => коэфф. значим

=0,01 => коэфф. незначим, т.е. ответы экспертов некоррелированные.

Существует другой метод расчета коэффициента ранговой корреляции по Спирмену. Он удобен для быстрой прикидочной оценки связи между переменными.

Формула коэффициента ранговой корреляции имеет вид:

, - меняется от 0 до 1.

где d- разности между рангами данной пары сопоставляемых рядов;

n- число сопоставляемых пар.

Оба этих подхода- для 2-х экспертов. В более общем случае требуется проверка согласованности нескольких экспертов.

Лекция №18