Глава 3. Анализ согласованности суждений экспертов.

В результате опроса группы экспертов, относительно сравнения объектов в некотором их наборе можно выделить 3 типичные картины:

§1.Конкордация.

Английским статистиком Кенделлом был предложен коэффициент (коэффициент конкордации) позволяющий оценивать степень согласованности мнений экспертов. Будучи теоретически обоснованным, он позволяет с достаточной степенью уверенности судить о согласованности мнений экспертов в некоторой группе.

Пусть даны результаты опроса М экспертов относительно Nобъектов каждому, из которых они приписывают определенный ранг.

, гдеW- коэффициент конкордации

W=1 при полном согласии экспертов

W=0 при рассогласованности мнений экспертов.

Кендаллом был найден закон распределения Wкак случайной величины, т.е. в предположении, что ранги всем объектам приписываются случайным равновероятным способом, т.е. что любая комбинация рангов из возможныхn! равновероятна. Тогда как это принято в мат. статистике вычисливW_{наблюденное}можно по специальным таблицам найти вероятность событияP(W≥W_набл). Если эта вероятность мала (P(W≥W_набл )<α, гдеα-наперед заданное число, обычно=0,5 ), то считают, что согласованность достаточно высокая, а в противном случае считается, что нет оснований говорить о хорошей согласованности экспертов. РаспределениеWтабулировано только для небольших значенийN(1-10), при большихNслучайная величинаW*M(N-1) имеет распределение асимптотически близкое к распределению χ² с числом степеней свободы υ=N-1.

Замечание. Иногда эксперт затрудняется отдать предпочтение одному объекту перед другими и приписывает двум или более объектам одинаковые ранги. В таких случаях формула для вычисленияWпринимает вид:

t⁽ⁱ⁾ _j– число одинаковых рангов поставленныхi-ым экспертом.

Пример:Отi-го эксперта получены следующие ранги дляN=10, 14444488810,

тогда Т_i= 1/12(5³-5+3³-3)=144/12=12

В случае совпадения рангов и больших Nслучайная величина аппроксимирующаяWраспределения χ²будет рассчитываться тоже несколько иначе:

Пример на оценку согласованности:

Пусть 5 экспертам было предложено проранжировать 7 факторов влияющих на технологический процесс. Результаты представлены в таблицы:

M=5 N=7

S=(13-20)²+(8-20)²+(30-20)²+(24-20)²+(21-20)²+(27-20)²+(14-20)²=368

S_кр=343,8 при α=0,01

Если S_набл >S_{кр ,} то мнения экспертов согласованы удовлетворительно.

§ 2. Ранговая корреляция. (Коэффициенты корреляции Спирмена и Кендалла.)

Предисловие:

Как уже говорилось при неудовлетворительной согласованности ответов экспертов необходим более подробный анализ. В частности, следует выяснить какие группы экспертов сильно расходятся во мнениях, какие нет. Здесь, например можно исследовать корреляции между суждениями экспертов в каждой паре. Таких пар будет C²_N, гдеN- число экспертов. Напомним что обычный выборочный коэффициент корреляции между двумя случайными величинамиXиYпредставленными выборкой (x₁, y₁);(x₂,y₂)…(x_n ,y_n) вычисляется по формуле:

(1), гдеx_i,y_i- элементы выборки из случайных величинXиYимеющих нормальное распределение,- средние выборочные;,

а σ_x и σ_y – стандартные отклонения выборки;

В математической статистике доказывается, что коэффициент корреляции Rизмеряет силу (тесноту) корреляционной связи (частный случай стохастической зависимости) между случайными величинамиXиYкогда с изменением одной случайной величины меняется условное мат. ожидание другой случайной величины.

Кроме того: 0≤|R|≤1

R>0- положительная корреляция

R<0- отрицательная корреляция

R=0-XиYне коррелированны

R=±1-XиYсвязаны функционально

Заметим что функциональная зависимость, есть частный случай стохастической. В общем случае, чем больше, |R|тем больше сила корреляционной связи междуXиY. В математической статистике существуют критерии по проверке значимости величиныR. При значимо большомRстроят уравнения регрессии и уточняют его тип (линейное, криволинейное и т.д.)

Подчеркнем, что все это справедливо касается данных полученных в абсолютной шкале измерений, и строго говоря, неприменимо к другим шкалам.