Приложение д оценка согласованности мнений экспертов

При проведении различных выборочных исследований (маркетинговых, социологических и др.) очень часто возникает необходимость оценить согласованность мнений людей, выбранных для осуществления проверок (экспертов).

Результаты экспертных оценок в большинстве случаев достаточно сильно различаются в зависимости от индивидуальных особенностей (различий) экспертов, поэтому их необходимо анализировать статистическими методами. Коэффициенты корреляции рангов и конкордации достаточно широко используются для выявления связей между мнениями группы экспертов¹.

а) Коэффициент корреляции рангов

При регулярной оценке двумя экспертами продукции из группы в п изделий им приписывается значение со знаком «+», когда ранг изделия у первого эксперта выше, чем у второго, и «-», когда нет. Если общую сумму всех разностей оценок обозначить через S, то

(Д1)

Это выражение является коэффициентом корреляции рангов Кендалла. Отметим, что τ = 1 при совпадении всех рангов у двух экспертов и τ = -1 – при их противоположности. Если учитывать только отрицательные оценки, а их сумму обозначить (-Q), то коэффициент корреляции рангов рассчитывается по формуле

(Д2)

Для определения близости мнений двух экспертов применяется коэффициент корреляции рангов Спирмена:

(Д3)

где d – разность рангов.

Кроме того, используя R, можно определить наличие или отсутствие корреляции.

Так, при n > 10

(Д4)

оценка приближенно соответствует t – распределению с (п – 2) – числом степеней свободы.

Пример:

Пусть требуется рассмотреть 10 изделий, которым присвоены порядковые номера, и двум экспертам А и В поручено проранжировать их по убыванию качества (таблица Д1).

Таблица Д1 – Ранжировки экспертов
Изделия	1	2	3	4	5	6	7	8	9	10
Эксперт А	2	1	3	4	6	5	8	7	10	9
Эксперт В	3	2	1	4	6	7	5	9	10	8
Разность рангов 6	1	1	2	0	0	2	3	2	0	1
Квадрат разностей рангов, d2	1	1	4	0	0	4	9	4	0	1

Переписываем таблицу так, чтобы данные ранжировки эксперта А были упорядочены по возрастанию:

Эксперт А	1	2	3	4	5	6	7	8	9	10
Эксперт В	2	3	1	4	7	6	9	5	8	10
Инверсии	1	1	0	0	1	1	1	1	0	0

Подсчитываем последовательно для результатов эксперта В число данных справа, которое меньше 2, 3, ,11 соответственно, и строим ряд инверсий 1,1, О 0, 1, 1, 1, 1, 0, 0. Сумма числа инверсий Q = 6 и для n =10 коэффициент корреляции рангов Кендалла:

(Д5)

Сумма квадратов разностейпоэтому коэффициент корреляции рангов Спирмена:

(Д6)

Коэффициент корреляции рангов R равен +1, когда мнения двух экспертов совпадают полностью, а когда они взаимно обратны, коэффициент корреляции равен – 1.

Рассмотрим корреляцию ранжировок, используя t_n-2 распределение и полученный R:

(Д7)

Это значение больше, чем табличной t_n(0,01) = 3,335, следовательно, степень близости ранжировок высока.

б) Коэффициент конкордации

Для оценки совпадения мнений т экспертов используют коэффициент конкордации W. Поскольку сумма рангов, выставленных одним экспертом для п изделий равна п (п + 1)/2, то общая сумма рангов тп (п + 1)/2, разделив которую на количество изделий, получим т (п + 1)/2 – ожидаемое значение суммы рангов изделия.

Суммы рангов достигают максимума при полном совпадении оценок экспертов и для различных изделий соответственно равны т, 2т, ... , пт.

Рассмотрим максимальную сумму квадратов разностей:

(Д8)

Однако на практике в мнениях экспертов возникают некоторые расхождения, поэтому, используя фактические суммы рангов изделий S, получаем ожидаемое значение:

, (Д9)

которое меньше чем S_max, а их отношение служит для определения степени совпадения мнений экспертов W/:

(Д10)

Пример:

Рассмотрим семь изделий, которые оценивали пять экспертов (таблица Д2).

Таблица Д2 – Оценки экспертов
Изделия	1	2	3	4	5	6	7
Эксперт А	2	4	3	7	5	1	6
Эксперт В	4	5	2	3	6	1	7
Эксперт С	1	3	2	4	6	5	7
Эксперт D	3	1	4	2	7	6	5
Эксперт Е	1	3	5	7	6	2	4
Сумма рангов, S	11	16	16	23	30	15	29

Так как т = 5, а п = 7, то т(п+1 )/2 = 20 и З_ож = (11–20)² + (16–20)² + (16–20)² + (23–20)² + (30–20)² + (15-20)² + (29–20)² = 328.

Подставляя ожидаемое значение в формулу коэффициента конкордации, получаем:

(Д11)

Результат показывает, что оценки экспертов не случайны, так как W не равен нулю, но до полного совпадения W = 1 им (оценкам) сравнительно далеко.