2.6.4. Оценка качества экспертов персоналом рабочей группы

Цель этой экспертизы - получить количественную характеристику заинтересованности эксперта в данной работе, оценить его собранность и активность в ходе опроса (К_РГ). Эту оценку дают технические работники, которые проводят опрос.

В этом случае применяют также 10-бальную шкалу.

Члены рабочей группы, уполномоченные для этой цели, дают оценку персонально каждому эксперту. Затем определяют усредненную оценку по каждому эксперту.

2.6.5. Статистические оценки качества экспертов

Среди множества статистических методов определения качества экспертов, наиболее применимым является метод оценки по отклонению от среднего мнения экспертной группы, считая это мнение за истинное значение. В этом случае определяют дисперсию или стандарт согласно теории случайных процессов, как это сказано выше.

При оценке качества продукциинесколько другим по форме являетсяметод, основанный на использовании «коэффициента конкордации». Суть этого метода заключается в следующем.

1. Каждый эксперт ранжирует все объекты, параметры, исследуемых экспертов и т.п. Каждому объекту эксперт присваивает свой уровень, находящийся в рамках общего количества объектов. Например, если пять объектов, то ранжирование осуществляют в пределах 1…5, а если семь объектов, то 1…7 и т.д.

Причем, эксперт может присвоить нескольким объектам одинаковый ранг, но при этом сумма рангов не должна превышать их потенциальное значение. Например, из пяти объектов эксперт хочет первым трем дать одинаковые оценки. Тогда он может дать им ранги 2, 2, 2, 4 и 5, т.е. в сумме количество рангов должно быть равно 15 = 1+2+3+4+5: а_1j, a_2j, a_3j, ......., a_nj

2. Затем определяют сумму рангов, полученную каждым объектом

, гдеm– числоэкспертов;

n– число объектов, показателей, исследуемых экспертов и т.п.;

3. Вычисляют среднюю сумму рангов для всех объектов по выражению

(2.8)

4. Определяют сумму квадратов отклонений рангов по формуле

(2.9)

5. Вычисляют значение коэффициента конкордации, который при строгом ранжировании(в условиях отсутствия одинаковых рангов) равен

(2.10)

Коэффициент конкордации позволяет характеризовать степень согласованности мнений специалистов.

Если эксперты присваивают одинаковые ранги двум или более объектам (экспертам), то имеет место не строгое ранжирование.Значение коэффициента конкордации вычисляют по зависимости

, (2.11)

где - число одинаковых рангов вi– ранжировании уj-го эксперта;

k – число типов одинаковых рангов, например у первого эксперта в таблице 2.6 имеется два типа с одинаковыми рангами (2,0 и 4,5).

При 0W_N 1,0не полная согласованность между экспертами.

При W_N= 0 отсутствует какая-либо согласованность между экспертами. ПриW_N= 1,0 имеется полная согласованность между экспертами.

Таблица 2.4. Определение значения коэффициента конкордации при строгом ранжировании

Объек-ты, n	Эксперты, m
	1	2	3	4	5	6	aij
1	6	1	6	6	6	6	31	100
2	4	5	4	5	5	3	26	25
3	2	2	2	3	3	2	14	49
4	1	4	3	2	2	4	16	25
5	3	3	1	1	1	1	10	121
6	5	6	5	4	4	5	29	64
							L=21

Статистическую значимость ранжировки, проведенную экспертами, можно проверить по критерию Пирсона ², предполагая, что значениеm (n-1) W имеет -распределение с(n-1)степенью свободы.

Расчетное значение критерия при строгом ранжировании можно определить

по формуле

Принимая значение доверительной вероятности (ошибки), например, равной 0,01 и имея величину степени свободы (n-1) = (6-1) = 5, по специальным таблицам, применяемым в статистике (таблица 2.5), определим .

Таблица 2.5. Значения ² в зависимости от числа степеней свободы (К) и доверительной вероятности ()

						
К	0,05	0,01	0,001	К	0,05	0,01	0,001
1	3,84	6,63	10,83	16	26,30	32,00	39,25
2	5,99	9,21	13,81	17	27,59	33,41	40,79
3	7,81	11,44	16,27	18	28,87	34,80	42,31
4	9,49	13,28	18,46	19	30,14	36,19	43,82
5	11,07	15,09	20,52	20	31,41	37,57	45,31
6	12,59	16,81	22,46	21	32,67	38,93	46,80
7	14,07	18,47	24,32	22	33,92	40,29	48,27
8	15,51	20,09	26,12	23	35,17	41,63	49,73
9	16,92	21,67	27,88	24	36,41	42,98	51,18
10	18,31	23,21	29,59	25	37,65	44,31	52,62
11	19,67	24,72	31,26	26	38,88	45,64	54,05
12	21,03	26,22	32,91	27	40,11	46,96	55,48
13	22,37	27,69	34,53	28	41,34	48,28	56,89
14	23,68	29,14	36,12	29	42,56	49,59	58,30
15	25,00	30,58	37,70	30	43,77	50,89	59,70

При можно утверждать, что согласованность мнений специалистов не случайная и результаты экспертного анализа являются статистически значимыми.

Таблица 2.6. Пример определения значения коэффициента конкордации при не строгом ранжировании.

Объ-екты, n	Эксперты, m
	1	2	3	4	5	6	aij
1	6	2,5	6	6	5,5	6	32	121
2	4,5	5	4	5	5,5	3	27	36
3	2	2,5	2	3	3	1,5	14	49
4	2	2,5	3	2	2	4	15,5	30,25
5	2	2,5	1	1	1	1,5	9	144
6	4,5	6	5	4	4	5	28,5	56,25
							L=21

Расчетное значение критерия при не строгом ранжировании можно определить по формуле

Принимая значение доверительной вероятности (ошибки), допустим равной 0,01, и имея величину степени свободы, в зависимости от числа экспертов,(n - 1) = (6 - 1) = 5, по таблице 2.5 определим .

При значенииможно утверждать, что согласованность мнений специалистов не случайная и результаты экспертного анализа являются статистически значимыми.

Существуют и другие методы, например метод ранговой корреляции, который предусматривает определение корреляции между ранжировкой отдельного эксперта и средней ранжировкой.