4.3. Обработка данных экспертизы.
Методов обработки экспертной информации существует достаточно много (Л. 4,10-12), в данном параграфе рассмотрим некоторые наиболее распространенные, разделив их на методы численных оценок и методы ранжирования.
А. Метод прямых численных оценок.
Этот метод используется для решения любых задач оценки качества. Наиболее часто его применяют для получения значений коэффициентов значимости, различных единичных свойств качества. Сущность метода заключается в сопоставлении каждому единичному свойству числа, характеризующего его значимость. Пусть в экспертизе участвует N, i=1,…,N экспертов, каждый из которых имеет свой коэффициент компетентности и оценивается S, j=1,…S отдельных свойств. Тогда результат экспертизы можно представить в виде прямоугольной матрицы, в которой строки соответствуют оценкам индивидуального свойства всеми экспертами:
4.1
Результирующая оценка строится по формуле средневзвешенного и итоговое выражение имеет вид:
4.2
При отсутствии информации о компетентности эксперта или при ее равенстве коэффициент принимается, равным единице.
Степень согласованности мнений экспертов относительно единичного свойства определяется с помощью коэффициента вариации v, равного
4.3
где
- стандартное
отклонение результатов экспертизы по
j-му
свойству
4.4
При этом рекомендуется (Л.4,10) использовать следующие предельные значения, приведенные в таблице 4.1
Таблица 4.1 Предельные значения СКО
-
σ
Определение согласованности
0,1
Высокая
0,11-0,15
Выше средней
0,16-0,25
Средняя
0,26--0,35
Ниже средней
0,36 и выше
Низкая
Статистическая значимость полученных результатов будет зависеть от объема оцениваемой выборки N*S, вида функции распределения и уровня доверительной вероятности (см. приложение П.2).
Пример 4.1. Предположим, что группа из 10 экспертов оценивает качество учебного пособия по 10 балльной шкале ( новизна, актуальность, изложение материала и т.п.). Наилучшим показателем является 10. Каждому эксперту выдана опросная анкета с оцениваемыми показателями. В результате опроса получены данные, сведенные группой анализа в таблицу 4.2
Таблица 4.2. Сводные значения экспертизы.
Qj \ N |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
1 |
10 |
9 |
10 |
9 |
10 |
9 |
10 |
10 |
10 |
10 |
2 |
9 |
9 |
9 |
8 |
9 |
9 |
8 |
9 |
8 |
8 |
3 |
6 |
6 |
6 |
6 |
6 |
5 |
6 |
6 |
5 |
6 |
4 |
10 |
9 |
8 |
8 |
8 |
9 |
9 |
9 |
8 |
8 |
5 |
7 |
7 |
7 |
7 |
7 |
7 |
7 |
7 |
8 |
7 |
6 |
9 |
10 |
10 |
10 |
10 |
9 |
9 |
10 |
10 |
10 |
7 |
5 |
5 |
5 |
4 |
5 |
5 |
5 |
5 |
5 |
5 |
8 |
3 |
3 |
3 |
3 |
3 |
3 |
2 |
3 |
3 |
3 |
9 |
7 |
8 |
8 |
7 |
9 |
7 |
9 |
8 |
8 |
9 |
Произведем обработку полученных данных, вычислим среднее значение с помощью(4.2), а СКО с помощью (4,4). При этом будем считать, что компетентность экспертов одинакова, доверительная вероятность принята равной 90%. На основе этих цифр определены значения верхней qiU и нижней qiL границ доверительного интервала:
qiU
=
+Δj;
qiL
=
- Δj.
Расчеты сведены в таблицу 4.3.
Таблица 4.3 Результаты статистических оценок
-
Qj
σj
v
qiL
qiU
1
9,7
1,449
0,149
9,07
10
2
8,6
1,549
0,18
7,92
9,28
3
5,8
1,265
0,218
5,25
6,35
4
8,6
2,098
0,24
7,69
7,51
5
7,1
0,949
0,13
6,69
7,51
6
9,7
1,449
0,149
9,07
10
7
4,9
0,949
0,193
4,48
5,31
8
2,9
0,949
0,327
2,48
3,31
9
8
2,44
0,306
7,23
8,77
Как видно из полученных результатов, степень согласованности мнений экспертов для большинства свойств, средняя или выше средней. Однако, при оценке восьмого и девятого свойства мнения экспертов различаются и показатель согласованности ниже среднего.
Данные таблицы 4.2, приведены при условии, что коэффициенты значимости свойств одинаковы, однако, на практике это бывает весьма редко. Примем разные значения коэффициентов значимости (табл.4.3).
Таблица 4.3 Коэффициенты значимости свойств
Qj |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
Вес |
0,14 |
0,15 |
0,14 |
0,14 |
0,05 |
0,12 |
0,1 |
0,07 |
0,09 |
При
этих значениях
=
7,596,σ = 1,576, степень согласованности
v=0,21.
Т.е. при введении значимости отдельных
свойств, степень согласованности
оказалась средней. Значения оценки при
89 степенях свободы (см. приложение 2)
лежат в интервале от 7,382 до 7,810.
Иногда используется модифицированный метод численных оценок, когда каждый эксперт проставляет не одну, а три оценки, характеризуя их как пессимистическую, наиболее вероятную и оптимистическую оценку. Расчеты при этом усложняются за счет получения средних значений для каждого эксперта.
Б. Метод вероятностных оценок
В этом случае интервал допустимых значений показателя качества разделяется на k равных интервалов tl, l= 1,2,…k. Эксперту предлагается высказать свое мнение путем оценки вероятности попадания pjl оцениваемой величины в каждый из этих интервалов. При этом обязательно, чтобы сумма вероятностей попадания, выставленная каждым экспертом равнялась единице. Результаты работы всех экспертов удобно представить в виде таблицы (табл.4.5).
Таблица 4.5. Значения вероятностей
-
Sj \ tl
t 1
t 2
…
t k
1
p 11
p 12
…
p 1k
2
p 21
p 22
…
p 2k
….
…
…
…
…
S
p S1
p S2
…
p Sk
На основании результатов, приведенных в таблице 4.5 можно определить обобщенное мнение экспертов в виде вероятностей попадания оцениваемой величины в заданный интервал с помощью выражения:
4.5
В качестве результирующей оценки обычно принимается медиана полученного распределения Tm, определяемая из условия:
Pm(tm
Tm)=
0,5 . 4.6
Статистическая значимость может быть оценена по величине диапазона квартилей Δq= q(0,75) - q(0,25), при этом оценка считается значимой, если диапазон квартилей в 3,2 раза меньше всего интервала допустимых значений показателя.
Пример 4.2. Рассмотрим оценку показателя качества внешнего вида переносного транзисторного приемника. Для этого примем 100- балльную систему оценки от 0 до100. Разобьем интервал на 10 равных отрезков: 1 - 10; 11 -20;…;91-100. Затем 7 выбранным экспертам предложим высказать свое мнение путем оценки вероятности попадания в один из интервалов при соблюдении обязательного условия равенства суммарной вероятности единице.
Результаты экспертизы представим в таблице 4.6, считая, что компетентность экспертов одинакова и равна единице. Используя выражение (4.5), определим обобщенное значение вероятности, приведенное в последней строке таб.4.6. Медианой распределения обобщенной оценки будет являться интервал 61 - 70. Таким образом, в качестве результирующей оценки может быть принята оценка 65 или в десятибалльной шкале оценка 7. 25% всех наблюдений соответствует квартилю 0,45, а 75% всех наблюдений квартилю 0,7. Отсюда их разность 0,25 , что указывает на значимость полученных результатов.
Таблица 4.6. Результаты оценки внешнего вида приемника
-
Sj \ T
1-10
11-20
21-30
31-40
41-50
51-60
61-70
71-80
81-90
91-100
1
2
3
4
5
6
7
0
0
0,1
0
0
0
0
0
0
0,1
0
0
0
0
0,05
0
0,1
0
0,05
0
0
0,05
0
0,1
0
0,05
0
0,05
0,1
0,1
0,1
0,2
0,1
0
0,05
0,2
0,2
0,1
0,3
0,1
0,25
0,2
0,3
0,4
0,1
0,3
0,5
0,5
0,4
0,3
0,2
0,1
0,2
0,1
0,25
0,2
0
0,1
0,1
0
0,05
0
0,1
0
0
0,1
0
0,05
0
0
Po
0,014
0,014
0,028
0,036
0,093
0,193
0,43
0,193
0,05
0,021