13.3.2. Методы статистической оценки
При использовании этих методов значения оценок экспертов получают в результате статистической обработки их суждений по какому-либо вопросу.
К методам статистической оценки относят оценку по отклонению от среднего мнения экспертной группы Кос и оценку воспроизводимости результатов Квр, которые могут быть получены после обработки результатов специальных опросов, предшествующих операции формирования экспертной группы. В основе первой оценки лежит посылка, что истинным значением определяемой экспертами величины является значение средней оценки экспертной группы. Чем меньше отклонение значения индивидуальной оценки, назначенной некоторым экспертом, от групповой средней, тем выше качество этого эксперта.
В том случае, когда эксперты ранжируют оцениваемые величины по некоторому признаку, например, по их значимости, для оценки согласованности суждений экспертов применяются способы, основанные на определении коэффициента конкордации или коэффициента ранговой корреляции:
,
где
– сумма рангов, присвоенных m
экспертами
i-му
фактору;
– среднее значение
сумм рангов.
Величины и определяются соотношениями:
,
,
где k – номер эксперта (k=1,2,…,m).
Величина Tk определяется из выражения:
,
где tkl – число одинаковых рангов l-го вида в оценках k-го эксперта;
L
– количество групп факторов с совпавшими
рангами в оценках k-го
эксперта.
Коэффициент конкордации изменяется от нуля до единицы и его значение, равное единице, соответствует полной согласованности мнений экспертов. Считается приемлемым значение коэффициента конкордации, удовлетворяющее условию W≥0,5.
Когда эксперт определяет численные значения оцениваемых величин или свойств объекта (например, в баллах), т.е. осуществляет их прямое оценивание, предлагается в качестве оценки эксперта использовать расстояние между «средним» рядом значений оценок и значениями оценок, назначенными данным экспертом. Для расчёта такой оценки может быть использована формула
,
при этом
,
где Ki – среднее значение i-ой оцениваемой величины;
Kij - значение i-ой величины, назначенное j-ым экспертом.
.
В основе второй оценки Квр лежит посылка, что высоким может считаться качество такого эксперта, для которого свойственна высокая воспроизводимость назначаемых значений оценок, т.е. значения оценок одного и того же объекта, назначенные экспертом в нескольких (обычно двух) турах опроса должны быть достаточно близкими. В этом случае можно говорить о стабильности мнения эксперта. Способы оценки качества эксперта по воспроизводимости результатов аналогичны способам оценки по отклонению от среднего мнения экспертной группы.
13.3.3. Тестовые методы
Суть тестовых методов состоит в проведении специальных испытаний, в ходе которых оцениваются прежде всего психофизиологические возможности эксперта, от которых зависит его качество.
Кроме этого, с помощью специальных тестов оценивают такие свойства экспертов, как объективность, квалиметрическая и профессиональная компетентность. При разработке и применении тестовых задач следует соблюдать ряд требований, основными из которых являются следующие:
эксперт должен ясно понимать постановку тестовой задачи и условия, которым должно удовлетворять ее решение;
вероятность случайного угадывания решения задачи должна быть близка к нулю;
тестовая задача должна иметь точное и однозначное решение;
должна быть обоснована близость тестовой задачи и тех реальных задач, которые предстоит решать эксперту при оценке качества продукции.