Обработка результатов экспертного опроса, проведенного по методу нормирования

Результаты опроса, проведенного по методу нормирования, пред­ставляются в виде матрицы ||W_jⁱ|| (– индекс столбцов экспертов, – индекс строк объектов).

Анализ оценок каждого эксперта. Оценки объектов, полученные по методу нормирования, проверить не представляется возможным. Но мож­но по оценкам эксперта определить его компетентность. Одним из подходов к оценке компетентности является подход, основан­ный на учете оценок эксперта в экспертизе.

Суть этого подхода в том, что компетентным считают эксперта, оценки которого близки к групповым.

Критерием соответствия оценок эксперта с групповым оценкам является коэффициент ковариации:

(1)

Но cov может принимать отрицательное значение, что затрудняет интерпре­тацию его в качестве коэффициента компетентности. Поэтому для харак­теристики компетентности экспертов как степени близости их оценок к групповым используется выражение (2), которое больше нуля при по­ложительных W ⁱ_j.:

(2)

Отметим, что коэффициент компетентности, вычисляемой по формуле (2), линейно связан с коэффициентом корреляции (1) .

Групповые оценки объектов в методах, основанных на шкалах отношений или интервалов, вычисляются как среднее личных оценок эк­спертов, причем, если известны характеристики компетентности экспер­тов, то их личные оценки взвешиваются:

(3)

Выражение (3), как и среднее, является адекватной статистикой. Для определения K_i используем итерационную процедуру, на каж­дом шаге t которой будем вычислять. по формуле (3), а затемК_i^(t) путем подстановки в (2).

Представив коэффициенты компетентности и виде вектора-столбца , а групповые оценки объектов и виде вектора-столбца , формулы (2) и (3) итерационной процедуры запишем к виде:

(4)

(5)

где транспонированная матрица.

Обозначив через^(t-1) и подставив (4) в (5), получим:

(6)

Матрицу размерности m x m , полученную произведением матриц ||W ⁱ_j||^T и ||W ⁱ_j || обозначим через

|| b_il || , тогда (6) перепишется в виде:

(7)

Отметим, что все элементы матрицы |[b_il|| положительны и вы­числяются по формуле: .

При большом числе итераций эта процедура сходится, а резуль­татом будет собственный вектор матрицы ||b_il|| , соответствующий максимальному действительному собственному числу.

Таким образом, коэффициенты компетентности экспертов опре­деляются как собственный вектор матрицы ||b_il|| , полученной попар­ным скалярным произведением столбцов матрицы оценок объектов ||W ⁱ_j||.

Определение групповых оценок объектов. В методе нормирования определяются точечные и интервальные оценки объектов. Так как каждый эксперт может иметь свой коэффициент компетентности, который является характеристикой точности его оценок, то для определения точечной оценки используется средневзвешенная личных оценок:

. (8)

Точечная групповая оценка без указания точности и надежности малоопределенна, так как следует рассматривать как случайную ве­личину, зависящую от состава экспертов. Если представить гипотетическую ситуацию, когда опросили всех возможных экспертов (генеральную сово­купность экспертов), то получим истинную оценку объектаW_j^* . Вычисленная , является оценкой W_j^*.

Для того, чтобы получить представление о точности и надежности оценки дляW_j^* определим интервал (), который будет включатьW_j^* с заданной вероятностью P_д . Такой интервал назы­вается доверительным интервалом, а P_д - доверительной вероятностью.

Для определения доверительного интервала W_j^* воспользуемся ме­тодикой расчета доверительного интервала среднего при неравноточных наблюдениях.

Сначала вычисляется оценка дисперсии в соответствии с выражением:

где — групповая оценка.

Случайная величина распределена по закону Стьюдента с математическим ожиданиемW_j* , дисперсией и числом степеней свободы = m - 1.

Задавшись доверительной вероятностью P_д (обычно P_д > 0,70), находим квантиль распределения Стьюдента , соответствующий = P_д . Тогда в интервал [a,b ] (рис. 1) с вероятностью P_д будут попадать все W_j. Если же построить симметричный относительно вычисленного такой же интервал (на рис. 6 он выделен) , то можно утверждать, что с вероятностьюP_д он будет включать W_j^*. Значит границы довери­тельного интервала будут определяться следующим выражением:

Рис. 1. Доверительный интервал групповой оценки объекта

Если доверительный интервал включает отрицательные значения (нижняя граница меньше нуля), то надежность групповой оценки этого объекта низка и системный аналитик должен сделать необходимые выво­ды: или исключить из рассмотрения этот объект, или уточнить у экспертов оценки объекта.

Оценка согласованности экспертов. Коэффициент согласия вычис­ляется в соответствии с формулой:

Для проверки значимости коэффициента со­гласия используется статистика , распределенная но закону ² (Пирсона) с числом степеней свободы  = n – 1.

Решающим правилом для того, чтобы считать коэффициент согласия зна­чимым и, соответственно, групповые оценки достоверными, является не­равенство:

.

На практике для оценки согласованности экспертов по оценкам каждого эксперта W_jⁱ определяются ранги объектов R_jⁱ а затем рассчитывается коэффициент согласия как в методе ранжирования.

Ниже приведен пример обработки экспертных оценок по методу нормирования.

Табл. Обработка экспертных данных по методу нормирования.

	Компетентность экспертов
	К1 = 3	К2 = 2	К3 = 5	К4 = 4	К5 = 3
	Э1	Э2	Э3	Э4	Э5		Swj	Δj
О1	0,138	0,231	0,210	0,205	0,173	0,192	0,0126	0,027
О2	0,342	0,280	0,287	0,263	0,301	0,293	0,0110	0,023
О3	0,270	0,242	0,287	0,295	0,250	0,274	0,0082	0,017
О4	0,066	0,165	0,153	0,147	0,205	0,147	0,0179	0,038
О5	0,184	0,082	0,063	0,090	0,071	0,094	0,0180	0,038
	1,000	1,000	1,000	1,000	1,000	1,000

При расчете Δ_j принята доверительная вероятность равная 0,90. Квантиль распределения Стьюдента при данной доверительной вероятности равен 2,13

16