7.9. Методы обработки экспертной информации.

В соответствии с общей схемой экспертизы, рассмотренной в § 1.2, обработка оценок экспертов состоит в применении к ним заданного отображения Смысл обработки заклю­чается в нахождении результирующей оценки системы по оцен­кам, даваемым экспертами.

В настоящей главе рассмотрены три основные группы методов обработки: статистические методы (§ 1), алгебраические методы (§ 2) и методы шкалирования (§ 3). Статистические методы осно­ваны на предположении, что отклонение оценок экспертов от истинных происходит в силу случайных причин; задача состоит в том, чтобы восстановить это истинное значение с наименьшей погрешностью. Суть алгебраических методов заключается в сле­дующем: на множестве допустимых оценок Q3 задается расстояние и результирующая оценка определяется как та оценка, сумма расстояний от которой до оценок экспертов минимальна. Суть методов шкалирования состоит в том, что по экспертной инфор­мации о степени различия объектов устанавливается минимальный или близкий к минимальному набор критериев и оценок объектов по ним, обуславливающих указанные экспертами различия.

В главе рассмотрены наиболее распространенные методы обра­ботки применительно к конкретным экспертизам.

7.9.1. Статистические методы

Результаты оценок каждого из экспертов можно рассматривать как реализации некоторой случайной величины, принимающей значения из Ωэ, и применять к ним методы математической ста­тистики.Статистические методы позволяют определить согласованность К мнений экспертов, значимость полученных оценок и т. д. Степень согласованности указывает на качество результирующей оценки.

1. Численные оценки. Задача состоит в сопоставлении оцениваемой системе одного числа. Для ее решения используется „экспертиза Э1:

(7.1)

Результирующая оценка ищется по формуле средневзвешенного значения, где αi(i=l, N)-веса экспертов. При отсутствии информации о компетентности экспертов можно положить αi = 1 (i=1, N). Степенью согласованности мнений экспертов в экспертизе Э1 служит дисперсия :

(7.2.)

где αi —оценка i-гo эксперта, а-результирующая оценка.

Приведем одну из модификаций экспертизы Э1, повышающую (при некоторых предположениях) точность оценивания. Экспертиза Э2 характеризуется параметрами

(7.3)

Остальные параметры те же, что и в экспертизе Э1. Степень согласованности методу оценками определяется выражением

где αi - средняя оценка i-гo эксперта (i-e слагаемое в числителе дроби (7.3)), -степень неуверенности эксперта своем ответе.

В экспертизе Э2 , i, интерпретируются как оптимисти­ческая, наиболее вероятная и пессимистическая оценки i-гo экс­перта соответственно. Коэффициенты γ1, γ2, γ3, γ4 определяются эмпирически. По одной методике , , , , по другой , , , (no второй методике γ1 > γ3, так как в ней считается, что человек склонен к занижению оценки).

В экспертизах Э1 и Э2 можно определить статистическую значимость полученных результатов. Задавшись вероятностью ошибки Рош, укажем интервал, в который оцениваемая величина попадает с вероятностью 1—Рош:

считается, что величина а распределена нормально с центром а и дисперсией (2). Тогда , где величина t имеет распре­деление Стьюдента с N—1 степенью свободы. Ее определяют по таблице, задавшись величиной Рош.

Пример 1. Десять экспертов с одинаковыми весами αi= 1 (i = l, 10) оценивают величину Т. От них получены следующие оценки:

Значение T, подсчитанное по формуле (7.1), в которую вместо хi-подставлены Ti будет равно 35,5. Дисперсия , рассчитанная по (7.2), равна 4,9; а = 2,2136.

Задав вероятность ошибки Pош = 0,05, по таблицам распреде­ления Стьюдента определим величину t: число степеней свободы равно 9; t = 2,262. По формуле (5) А =1,583. Таким образом, с вероятностью 0,95 оцениваемая величина Т находится в интер­вале [33,917; 37,083].

Опишем применение метода Дельфи для численной оценки в виде экспертизы ЭЗ:

L—эксперты изолированы;

Q—экспертам предоставляется медиана q2 (7), диапазон кван­тилей (8) и обоснования оценок, выходящих за этот диапазон.

Таблица 7.6.

Отображение φ зада­ется следующим обра­зом. Весь интервал до­пустимых значений оце­ниваемой величины раз­бивается на k интерва­лов t1 ..., tk; эксперт оценивает вероятность попадания оцениваемой величины в каждый из интервалов по результатам их оценок составляется табл. 7.6, где pij—оценка вероятности попадания оцениваемой величины в j-й интервал, данная i-м экспертом. На основе этой таблицы определяется мнение экспертов о попадании оцениваемой величи­ны в каждыйиз интервалов ti.

2. Ранжирование. Строгое ранжированиие. Задача со­стоит в сопоставлении оцениваемой системе одной перестановки. Определим экспертизу Э4:

Ω—множество всех перестановок;

Ω= Ωэ

L—экспертизы изолированы;

Q—обратная связь отсутствует.

Отображение φ определяется следующим образом. Результаты опроса экспертов сводятся в табл. 2. В i-й строке стоят места (ранги), данные i-м экс­пертом ранжируемым объектам. В (N+1)-й строке стоят суммы ран­гов, полученных объек­тами от экспертов. Все n объектов упорядочи­ваются в соответствии с величиной rs, определя­емой по формуле

На первое место ставится объект, у которого rs минимально,и .т.д.

Степень согласованности мнений экспертов определяется при ш коэффициента конкордации W. Остановимся на этом подробнее. Рассмотрим два крайних случая. Первый случай: ранжи­ровки всех N экспертов совпадают. Каждый объект получил от всех экспертов одинаковый ранг, который для j-го объекта равен rj/N. Второй случай: полная несогласованность экспертов. Будем понимать под несогласованностью противоположность ранжировок, даваемых экспертами. В силу получаем

Сумма рангов, даваемых каждым экспертом (т.е. выражение в скобках в , всегда равна n(n+ 1)/2. Поэтому

За средний ранг принимают величину

а за степень согласованности мнений—сумму квадратов отклоне­ний г,- от среднего значения riср.

Коэффициентом конкордации W для случая строгого ранжи­рования, т. е. отсутствия равных рангов в ранжировке каждого эксперта, называется величина

где n—число объектов, N —число экспертов.

Нестрогое ранжирование. Задача состоит в сопостав­лении системе нестрогой ранжировки (вектора с определенными свойствами). При этом некоторые объекты могут быть равноцен­ными. Им приписываются равные ранги. Так, если два объекта делят места 4—5, то каждый из них получает ранг 4, 5.

Таблица 7.7.

Экспертиза Э5 для нестрогого ранжирования отличается от экспертизы Э4 только множеством Ω.

. Коэффициент конкордации для нестрогого ранжирования опре­деляется формулой.

Где ki — число групп равных рангов, введенных i-м экспертом; tij— количество дробных рангов в j-й группе, введенной i-м экспертом.

Статистическую значимость ранжировки проверяют следующим образом. Выбирают вероятность ошибки Рош. Предполагают, что величина N(n— 1)W имеет - распределение с (n—1) степенью свободы. По Pош по специальным таблицам находят табличное значение Wa. Если коэффициент W, полученный при реализации экспертизы, больше или равен Wa, то полученную ранжировку считают статистически значимой.

Выше подразумевалось, что эксперты имеют равную компе­тентность. Однако, если компетентность экспертов различна и может быть оценена некоторым числом, то формулы (9)—(13) нуждаются в уточнении.

Пусть компетентность j-го эксперта оценивается положительной величиной αi (вес эксперта). Будем считать эти величины норми­рованными ( ).Сумму рангов г, объектов будем рассчи­тывать по формуле ri= . Коэффициент конкордации с уче­том компетентности экспертов определяют той же формулой (13). Проверку статистической значимости производят так же, как и выше. Отметим, что проверяют статистическую значимость того, что построенная групповая ранжировка отражает коллективное мнение экспертов, т. е. проверяют значимость согласованности их мнений.

Метод парных сравнений для нестрогого ран­жирования. Экспериментально установлено, что большую труд­ность для эксперта представляет построение ранжировки на основе одновременного учета нескольких различных признаков, по кото­рым оцениваются объекты. В этих случаях эксперты решают за­дачи попарного сравнения.

Определим экспертизу Э6 для решения задачи нестрогого ран­жирования:

Ω—то же, что и в экспертизе Э5;

Ω э—множество всех матриц А = (аij), где

L—эксперты изолированы;

Q-обратная связь отсутствует.

Отображение φ определяется следующим образом. Вычисляют матрицу , где оценка j-го эксперта.

Находят величины . Объекты упорядочивают в соответствии с величинами as. Объект с минимальным as полу­чает ранг 1 т. д.

В методе парных сравнений каждый из экспертов производит сравнений, т.е. сравнивает каждый, объект с каждым. Резуль­тат сравнений j-го эксперта представляется матрицей размера n х m, в которой =1 тогда и только тогда, когда по мнению j-го эксперта i-й объект предпочтительнее k-гo. Для любой пары объектов <р, q> либо р предпочтительнее q, либо наоборот. Это и выражено условиями (14); =0 по определению.

Матрица , представленная j-м экспертом (j=1,N)является матрицей некоторого бинарного отношения, называемого отноше­нием предпочтения эксперта.

Говорят, что предпочтение может быть выражено рангами, если все объекты упорядочиваются так, что aik=1, тогда и только тогда ранг i-ro объекта больше ранга k-го.

Утверждение 1. Необходимым и достаточным условием того, что предпочтения выражаются рангами, является ацикличность отношения предпочтения эксперта.

Рис.7.5

Доказательство. Необходимость. Пусть предпочтения выражены при помощи рангов. Покажем, что в этом случае соответствующий граф не имеет циклов. Зададим на множестве вершин графа функцию, поставив в соответствие каждой вершине ранг представляемого этой вершиной объекта. В этом графе вер­шины i и j соединим дугой тогда и только тогда, когда r(i) > r (j), где r(i) и r(j)—ранги i-й и j-й вершин соответственно. Пусть существует цикл с вершинами 1, 2; тогда по построению графа r(1)< r(2)<....< r(1), т.е. r(1)< г(1). Получили противоречие.

Достаточность. Пусть в графе отсутствуют циклы. Покажем, что в этом случае предпочтения могут быть выражены при помощи рангов. В графе без циклов существует хотя бы одна вершина, в которую не входит ни одной дуги. Если такой вер­шины нет, то, переходя по дугам от одной вершины к другой, в силу конечности числа вершин графа получим цикл. Кроме того, поскольку дуги связывают любые две вершины, такая вер­шина только одна. Поставим ей в соответствие ранг, равный 1, и исключим ее из рассмотрения. Получим граф того же типа, в котором число вершин на единицу меньше. В этом графе про­ведем аналогичные построения. В результате такой "процедуры предпочтения могут быть выражены при помощи рангов. Утверж­дение доказано.

Замечание. В рассматриваемом случае наличие циклов эквивалентно наличию циклов длины 3 в силу свойств графа.

Коэффициентом cсовместимости мнений эксперта называется величина

здесь d—число циклов длины 3. Величину v можно использовать в качестве оценки компетентности эксперта при экспертизах типа Э6.

Ранговая корреляция. Укажем на один из способов оценки связи между двумя различными ранжировками. Пусть <i1,..., in>,<j1,…,jn>—две нестрогие ранжировки. Положим

аналогично определим величины bst для 2-й ранжировки. Коэф­фициентом ранговой корреляции Кендалла называется величина

Рассчитав коэффициент т, оценим значимость обнаруженной связи между ранжировками. Для этого обозначим числитель (15) через 5. Если зафиксировать одну ранжировку (строгую) и рас­сматривать все n! остальных строгих ранжиророк, можно найти частоту всех возможных значений S (и соответствующих τ). При n>10 распределение S близко к нормальному со среднеквадра­тичным отклонением . При n<10 рас­пределение S можно найти в специальных таблицах.

В общем случае, если наблюдаемая величина S принимает значение 50 такое, что случайное появление величины So или большей маловероятно, то гипотеза о независимости ранжировок отвергается. Если Рr{|S|>So}<р0, то полученный коэффициент т считается значимым. Величину р0 задают как уровень значи­мости; сравнивают вычисленное значение S с табличным для заданного уровня значимости р0.