1 Имеется в виду объект упорядочения (а не диагностирования), в качестве

которого рассматривается множество параметров на граф-модели.

117

Метод заключаеття в том, что группе экспертов предлагается

оценить количественно (квантифицировать) качественные объекты

и градации качественного признака в соответствии с каким-

либо характерным свойством. Каждому эксперту представляется

ряд градаций качественного признака и он ставит в соответствие

каждой градации оценку (в заданных пределах) по своему

усмотрению. Получаются два ряда: представленный ряд градаций

признака и статистический ряд оценок, данных экспертами.

Если оба ряда количественные (частный случай), оценки

экспертов могут быть рассмотрены как статистические данные

и могут быть применены методы линейного или нелинейного

корреляционного и регрессионного анализа.

Если же один из рядов качественный, то связь между

обоими рядами может быть оценена коэффициентом конкорда-

ции [51] для определения степени согласия нескольких экспертов

при расшифровке качественных градаций, ранговым коэффициентом

Спирмена [22], если качественные градации могут быть

упорядочены экспериментатором и требуется проверить это

упорядочение, а также с помощью коэффициента взаимной

сопряженности Пирсона [22], если возможно предварительное

упорядочение или его нужно найти.

Результирующие значения оценок градаций находятся либо

как средние значения оценок, данных экспертами, если результат

проверки связи, оговоренный выше, между полученными рядами

положителен, либо как средние значения оценок при тех же условиях,

но скорректированные голосованием экспертов.

Из всего многообразия экспертных оценок [41] рассмотрим

некоторые в предположении, что группе экспертов предложено

оценить ряд объектов по качественному критерию, например,

оценить параметры F граф-модели по условию доступности их

к измерению.

Метод экспертных оценок изложим в виде алгоритма.

Алгоритм 5.2.

Шаг 1. Каждый из экспертов производит упорядочение

(ранжирование) представленных объектов по качественному критерию.

Первый по важности объект получает ранг г\, следующий— ранг г2 и т. д. Количество рангов совпадает с количеством

оцениваемых объектов. Возможны также совпадающие ранги,

например, два объекта признаны одинаковыми по данному критерию

и делят ранги г5, г6, получая каждый ранг 5,5.

Шаг 2. Каждому объекту в ранжированном ряду присваивается

количественная оценка а, (баллы, очки) из априори

заданного интервала оценок, например, первому по важности

5.3.2. М ет одэ кс пе рт но гоо це ни ва ни я вз ад ач е у по ря до че ни я

118

объекту ставится в соответствие число 100, остальным —меньше

100 По усмотрению эксперта.

Шаг 3. Степень согласия всех экспертов при ранжировке

определяется вычислением коэффициента конкордации W. Он

представляет собой общий коэффициент ранговой корреляции

для группы, состоящей из т экспертов, оценивающих п объектов

и рангов, и вычисляется по формуле:

П П 2

2 А‘ 2 2 [ rt' —ym (п + 1)J

^ = ^ ------= —--------------—■ (5-17)

шах 2 д' 2 —I -j^j-m2(ra3 —п) —т 2 Tf

/=1 /= I

m

Здесь г,е= 2 гц —суммарный ранг i-го объекта по данным всех экспертов

/=*

(сумма мест); гц—ранг i-го объекта по мнению /-го эксперта;

п пг

^ r ie ^с ре== r iz ~ r ij ~ r it 2 ~ ^ H”0 (5 .1 8 )

i=l /=1

есть разность /-го суммарного ранга и среднего значения суммарных рангов

в данной задаче, а

п

max 2] Л≪2 = -J2 т 2(п3—п) (5.19)

;=i

максимальная сумма квадратов разностей Ai, имеющая место при полном

согласии экспертов;

т т п

i= m 2 Tl = m '2 - L 'Z ( t * - t i ) (5.20)

,= i /= 1 <= I

—поправка, возникающая из-за наличия совпадающих рангов; <, —число повторений

i-го ранга в ранжировке /'-го эксперта.

Шаг 4. 3 начимость коэффициента конкордации W проверяется

по критерию х2- В случае совпадения некоторых рангов х2 — распределение с \ = п —1 степенями свободы будет:

2 м2

= --------- —------- —■ (5.21)

~ т п ( п + 1 ) - - ± т2 т;

/'—I

119

Расчетные значения %2Р сравниваются с табличными значениями

%т при v степенях свободы и с доверительной вероятностью р.

Как правило, доверительная вероятность принимается равной одному

из трех значений: pi = 0,95; р2 = 0,99; рз = 0,999 (5, 1 и

0,1 % соответственно). При Хр>Х гипотеза о согласованности

мнений экспертов принимается, оценки считают определенными с

соответствующей доверительной вероятностью. Если Хр<Х?. ана_

лизируется ситуация и выявляются причины разногласий, уточняются

условия эксперимента, опрос экспертов повторяется.

Ш аг 5. Рассчитывают коэффициент взаимной сопряженности

Пирсона —С. Применение этого коэффициента обусловлено тем,

что коэффициент конкордации определяет только степень согласия

экспертов при ранжировке (при упорядочении объектов по

важности) и не учитывает конкретных значений. Коэффициент

взаимной сопряженности, оценивающий связь между качественными

признаками, позволяет определить зависимость появления

каждой из разных оценок а, для каждого объекта.

Шаг 6. Проверяют достоверность коэффициента С. В случаях,

оговоренных ранее, вместо коэффициента С можно рассчитать

коэффициент Спирмена р.

Шаг 7. Если показатели разнообразия мнений экспертов по

каждой градации в отдельности приемлемы, коэффициенты W и

С по всем градациям вместе достаточно большие и признаются

достоверными, за окончательные значения градаций могут быть

приняты их средние арифметические ас по данным всех

экспертов.

Для устранения неточности средних оценок при небольшом

числе экспертов применяется методика [12], где результирующая

оценка вычисляется не средним арифметическим ас, а величиной

ас, определяемой для каждого k-ro итерационного шага выражением:

m

где aij —оценка, представленная /-м экспертом; аСк-\ —результирующая оценка

предыдущего итерационного шага, на первом итерационном шаге вместо ac*-i

ставится арифметическое среднее; k= 1, 2, ц.

Итерационный процесс завершается, если

I ^С,Т) &с,1\ —1 I ^5 (5.23)

где х —наперед заданное малое число, обычно равное точности задания оценок.

120

Если неизвестно числовое значение среднего квадратического

отклонения о, то принимается:

■ 2 (а с —ачу (5.24)

/= 1

и выражение для k-ro итерационного шага принимает вид:

2 а,,

/= 1

ехр

(ас*-| - ) ("* - 1)

2 2 ( “ с*-1 - “ „) 2

/-1

2 ехр

у=|

(а с*_, - а,7) ( т —1)

2 2 К *_ , -а,7)2

/=1

(5.25)

Алгоритм 5.3.

Шаги 1 и 2 совпадают с аналогичными шагами предыдущего

алгоритма.

Шаг 3. Каждый из m экспертов производит ряд попарных

сравнений объектов по важности (всего С2 сравнений) и заполняет

квадратную матрицу пХп. В ячейку И матрицы записывается

цифра 2, а в ячейку li —цифра 0, если i-й объект имеет предпочтение

перед 1-м объектом по данному критерию. Если оба объекта

признаны равноценными, в обеих ячейках заносятся цифры 1.

Шаг 4. Все m таких матриц объединяются, цифры в ячейках

суммируются, получая попарные показатели предпочтения объектов

y,-/.

Результирующие показатели предпочтений объектов получаются

суммированием значений уц по каждой строке сводной

матрицы:

П —1

6,= 2 у и- (5.26)

/= 1

Шаг 5. Определяют коэффициент V согласия экспертов при

ранжировке попарными сравнениями:

4(2т —CJ) 4Q

m(m —1) п (п —1) Qn

(5.27)

где Cl,, С2„—количество сочетаний из m или п по 2; уц —числа в ячейках

сводной матрицы.

121

Шаг 6. Проверяют достоверность коэффициента V по критерию

X2:

x j - d r 2 ( ≪ - Т С-С- - ^ г | ) <≫•“ >

и сравнивают с х? для v степеней свободы:

v = С 2 т ( т - 1)

(т - 2 )

Если х?< Хр. ТО гипотеза о согласии экспертов принимается

для данного уровня значимости.

Шаг 7. Если коэффициент согласия экспертов V достаточно

большой и признается достоверным, повторяется 7-й шаг предыдущего

алгоритма.

Шаг 8. Проверяется соответствие между результатами 4-го и

7-го шагов. При этом объекты рассматриваются попарно и сравниваются

отношения их оценок, полученных на шагах 4 и 7, например:

a i> a 2 и b\>b2 и т. д.

При появлении несоответствий некоторых оценок производится

корректировка (если возможно) или повторяется эксперимент.

Рассмотренные выше алгоритмы экспертного оценивания применимы

для установления численных значений оценок а,ц любого

г-го параметра по ц-му критерию с последующим определением

веса вершины А, в соответствии с выражением (5.10) и для

нахождения коэффициентов значимости а, (3, у, ец [выражения

(5.8), (5.10)]. При оценке коэффициентов значимости факторов

удобнее пользоваться методом попарных сравнений (алгоритм