§ 2.3. Методы измерений .

К наиболее употребительным при экспертном оценивании методам измерений относятся ранжирование, парное сравнение, непосредственная оценка, последовательное сравнение.

При описании каждого из перечисленных методов будет предполагаться, что имеется конечное число измеряемых объектов О₁,....,О_п и сформулирован одни или совокупность показателей (признаков) сравнения I₁,....,I_k по которым осуществляется сравнение объектов. Следовательно, методы измерения будут различаться лишь процедурой сравнения объектов. Эта процедура включает построение отношении между объектами эмпирической системы, выбор функции f, отображающей объекты эмпирической системы на числовую систему, и определение типа шкалы измерений. Рассмотрим вес эти вопросы для каждого метода измерения.

Ранжирование представляет собой процедуру упорядоченияобъектов, выполняемую экспертом. На основе своих знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или не­сколькими показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов. Рассмотрим эти варианты.

Пусть среди объектов нет одинаковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом слкчае между объектами существует только отношение строгого порядка, обладающего свойствами несим­метричности (если Оi> Oj, то Oj < Oi), транзитивности (если Oi>Oj, Oj>Ok, то Oi>Ok) и связности (для любых двух объектов, либо O_i>Oj, либо Oj>Oi).

В результате сравнения всех объектов по отношению строгого порядка эксперт составляет упорядоченную по­следовательность:

,(2.1)

где объект с первым номером является наиболее пред­почтительным из всех объектов, объект со вторым номе­ром менее предпочтителен, чем первый объект, но пред­почтительнее всех остальных и т. д.

Полученная система с отношением порядка <О, >> образует серию. Для серии доказано существование чис­ловой системы, элементами которой являются числа, а отношение порядка > есть отношение «больше чем» или «меньше чем». Это означает, что существует число­вое представление f(Oi), такое, что последовательности (2.1) соответствует последовательность чисел

(2.2)

или обратная последовательность

(2.3)

Соответствие последовательности (2.1) и (2.2), т. е. их изоморфизм или гомоморфизм, можно определить, вы­бирая любые числовые представления. Единственным ограничением является монотонность преобразования. Следовательно, допустимое преобразование при перехо­де от одного числового представления к другому долж­но обладать свойством монотонности. Но таким свойст­вом обладает шкала порядков. Таким образом, ранжи­рование объектов производится в шкале порядков.

В практике экспертного ранжирования чаще всего применяется числовое представление последовательно­сти (2.1) в виде натуральных чисел

(2.4)

Числа называютсярангами. Наиболее пред­почтительному объекту присваивается первый ранг, вто­рому — второй ранг и т. д.

Пусть теперь среди объектов могут быть эквивалентные. Это означает, что, кроме отношения строгого порядка, между некоторыми объектами возможно отношение эквивалентности.

В результате ранжирования при наличии порядка и эквивалентности эксперт составляет упорядоченную последовательность, в которой некоторые объекты могут быть эквивалентными. Например, упорядочение может иметь вид

(2.5)

В этой последовательности объекты О₃, О₄, О₅ эквивалентны между собой, а объекты О_n-1, О_n - между со­бой.

Система с отношениями эквивалентности и порядка, образует квазисерию. Для квазисерии существует числовая система с отношениями «больше чем» («меньше чем») и «равно». Любые две числовые системы для квазисерии связаны между собой монотонным преобразованием. Следовательно, и в этом случае для ранжирования объектов используется шкала порядков. Таким образом, ранжирование всегда проводится в шкале порядка независимо от того, имеются ли среди объектов эквивалентные или нет. L'-i

В практике ранжирования объектов, между которыми допускаются как отношения строгого порядка, так и эквивалентности, числовое представление выбирается следующим образом. Наиболее предпочтительному объекту присваивается ранг, равный единице, второму по предпочтению — второй ранг и т. д. Для эквивалентных объектов удобно назначать одинаковые ранги, равные среднему арифметическому значению рангов, присваиваемых одинаковым объектам. Такие ранги называют связанными рангами. Для примера упорядочения (2.5) при n= 10 ранги объектов О₃, О₄, О₅ будут одинаковыми и равными r₃ = r₄ = r₅ = (3 + 4 + 5)/3 = 4. В этом же примере ранги объектов О₉ и О₁₀ также одинаковы и равны среднему арифметическому r₉ = r₁₀== (9+10)/2 = 9,5. Как следует из этого примера, связанные ранги могут оказаться дробными числами.

Удобство использования связанных рангов заключа­ется в том, что сумма рангов п объектов равна сумме натуральных чисел от единицы до п. При этом любыекомбинации связанных рангов не изменяют эту сумму. Это обстоятельство существенно упрощает обработку ре­зультатов ранжирования при групповой экспертной оценке.

При групповой экспертной оценке каждый i-й экс­перт присваивает каждому объекту j ранг . В резуль­тате проведения экспертного оценивания получается матрица рангов размерностип·т, где т — чис­ло экспертов (i=l,…, m), a n — число объектов(j=1,…,п).

Напомним, что ранги объектов определяют только порядок расположения объектов по показателям сравне­ния. Ранги как числа не дают возможности сделать вы­вод о том, на сколько или во сколько предпочтительнее один объект по сравнению с другим. Если, например, ранг объекта равен трем, то отсюда не следует делать вывод о том, что объект, имеющий ранг, равный едини­це, в три раза предпочтительнее, чем объект, имеющий ранг, равный трем.

Достоинством ранжирования как метода измерения является простота осуществления процедур. Недостат­ком ранжирования является практическая невозмож­ность упорядочения большого числа объектов. Как по­казывает опыт, при числе объектов, большем 15—20, экс­перты затрудняются в построении ранжированного ряда. Это объясняется тем, что в процессе ранжирования экс­перт должен установить взаимосвязи между всеми объ­ектами, рассматривая их как единую совокупность. При увеличении числа объектов количество связей между ними растет очень быстро. Удержание и анализ большой совокупности взаимосвязей между объектами ограничивается психологическими возможностями людей. Поэто­му при ранжировании большого числа объектов экспер­ты допускают существенные ошибки.

Парное сравнение представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов представляет собой значительно бо­лее простую задачу. При сравнении пары объектов воз­можны отношения либо порядка, либо порядка и экви­валентности, что доводится до сведения экспертов. Парное сравнение объектов есть измерение в шкале порядка.

В результате сравнения пары объектов Оi, Оj эксперт упорядочивает эту пару, высказывая, что либо Oi>Оj, либо Oj>Oi, либо Oi∞Oj. Выбор числового представления f естественно произвести так, что если O_i>Oj, то f(Oi)>f(Oj), если предпочтение в паре обратное, то знак неравенства заменяется на обратный, т. е. f(Oi)< f(Oj). Наконец, если объекты эквивалентны, то есте­ственно полагать, что f(Oi)=f(Oj).

В практике экспертного оценивания используют сле­дующие числовые представления:

(2.6)

(2.7)

Результаты сравнения экспертом всех пар удобно представить в виде таблицы, столбцы и строки которой составляют объекты, а в ячейках таблицы проставляются числовые предпочтения. Для представления (2.6) таблица аналогична таблицам спортивных игр, например футбола, хоккея и т. п. В табл. 2.1 приведен пример отображения результатов парного сравнения 5 объектов при использовании представления (2.6). по диагонали таблицы проставлены единицы вследствии того, что каждый объект эквивалентен самому себе.

ТАБЛИЦА 2.1

	1	2	2	1	2
	0	1	2	1	0
	0	0	1	0	1
	1	1	2	1	0
	0	2	1	2	1

Из табл. 2.1, например, следует, что объект пред­почтительнее объектов 0₂,, 0₃,, О₅ и эквивалентен объек­ту О₄. Объект предпочтительнее объекта О₃ , эквива­лентен объекту О₄ и менее предпочтителен, чем объекты и.

При групповом экспертном оценивании каждый эксперт представляет результаты парного сравнения в виде таблицы.

Сравнение объектов во всех возможных парах не да­ет полного упорядочения объектов. Поэтому естественно возникает задача о ранжировке объектов на основе их парного сравнения. Решение этой задачи при определен­ных условиях возможно и рассматривается в главе посвященной обработке результатов экспертного оценивания.

Непосредственна оценка представляет собой проце­дуру приписывания объектам числовых значений в шкале интервалов. Эксперту предлагается поставить в соот­ветствие каждому объекту точку на непрерывной число­вой оси, например на отрезке [0,l]. Естественно потре­бовать чтобы эквивалентным по сравниваемым показа­телям объектам приписывалось одно и то же число.

Измерение предпочтения объектов в шкале интерва­лов может быть осуществлено с достаточной степеньюдостоверности только в случае достаточно полной инфор­мированности экспертов о свойствах объектов. Эти усло­вия встречаются в экспертном оценивании не очень часто.

С целью некоторого ослабления этих условий и ко­нечно, за счет уменьшения точности измерения вместо непрерывной числовой оси рассматривают балльную оценку. Это эквивалентно квантованию числовой оси на отрезки, каждому из которых приписывается определенный балл. Эксперт теперь определяет числовую оценку объекта - балл с точностью до попадания линии от объ­екта в отрезок числовой оси. Применяются 5, 10 и 100-балльные шкалы.

Последовательное сравнение представляет собой комплексную процедуру измерения, включающую как ранжирование, так и непосредственную оценку. При последовательном сравнении эксперт выполняет следующие операции:

а) осуществляет ранжирование объектов;

б) производит непосредственную оценку объектов на отрезке [0,1], полагая, что числовая оценка первого в ранжировке объекта равна единице f(O1) = 1;

в) решает, будет ли первый объект превосходить по предпочтительности все остальные объекты, вместе взятые. Если да, то эксперт увеличивает значение числовой оценки первого объекта так, чтобы она стала больше суммы числовых оценок остальных объектов, т.е. .В противном случае эксперт изменяет величину f(O1) так, чтобы она стала меньше, чем сумма оценок остальных объектов;

г) решает, будет ли второй объект предпочтительнеечем всепоследующие объекты, вместе взятые, и изменяет f(O₂) так же, как это описано для f(O₁) в пункте «в»;

д) продолжает операцию сравнения предпочтительности последующих объектов с остальными по ранжировке объектами и изменяет числовые оценки этих объекте в зависимости от своего решения о предпочтении.

Изложение процедуры выполнения последовательного сравнения объектов показывает, что система с отношениями должна содержать отношение порядка и операцию сложения свойств объектов. Такие системы с отношениями носят название экстенсивных систем. Для бесконечных экстенсивных систем доказано существование числовых представлений, единственных до преобразования подобия. Следовательно, измерение экстенсивных систем производится с использованием шкал отношений.

Методпоследовательного сравнения успешно применялся в США для решения задач в военной сфере.

Кроме описанной процедуры последовательного сравнения существует несколько ее модификации, которые незначительно отличаются от рассмотренной выше. Детального сравнительного анализа эффективности различных модификации процедур последовательного сравнения в литературе не приводится.

Рассмотренные четыре метода измерения: ранжирование, парное сравнение, непосредственная оценка и последовательное сравнение обладают различными качествами, но приводят к близким результатам. Экспериментальная сравнительная оценка этих методов показала, что в ряде случаев наиболее эффективным является комплексное применение всех методов для решения одной и той же задачи. При этом следует учитывать, что наиболее простым методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким для экспертов — метод последовательного сравнения. Метод парного сравнения без дополнительной обработки и ряда ограничений не дает полного упорядочения объектов.