§ 5.2. Групповая оценка объектов

В данном параграфе рассматриваются алгоритмы обра­ботки результатов экспертного оценивания множества объектов. Пусть m экспертов произвели оценку п объек­тов по l показателям. Результаты оценки представлены в виде величин , где j —номер эксперта, i — номер объекта, h — номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирова­ния, то величины представляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результа­тов оценки существенно зависит от рассмотренных мето­дов измерения.

Рассмотрим вначале случай, когда величины (i =1,…,п; j=1, 2, ..., m; h=1, 2, ..., l) получены мето­дами непосредственной оценки или последовательного сравнения, т. е. являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно воспользоваться средним значением оценки для каждого объекта

(i=1, 2, …,n), (5.1)

где — коэффициенты весов показателей сравнения объектов,kj — коэффициенты компетентности экспертов. Коэффициенты весов показателей и компетентности объ­ектов являются нормированными величинами

(5.2)

Коэффициенты весов показателем могут быть опреде­лены экспертным путем. Если — коэффициент веса h-го показателя, даваемый j-м экспертом, то средний ко­эффициент веса h-го показателя по всем экспертам ра­вен

(5.3)

Получение групповой экспертной оценки путем сум­мирования индивидуальных оценок с весами компетент­ности и важности показателей при измерении свойств объектов в кардинальных шкалах основывается на пред­положении о выполнении аксиом теории полезности фон Неймана — Моргенштерна как для индивидуальных, так и для групповой оценки [39] и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето) [31]. В реальных задачах эти условия, как пра­вило, выполняются, поэтому получение групповой оцен­ки объектов путем суммирования с весами индивидуаль­ных оценок экспертов широко применяется на практике.

Коэффициенты компетентности экспертов можно вы­числить по апостериорным данным, т. е. по результатам оценки объектов. Основной идеей этого вычисления яв­ляется предположение о том, что компетентность экспер­тов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Алгоритм вычисления коэффициентов компетентно­сти экспертов имеет вид рекуррентной процедуры:

; (5.4)

; (5.5)

. (5.6)

Вычисления начинаются с t=1. В формуле (5.4) началь­ные значения коэффициентов компетентности принима­ются одинаковыми и равными kj°=1/m. Тогда по формуле (5.4) групповые оценки объектов первого приближе­нии равны средним арифметическим значениям оценок экспертов

. (5.7)

Далее вычисляется величина λ¹ по формуле (5.5):

(5.8)

и значение коэффициентов компетентности первого приближения по формуле (5.6):

(5.9)

Используя коэффициенты компетентности первого приближения, можно повторить весь процесс вычисле­ния по формулам (5.4), (5.5), (5.6) и получить вторые приближения величин .

Повторение рекуррентной процедуры вычислений оце­нок объектов и коэффициентов компетентности естест­венно ставит вопрос о ее сходимости. Для рассмотрения этого вопроса исключим из уравнений (5.4), (5.6) пере­менные ии представим эти уравнения в векторной форме

, (5.10)

где матрицы В размерности n∙nи С размерностиm∙mравны

. (5.11)

Величина в уравнениях (5.10) определяется по формуле (5.5).

Если матрицы В и С неотрицательны и неразложимы, то как это следует из теоремы Перрона-Фробениуса [33], при t→∞ векторы исходятся к собственным векторам матриц В и С, соответствующим максимальным собственным числам этих матриц

,. (5.12)

Предельные значения векторов xиkможно вычислить из уравнений:

(5.13)

где , — максимальные собственные числа матрицВ и С.

Условие неотрицательности матриц В и С легко вы­полняется выбором неотрицательных элементов мат­рицы X оценок объектов экспертами.

Условие неразложимости матриц В и С практически выполняется, поскольку, если эти матрицы разложимы, то это означает, что эксперты и объекты распадаются на независимые группы. При этом каждая группа экс­пертов оценивает только объекты своей группы. Естест­венно, что получать групповую оценку в этом случае нет смысла. Таким образом, условия неотрицательности и неразложимости матриц В и С, а следовательно, и условия сходимости процедур (5.4), (5.5), (5.6) в практи­ческих условиях выполняются.

Следует заметить, что практическое вычисление век­торов групповой оценки объектов и коэффициентов ком­петентности проще выполнять по рекуррентным форму­лам (5.4), (5.5), (5.6). Определение предельных значе­ний этих векторов по уравнению (5.13) требует примене­ния вычислительной техники.

Пример. Три эксперта (m = 3) оценили значение двух мероприя­тий (n=2) по решению одной проблемы (l=1), приведя нормированные оценки мероприятий (табл. 5.1).

Проведем вычисление групповых оценок мероприятий и коэффи­циентов компетентности экспертов по формулам (5.4), (5.5), (5.6). Средние оценки объектов первого приближения по формуле (5.4) при t=1 равны

.

Эксперт Мероприятие	Э1	Э2	Э3
М1	0,3	0,5	0,2
М2	0,7	0,5	0,8

Вычислим величину λ¹ по формуле (5.5). В результате имеем

λ¹=1∙0,335+2∙0,665=1,665.

Вычисляем коэффициенты компетентности первого приближения по формуле (5.6):

;

;

.

Вычисляя групповые оценки объектов второго приближения, получаем вектор x²=(0.324; 0.676). Величина λ²=1,676. Вектор коэффициентов компетентности второго приближения равен k²=(0,341; 0,298; 0,361). Для третьего приближения получаем x³=(0,3233; 0,6765), λ³=1,6765, k³=(0,341; 0,298; 0,361). Как следует из результатов третьего приближения, вектор коэффициентов компетентности стабилизировался. Поэтому дальнейшие вычисления не дадут существенного уточнения.

Рассмотрим теперь вычисление предельных значений векторов групповой оценки и коэффициентов компетентности по уравнениям (5.13). Вычисляя матрицу В=ХХ’, получаем

.

Максимальное собственное число матрицы В определяется как максимальный корень уравнения

|В-λE|=0,

где Е – единичная матрица. Записывая в явном виде определитель, получаем

.

Раскрывая определитель, получаем квадратное уравнение

λ² - 1,76λ + 0,14 = 0.

Максимальный корень этого yравнения ранен λo=l,676. Сравнивая это значение со вторым и третьим приближением λ², λ³, убеждаемся в том, что они близки. Вектор групповых оценок вычисляется путем решения системы уравнений

.

Решая эту систему yравнений, получаем =0,3235,=0,6765, чтосоответствует результатам рекуррентных вычислений третьего при­ближения.

Вычисляя матрицу С = Х'Х, получаем

.

Составляя уравнение |С — XE|=0 и раскрывая определитель, полу­чаем уравнение

λ(λ²-1,76λ+0,14)=0.

Отсюда следует, что максимальное собственное число для матрицы С совпадает с максимальным собственным числом матрицы В: λо=1,676.

Система уравнений для определения предельных коэффициентов компетентности имеет вид

.

Решая эту систему уравнений, получаем =0,34077,=0,298,=0,36123. Эти значения близки к третьему приближению коэффициентов компетентности.

Рассмотрим теперь случай, когда эксперты произво­дят оценку множества объектов методом ранжирования так, что величины есть ранги. Обработка результа­тов ранжирования заключается в построении обобщен­ной ранжировки. Для построения такой ранжировки введем конечномерное дискретное пространство ранжи­ровок и метрику в этом пространстве. Каждая ранжи­ровка множества объектов j-м экспертом есть точка Rj в пространстве ранжировок.

Ранжировку Rj можно представить в виде матрицы парных сравнений, элементы которой определим следу­ющим образом:

Очевидно, что , поскольку каждый объект эквива­лентен самому себе. Элементы матрицы |||| антисим­метричны .

Если все ранжируемые объекты эквивалентны, то все элементы матрицы парных сравнений равны нулю. Та­кую матрицу будем обозначать Ro и считать, что точка в пространстве ранжировок, соответствующая матрице Rо­является началом отсчета.

Обращение порядка ранжируемых объектов приводит к транспонированию матрицы парных сравнений.

Метрика d(Ri, Rj) как расстояние между i-й и j-й ранжировками определяется единственным образом фор­муллой

,

если выполнены следующие 6 аксиом [26]:

1. d(Ri, Rj)≥0, причем равенство достигается, если ранжировки Ri и Rj тождественны;

2. d(Ri, Rj)= d(Rj, Ri);

3. d(Ri, Rh)+ d(Rh, Rj)≥ d(Ri, Rj);

причем равенство достигается, если ранжировка «лежит между» ранжировками Ri и Rj. Понятие «лежит между» означает, что суждение о некоторой паре OhOl объектов в ранжировке совпадает с суждением об этой паре либо в R_i , либо в Rj или же в Ri O_k > О_l , в R_j О_l > O_k , а в Rh O_h ∞ О_l ;

4. d(R'i, R'j)= d(Ri, Rj),

где R'i получается из Ri некоторой перестановкой объ­ектов, а R'j из Rj той же самой перестановкой. Эта ак­сиома утверждает независимость расстояния от перену­мерации объектов.

5. Если две ранжировки Ri, Rj одинаковы всюду, за исключениемn-элементного множества элементов, явля­ющегося одновременно сегментом обеих ранжировок, тоd(R_i ,Rj) можно вычислить, как если бы рассматрива­лась ранжировка только этих n-объектов. Сегментом ранжировки называется множество, дополнение которо­го непусто и все элементы этого дополнения находятсялибо впереди, либо позади каждого элемента сегмента. Смысл этой аксиомы состоит в том, что если две ранжи­ровки полностью согласуются в начале и конце сегмента, а отличие состоит в упорядочении среднихn-объектов, то естественно принять, что расстояние между ранжиров­ками должно равняться расстоянию, соответствующему ранжировкам среднихn-объектов.

6. Минимальное расстояние равно единице.

Пространство ранжировок при двух объектах можно изобразить в виде трех точек, лежащих на одной прямой (рис.3). Расстояния между точками равны d(R1, 0)= d(R2, 0)=1, d(R1, R2)=2. При трех объектах пространство всех возможных ранжировок состоит из 13 точек. Это пространство изображено на рис.4.

Рис.4.

Используя введенную метрику, определим обобщен­ную ранжировку как такую точку, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов. Понятие наилучшего согласова­ния на практике чаще всего определяют как медиануисреднюю ранжировку.

Медиана есть такая точка в пространстве ранжиро­вок, сумма расстояний от которой до всех точек — ран­жировок экспертов является минимальной. В соответст­вии с определением медиана вычисляется из условия

.

Средняя ранжировка есть такая точка, сумма квад­ратов расстояний от которой до всех точек — ранжиро­вок экспертов является минимальной. Средняя ранжи­ровка определяется из условия

.

Пространство ранжировок конечно и дискретно, по­этому медиана и средняя ранжировка могут быть только какими-либо точками этого пространства. В общем слу­чае медиана и средняя ранжировка могут не совпадать ни с одной из ранжировок экспертов.

Если учитывается компетентность экспертов, то ме­диана и средняя ранжировка определяются из условий:

;.

где kj — коэффициенты компетентности экспертов.

Если ранжировка объектов производится по несколь­ким показателям, то определение медианы вначале про­изводится для каждого эксперта по всем показателям, а затем вычисляется медиана по множеству экспертов:

(i=1,2,…,m);

,

где qh– коэффициенты весов показателей.

Основным недостатком определения обобщенной ранжировки в виде медианы или средней ранжировки является трудоемкость расчетов. Естественный способ отыскания Rм или Rc в виде перебора всех точек простран­ства ранжировок неприемлем вследствие очень быстро­го роста разномерности пространства при увеличении количества объектов и, следовательно, роста трудоемко­сти вычислений. Можно свести задачу отыскания Rм или Rс к специфической задаче целочисленного программи­рования. Однако это не очень эффективно уменьшает вы­числительные трудности.

Пример. Проиллюстрируем применение понятий медианы и сред­него значения на простом примере, когда имеются три объекта (n=3) и ранжировка произведена тремя экспертами (m=3). Резуль­таты ранжировки проставлены в табл. 5.2.

ТАБЛИЦА 5.2

	1	2	3
	1	2	3
	2	1	3

На основе этой таблицы составим матрицы парных сравнений

, ,:

, ,.

При n=3 пространство ранжировок может иметь 13 несовпадающих точек (рис. 4). Представим три точки R1=R2= Rз, соответствующие ранжировкам данного примера, и ближайшие к ним точки на рис. 5. Нетрудно непосредственным расчетом убедиться, что медианой яв­ляется точка R1=R2. Действительно, сумма расстояний от медианы до трех точек R1, R2, Rз равна d(R1 , R_M)+d(R₂, R_M)+d(Rз, Rм) = 0+0+2=2. Если выбрать медиану в любой другой точке, то сумма расстояний будет больше 2. Например, если выбрать в качестве ме­дианы точку А, соответствующую ранжировке О1 ∞ О2 >О3 , то сум­ма расстояний равна d(R₁, A)+d(R₂, А)+d(R₃, A) = 1 + 1 + 1=3. Таким образом, медианой является точка R1 = R₂ или, иными словами, в качестве обобщенной ранжировки следует выбрать ранжировку, вы­полненную первым или вторым экспертом. В данном случае обоб­щенная ранжировка определена по правилу большинства голосов.

Рассмотрим, какая ранжировка будет соответствовать среднему значению. Непосредственным расчетом нетрудно убедиться, что среднее значение соответствует точке А. действительно, сумма квадратов расстояний от точки А до точек R1, R2, R3 равна d²(R1, А)+ d²(R2, А)+ d²(R3, А)=1² + 1² + 1² = 3. Если взять в качестве среднего значения медиану (точка R1 = R₂), то сумма квадратов равна d²(R1, RМ)+ d²(R2, RМ)+ d²(R3, RМ)=0² + 0² + 2² = 4.

Эта величина больше, чем в предыдущем случае. Таким образом, построение обобщенной ранжировки по среднему значению дает ранжировку О1 ∞ О2 >О3. Эта ранжировка не совпадает ни с одной из ранжировок R1, R2, Rз, выполненных экспертами. Ранжировку О1 ∞ О2 >О3 можно интерпретировать как эквивалентность первого и второго объектов и их предпочтительность перед третьим объектом.

Обобщенные ранжировки по критериям медианы и среднего зна­чения согласуются в отношении О₃ — он на последнем месте, что соответствует оценкам всех трех экспертов. В отношении объектов О1, О₂ критерии медианы и среднего значения дают разногласие. Критерий медианы утверждает, что нужно следовать правилу боль­шинства, тогда как критерий среднего значения решает, что это не­убедительно и необходимо считать эти объекты равноценными. С практической точки зрения оба эти результата являются прием­лемыми.

Рассмотрим случай, когда все три эксперта дают различные ран­жировки R1=(O1 > О₂ > О₃), R2=(О₂> O₃>O1), Rз=(Оз> O1 > О₂). Анализируя расположение этих точек на рис. 5, нетрудно опреде­лить, что медианой будет не одна, а три точки, совпадающие с точ­ками R1, R2, Rз. Сумма расстояний от медиан до точек R1, R2, Rз одинакова и равна d(R1, RМ)+ d(R2, RМ)+ d(R3, RМ)=8. Средним значением будет одна центральная точка Rc= (O1 ∞ О₂ ∞ О₃). Сумма квадратов расстояний от среднего значения до точек R1, R2, Rз равна d²(R1, Rс)+ d²(R2, Rс)+ d²(R3, Rс)=3² + 3² + 3² = 27.

Рис.5.

Таким образом, критерий медианы утверждает в данном случае, что в качестве обобщенной ранжировки можно принять любую ран­жировку экспертов. Критерий среднего значения решает, что все объекты равноценны. С практической точки зрения представляется, что критерий среднего значения дает более приемлемые результаты.

Расхождение обобщенных ранжировок при различ­ных критериях возникает при малом числе экспертов и несогласованности их оценок. Если мнения экспертов близки, то обобщенные ранжировки, построенные по критериям медианы и среднего значения, будут совпа­дать.

Сложность вычисления медианы или средней ран­жировки привела к необходимости применения более простых способов построения обобщенной ранжировки.

К числу таких способов относится способ сумм рангов.

Этот способ заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объек­том от всех экспертов. Для матрицы ранжировок составляются суммы

(i=1,2,…,n).

Далее объекты упорядочиваются по цепочке неравенств .

Пример. Результаты ранжировки пяти объектов пятью экспер­тами представлены в табл. 5.3.

ТАБЛИЦА 5.3

	2	1	3	4	5
	2	1	3	5	4
	3	1	2	4	5
	2	3	1	4	5
	1	2	4	3	5
	10	8	13	20	24

Результаты вычисления сумм рангов для всех объектов приве­дены в последней строке таблицы. Из сравнения сумм рангов полу­чаем цепочку неравенств

Отсюда следует обобщенная ранжировка

.

В данном примере рассмотрен случай, когда отношение между объектами является отношением строгого порядка. Если имеет место и отношение эквивалентности, то процедура построения обоб­щенной ранжировки по сумме рангов не изменяется.

Для учета компетентности экспертов достаточно умножить каждую i-ю ранжировку на коэффициент ком­петентности j-го эксперта . В этом случае вы­числение суммы рангов для i-го объекта производится по следующей формуле:

(i=1,2,…,n).

Обобщенная ранжировка с учетом компетентности экс­пертов строится на основе упорядочения сумм рангов для всех объектов.

Следует отметить, что построение обобщенной ранжи­ровки по суммам рангов является корректной процеду­рой, если ранги назначаются как места объектов в виде натуральных чисел 1, 2, ..., п. Если назначать ранги произвольным образом, как числа в шкале порядка, то сумма рангов, вообще говоря, не сохраняет условие мо­нотонности преобразования и, следовательно, можно по­лучать различные обобщенные ранжировки при различ­ных отображениях объектов на числовую систему. Нуме­рация мест объектов может быть произведена единст­венным образом с помощью натуральных чисел. Поэтомупри хорошей согласованности экспертов построение обобщенной ранжировки по методу сумм рангов дает результаты, согласующиеся с результатами вычисления медианы.

Еще одним более обоснованным в теоретическом от­ношении подходом к построению обобщенной ранжиров­ки является переход от матрицы ранжировок к матрицепарных сравнений и вычисление собственного вектора,соответствующего максимальному собственному числу этой матрицы. Упорядочение объектов производится по величине компонент собственного вектора. Изложение этого подхода дается в параграфе 5.4.