- •Содержание:
- •§1.2. Метод экспертных оценок
- •§1.3. Организация экспертного оценивания.
- •Глава 2
- •§2.1. Основные понятия
- •§ 2.2. Шкалы измерений
- •§ 2.3. Методы измерений .
- •Глава 3
- •§ 3.1. Проблемы подбора экспертов
- •§ 3.2. Характеристики экспертов
- •§ 3.3. Характеристики группы экспертов
- •§ 3.4. Организация процедуры подбора
- •Глава 4
- •§ 4.1. Содержание и виды опроса
- •§ 4.2. Анкетирование и интервьюирование
- •§ 4.3. Дискуссия
- •§ 4.4. Совещания
- •§ 4.5. Мозговой штурм
- •Глава 5
- •§ 5.1. Задачи обработки
- •§ 5.2. Групповая оценка объектов
- •§ 5.3. Оценка согласованности мнений экспертов
- •§ 5.4. Обработка парных сравнений объектов
- •§ 5.5. Определение взаимосвязи ранжировок
- •Глава 6
- •§6.1. Метод Дельфы
§ 5.2. Групповая оценка объектов
В данном параграфе рассматриваются алгоритмы обработки результатов экспертного оценивания множества объектов. Пусть m экспертов произвели оценку п объектов по l показателям. Результаты оценки представлены в виде величин , где j —номер эксперта, i — номер объекта, h — номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирования, то величины представляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результатов оценки существенно зависит от рассмотренных методов измерения.
Рассмотрим вначале случай, когда величины (i =1,…,п; j=1, 2, ..., m; h=1, 2, ..., l) получены методами непосредственной оценки или последовательного сравнения, т. е. являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно воспользоваться средним значением оценки для каждого объекта
(i=1, 2, …,n), (5.1)
где — коэффициенты весов показателей сравнения объектов,kj — коэффициенты компетентности экспертов. Коэффициенты весов показателей и компетентности объектов являются нормированными величинами
(5.2)
Коэффициенты весов показателем могут быть определены экспертным путем. Если — коэффициент веса h-го показателя, даваемый j-м экспертом, то средний коэффициент веса h-го показателя по всем экспертам равен
(5.3)
Получение групповой экспертной оценки путем суммирования индивидуальных оценок с весами компетентности и важности показателей при измерении свойств объектов в кардинальных шкалах основывается на предположении о выполнении аксиом теории полезности фон Неймана — Моргенштерна как для индивидуальных, так и для групповой оценки [39] и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето) [31]. В реальных задачах эти условия, как правило, выполняются, поэтому получение групповой оценки объектов путем суммирования с весами индивидуальных оценок экспертов широко применяется на практике.
Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, т. е. по результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.
Алгоритм вычисления коэффициентов компетентности экспертов имеет вид рекуррентной процедуры:
; (5.4)
; (5.5)
. (5.6)
Вычисления начинаются с t=1. В формуле (5.4) начальные значения коэффициентов компетентности принимаются одинаковыми и равными kj°=1/m. Тогда по формуле (5.4) групповые оценки объектов первого приближении равны средним арифметическим значениям оценок экспертов
. (5.7)
Далее вычисляется величина λ¹ по формуле (5.5):
(5.8)
и значение коэффициентов компетентности первого приближения по формуле (5.6):
(5.9)
Используя коэффициенты компетентности первого приближения, можно повторить весь процесс вычисления по формулам (5.4), (5.5), (5.6) и получить вторые приближения величин .
Повторение рекуррентной процедуры вычислений оценок объектов и коэффициентов компетентности естественно ставит вопрос о ее сходимости. Для рассмотрения этого вопроса исключим из уравнений (5.4), (5.6) переменные ии представим эти уравнения в векторной форме
, (5.10)
где матрицы В размерности n∙nи С размерностиm∙mравны
. (5.11)
Величина в уравнениях (5.10) определяется по формуле (5.5).
Если матрицы В и С неотрицательны и неразложимы, то как это следует из теоремы Перрона-Фробениуса [33], при t→∞ векторы исходятся к собственным векторам матриц В и С, соответствующим максимальным собственным числам этих матриц
,. (5.12)
Предельные значения векторов xиkможно вычислить из уравнений:
(5.13)
где , — максимальные собственные числа матрицВ и С.
Условие неотрицательности матриц В и С легко выполняется выбором неотрицательных элементов матрицы X оценок объектов экспертами.
Условие неразложимости матриц В и С практически выполняется, поскольку, если эти матрицы разложимы, то это означает, что эксперты и объекты распадаются на независимые группы. При этом каждая группа экспертов оценивает только объекты своей группы. Естественно, что получать групповую оценку в этом случае нет смысла. Таким образом, условия неотрицательности и неразложимости матриц В и С, а следовательно, и условия сходимости процедур (5.4), (5.5), (5.6) в практических условиях выполняются.
Следует заметить, что практическое вычисление векторов групповой оценки объектов и коэффициентов компетентности проще выполнять по рекуррентным формулам (5.4), (5.5), (5.6). Определение предельных значений этих векторов по уравнению (5.13) требует применения вычислительной техники.
Пример. Три эксперта (m = 3) оценили значение двух мероприятий (n=2) по решению одной проблемы (l=1), приведя нормированные оценки мероприятий (табл. 5.1).
Проведем вычисление групповых оценок мероприятий и коэффициентов компетентности экспертов по формулам (5.4), (5.5), (5.6). Средние оценки объектов первого приближения по формуле (5.4) при t=1 равны
.
Эксперт Мероприятие |
Э1 |
Э2 |
Э3 |
М1 |
0,3 |
0,5 |
0,2 |
М2 |
0,7 |
0,5 |
0,8 |
Вычислим величину λ¹ по формуле (5.5). В результате имеем
λ¹=1∙0,335+2∙0,665=1,665.
Вычисляем коэффициенты компетентности первого приближения по формуле (5.6):
;
;
.
Вычисляя групповые оценки объектов второго приближения, получаем вектор x²=(0.324; 0.676). Величина λ²=1,676. Вектор коэффициентов компетентности второго приближения равен k²=(0,341; 0,298; 0,361). Для третьего приближения получаем x³=(0,3233; 0,6765), λ³=1,6765, k³=(0,341; 0,298; 0,361). Как следует из результатов третьего приближения, вектор коэффициентов компетентности стабилизировался. Поэтому дальнейшие вычисления не дадут существенного уточнения.
Рассмотрим теперь вычисление предельных значений векторов групповой оценки и коэффициентов компетентности по уравнениям (5.13). Вычисляя матрицу В=ХХ’, получаем
.
Максимальное собственное число матрицы В определяется как максимальный корень уравнения
|В-λE|=0,
где Е – единичная матрица. Записывая в явном виде определитель, получаем
.
Раскрывая определитель, получаем квадратное уравнение
λ² - 1,76λ + 0,14 = 0.
Максимальный корень этого yравнения ранен λo=l,676. Сравнивая это значение со вторым и третьим приближением λ², λ³, убеждаемся в том, что они близки. Вектор групповых оценок вычисляется путем решения системы уравнений
.
Решая эту систему yравнений, получаем =0,3235,=0,6765, чтосоответствует результатам рекуррентных вычислений третьего приближения.
Вычисляя матрицу С = Х'Х, получаем
.
Составляя уравнение |С — XE|=0 и раскрывая определитель, получаем уравнение
λ(λ²-1,76λ+0,14)=0.
Отсюда следует, что максимальное собственное число для матрицы С совпадает с максимальным собственным числом матрицы В: λо=1,676.
Система уравнений для определения предельных коэффициентов компетентности имеет вид
.
Решая эту систему уравнений, получаем =0,34077,=0,298,=0,36123. Эти значения близки к третьему приближению коэффициентов компетентности.
Рассмотрим теперь случай, когда эксперты производят оценку множества объектов методом ранжирования так, что величины есть ранги. Обработка результатов ранжирования заключается в построении обобщенной ранжировки. Для построения такой ранжировки введем конечномерное дискретное пространство ранжировок и метрику в этом пространстве. Каждая ранжировка множества объектов j-м экспертом есть точка Rj в пространстве ранжировок.
Ранжировку Rj можно представить в виде матрицы парных сравнений, элементы которой определим следующим образом:
Очевидно, что , поскольку каждый объект эквивалентен самому себе. Элементы матрицы |||| антисимметричны .
Если все ранжируемые объекты эквивалентны, то все элементы матрицы парных сравнений равны нулю. Такую матрицу будем обозначать Ro и считать, что точка в пространстве ранжировок, соответствующая матрице Rоявляется началом отсчета.
Обращение порядка ранжируемых объектов приводит к транспонированию матрицы парных сравнений.
Метрика d(Ri, Rj) как расстояние между i-й и j-й ранжировками определяется единственным образом формуллой
,
если выполнены следующие 6 аксиом [26]:
1. d(Ri, Rj)≥0, причем равенство достигается, если ранжировки Ri и Rj тождественны;
2. d(Ri, Rj)= d(Rj, Ri);
3. d(Ri, Rh)+ d(Rh, Rj)≥ d(Ri, Rj);
причем равенство достигается, если ранжировка «лежит между» ранжировками Ri и Rj. Понятие «лежит между» означает, что суждение о некоторой паре OhOl объектов в ранжировке совпадает с суждением об этой паре либо в Ri , либо в Rj или же в Ri Ok > Оl , в Rj Оl > Ok , а в Rh Oh ∞ Оl ;
4. d(R'i, R'j)= d(Ri, Rj),
где R'i получается из Ri некоторой перестановкой объектов, а R'j из Rj той же самой перестановкой. Эта аксиома утверждает независимость расстояния от перенумерации объектов.
5. Если две ранжировки Ri, Rj одинаковы всюду, за исключениемn-элементного множества элементов, являющегося одновременно сегментом обеих ранжировок, тоd(Ri ,Rj) можно вычислить, как если бы рассматривалась ранжировка только этих n-объектов. Сегментом ранжировки называется множество, дополнение которого непусто и все элементы этого дополнения находятсялибо впереди, либо позади каждого элемента сегмента. Смысл этой аксиомы состоит в том, что если две ранжировки полностью согласуются в начале и конце сегмента, а отличие состоит в упорядочении среднихn-объектов, то естественно принять, что расстояние между ранжировками должно равняться расстоянию, соответствующему ранжировкам среднихn-объектов.
6. Минимальное расстояние равно единице.
Пространство ранжировок при двух объектах можно изобразить в виде трех точек, лежащих на одной прямой (рис.3). Расстояния между точками равны d(R1, 0)= d(R2, 0)=1, d(R1, R2)=2. При трех объектах пространство всех возможных ранжировок состоит из 13 точек. Это пространство изображено на рис.4.
Рис.4.
Используя введенную метрику, определим обобщенную ранжировку как такую точку, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов. Понятие наилучшего согласования на практике чаще всего определяют как медиануисреднюю ранжировку.
Медиана есть такая точка в пространстве ранжировок, сумма расстояний от которой до всех точек — ранжировок экспертов является минимальной. В соответствии с определением медиана вычисляется из условия
.
Средняя ранжировка есть такая точка, сумма квадратов расстояний от которой до всех точек — ранжировок экспертов является минимальной. Средняя ранжировка определяется из условия
.
Пространство ранжировок конечно и дискретно, поэтому медиана и средняя ранжировка могут быть только какими-либо точками этого пространства. В общем случае медиана и средняя ранжировка могут не совпадать ни с одной из ранжировок экспертов.
Если учитывается компетентность экспертов, то медиана и средняя ранжировка определяются из условий:
;.
где kj — коэффициенты компетентности экспертов.
Если ранжировка объектов производится по нескольким показателям, то определение медианы вначале производится для каждого эксперта по всем показателям, а затем вычисляется медиана по множеству экспертов:
(i=1,2,…,m);
,
где qh– коэффициенты весов показателей.
Основным недостатком определения обобщенной ранжировки в виде медианы или средней ранжировки является трудоемкость расчетов. Естественный способ отыскания Rм или Rc в виде перебора всех точек пространства ранжировок неприемлем вследствие очень быстрого роста разномерности пространства при увеличении количества объектов и, следовательно, роста трудоемкости вычислений. Можно свести задачу отыскания Rм или Rс к специфической задаче целочисленного программирования. Однако это не очень эффективно уменьшает вычислительные трудности.
Пример. Проиллюстрируем применение понятий медианы и среднего значения на простом примере, когда имеются три объекта (n=3) и ранжировка произведена тремя экспертами (m=3). Результаты ранжировки проставлены в табл. 5.2.
ТАБЛИЦА 5.2
| |||
1 |
2 |
3 | |
1 |
2 |
3 | |
2 |
1 |
3 |
На основе этой таблицы составим матрицы парных сравнений
, ,:
, ,.
При n=3 пространство ранжировок может иметь 13 несовпадающих точек (рис. 4). Представим три точки R1=R2= Rз, соответствующие ранжировкам данного примера, и ближайшие к ним точки на рис. 5. Нетрудно непосредственным расчетом убедиться, что медианой является точка R1=R2. Действительно, сумма расстояний от медианы до трех точек R1, R2, Rз равна d(R1 , RM)+d(R2, RM)+d(Rз, Rм) = 0+0+2=2. Если выбрать медиану в любой другой точке, то сумма расстояний будет больше 2. Например, если выбрать в качестве медианы точку А, соответствующую ранжировке О1 ∞ О2 >О3 , то сумма расстояний равна d(R1, A)+d(R2, А)+d(R3, A) = 1 + 1 + 1=3. Таким образом, медианой является точка R1 = R2 или, иными словами, в качестве обобщенной ранжировки следует выбрать ранжировку, выполненную первым или вторым экспертом. В данном случае обобщенная ранжировка определена по правилу большинства голосов.
Рассмотрим, какая ранжировка будет соответствовать среднему значению. Непосредственным расчетом нетрудно убедиться, что среднее значение соответствует точке А. действительно, сумма квадратов расстояний от точки А до точек R1, R2, R3 равна d²(R1, А)+ d²(R2, А)+ d²(R3, А)=1² + 1² + 1² = 3. Если взять в качестве среднего значения медиану (точка R1 = R2), то сумма квадратов равна d²(R1, RМ)+ d²(R2, RМ)+ d²(R3, RМ)=0² + 0² + 2² = 4.
Эта величина больше, чем в предыдущем случае. Таким образом, построение обобщенной ранжировки по среднему значению дает ранжировку О1 ∞ О2 >О3. Эта ранжировка не совпадает ни с одной из ранжировок R1, R2, Rз, выполненных экспертами. Ранжировку О1 ∞ О2 >О3 можно интерпретировать как эквивалентность первого и второго объектов и их предпочтительность перед третьим объектом.
Обобщенные ранжировки по критериям медианы и среднего значения согласуются в отношении О3 — он на последнем месте, что соответствует оценкам всех трех экспертов. В отношении объектов О1, О2 критерии медианы и среднего значения дают разногласие. Критерий медианы утверждает, что нужно следовать правилу большинства, тогда как критерий среднего значения решает, что это неубедительно и необходимо считать эти объекты равноценными. С практической точки зрения оба эти результата являются приемлемыми.
Рассмотрим случай, когда все три эксперта дают различные ранжировки R1=(O1 > О2 > О3), R2=(О2> O3>O1), Rз=(Оз> O1 > О2). Анализируя расположение этих точек на рис. 5, нетрудно определить, что медианой будет не одна, а три точки, совпадающие с точками R1, R2, Rз. Сумма расстояний от медиан до точек R1, R2, Rз одинакова и равна d(R1, RМ)+ d(R2, RМ)+ d(R3, RМ)=8. Средним значением будет одна центральная точка Rc= (O1 ∞ О2 ∞ О3). Сумма квадратов расстояний от среднего значения до точек R1, R2, Rз равна d²(R1, Rс)+ d²(R2, Rс)+ d²(R3, Rс)=3² + 3² + 3² = 27.
Рис.5.
Таким образом, критерий медианы утверждает в данном случае, что в качестве обобщенной ранжировки можно принять любую ранжировку экспертов. Критерий среднего значения решает, что все объекты равноценны. С практической точки зрения представляется, что критерий среднего значения дает более приемлемые результаты.
Расхождение обобщенных ранжировок при различных критериях возникает при малом числе экспертов и несогласованности их оценок. Если мнения экспертов близки, то обобщенные ранжировки, построенные по критериям медианы и среднего значения, будут совпадать.
Сложность вычисления медианы или средней ранжировки привела к необходимости применения более простых способов построения обобщенной ранжировки.
К числу таких способов относится способ сумм рангов.
Этот способ заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объектом от всех экспертов. Для матрицы ранжировок составляются суммы
(i=1,2,…,n).
Далее объекты упорядочиваются по цепочке неравенств .
Пример. Результаты ранжировки пяти объектов пятью экспертами представлены в табл. 5.3.
ТАБЛИЦА 5.3
| |||||
2 |
1 |
3 |
4 |
5 | |
2 |
1 |
3 |
5 |
4 | |
3 |
1 |
2 |
4 |
5 | |
2 |
3 |
1 |
4 |
5 | |
1 |
2 |
4 |
3 |
5 | |
10 |
8 |
13 |
20 |
24 |
Результаты вычисления сумм рангов для всех объектов приведены в последней строке таблицы. Из сравнения сумм рангов получаем цепочку неравенств
Отсюда следует обобщенная ранжировка
.
В данном примере рассмотрен случай, когда отношение между объектами является отношением строгого порядка. Если имеет место и отношение эквивалентности, то процедура построения обобщенной ранжировки по сумме рангов не изменяется.
Для учета компетентности экспертов достаточно умножить каждую i-ю ранжировку на коэффициент компетентности j-го эксперта . В этом случае вычисление суммы рангов для i-го объекта производится по следующей формуле:
(i=1,2,…,n).
Обобщенная ранжировка с учетом компетентности экспертов строится на основе упорядочения сумм рангов для всех объектов.
Следует отметить, что построение обобщенной ранжировки по суммам рангов является корректной процедурой, если ранги назначаются как места объектов в виде натуральных чисел 1, 2, ..., п. Если назначать ранги произвольным образом, как числа в шкале порядка, то сумма рангов, вообще говоря, не сохраняет условие монотонности преобразования и, следовательно, можно получать различные обобщенные ранжировки при различных отображениях объектов на числовую систему. Нумерация мест объектов может быть произведена единственным образом с помощью натуральных чисел. Поэтомупри хорошей согласованности экспертов построение обобщенной ранжировки по методу сумм рангов дает результаты, согласующиеся с результатами вычисления медианы.
Еще одним более обоснованным в теоретическом отношении подходом к построению обобщенной ранжировки является переход от матрицы ранжировок к матрицепарных сравнений и вычисление собственного вектора,соответствующего максимальному собственному числу этой матрицы. Упорядочение объектов производится по величине компонент собственного вектора. Изложение этого подхода дается в параграфе 5.4.