2.7. Обработка и анализ балльных и точечных оценок. Обработка и анализ попарных сравнений. Определение коэффициентов относительной важности

В некоторых случаях для выражения предпочтения удобнее сначала осуществить балльное оценивание эле­ментов, а затем их ранжирование. Балльные оценки имеют промежуточ­ную шкалу между качественной и ко­личественной. Поэтому обработку и анализ экспертных суждений, выражен­ных в балльной шкале, обычно осу­ществляют комбинированным методом. Сначала балльные оценки пере­водят в ранги

по правилу

(2.28)

(где b_j − балл, присвоенный элементу d_j Є D, а r_j − ранг этого элемента) и обрабатывают их как ранжировки.

Затем баллы рассматривают как количественную меру выражения предпочтения эксперта. Если результаты обработки оказываются хорошо согласованными, то обоснованность группо­вого мнения будет надежной.

Обработка и анализ балльных оце­нок как количественных показателей возможны лишь в том случае, если шкала балльных оценок непрерывна или имеет большое число градаций, а также установлены правила начисле­ния баллов. Дальнейшая обработка и анализ проводятся статистическими методами оценивания в предположе­нии, что разница в ответах экспертов объясняется лишь случайными погреш­ностями.

Каждому элементу d_j Є D ставится в соответствие средний балл, определяемый как среднее арифметическое балльных оценок экспертов по рассматриваемому элементу:

, j = 1, m, (2.29)

где b_lj − балл, присвоенный j-му элементу l-м экспертом.

Степень согласованности экспертов в этом случае оценивается дисперсиями индивидуальных балльных оценок:

, j = 1, m, (2.30)

или (если балльные оценки положительные) коэффициентами вариации:

, j = 1, m, (2.31)

где − среднее квадратическое отклонение.

При анализе согласованности мне­ний экспертов обычно считают, что она удовлетворительная, если все ν_j ≤ 0,3, и хорошая, если все ν_j < 0,2.

Если каждого из экспертов просят дать непосредственную оценку некоторой характеристики xэлемента − точечную оценку (например, указать вероятность наступления некоторого события, срок его возможного наступления, оценить ожидаемые затраты или другие неопределенные факторы), то он должен поставить в соответствие каждому элементу точку на непрерыв­ной числовой оси. В результате об­работки таких оценок могут быть по­лучены показатели среднего резуль­тата:

, (2.32)

дисперсии: (2.33)

и вариации:

, (2.34)

где x_l – точечная оценка характеристики x, данная l-м экспертом.

Статистическая оценка полученных результатов позволяет определить не только интервал достоверных значе­ний оцениваемой характеристики, но и противоречивость мнения конкрет­ного эксперта. В первом случае ис­пользуют методы интервального оцени­вания. Для симметричного закона рас­пределение оценки

, (2.35)

где x^И – неизвестное истинное значе­ние х; q − доверительная вероятность (обычно q = 0,9 ... 0,95); ε − поло­вина длины доверительного интервала.

В практике при числе экспертов в группе n ≥ 25÷30 распределение оценки обычно полагают нормаль­ным. В противном случае величину ε в выражении (2.35) определяют с ис­пользованием распределения Стьюден­та (с n−1 степенью свободы):

,

где t_q – корень уравнения ;

− плотность распределения Стьюдента.

Наиболее удаленные от оценки x_l проверяют на противоречивость (ано­мальность) следующим образом. Если проверяется оценка x_l, превышающая среднее значение , то по таблицам рас­пределения Стьюдента вычисляется вероятность

, (2.36)

где .

Если же проверяется оценка существенно меньше , то вероятность

. (2.37)

Оценка x_l l-го эксперта считается про­тиворечивой при значении α, меньшем некоторого заданного значения α_тр (обычно α_тр = 0.05÷0.1).

К суждению о противоречивости мнения «оригинального» эксперта при таком подходе следует подходить осто­рожно, дополняя вывод по соотно­шениям (2.36) и (2.37) логическим анализом, так как противоречивость мнения l-го эксперта может объяс­няться лучшим пониманием проблемы. Процедура формирования группового мнения в этом случае выглядит сле­дующим образом: определяют точечную групповую оценку вычисляют дисперсию и среднее квадратическое отклонение σ_х мнений экспертов; оценивают противоречивость «оригинальных» мне­ний с помощью (2.36), (2.37) и осуществляют логический анализ; при противоречивых мнениях результаты опроса оформляют в виде точечной и интервальной ( −ε, +ε) оценок; при наличии «оригинальных» (противо­речивых) мнений проводится второй тур экспертизы с коллективным об­суждением результатов предыдущего тура.

Более удобной формой выражения суждений экспертов являются не то­чечные, а диапазонные оценки. В этом случае эксперт указывает минималь­ное и максимальное значения, между которыми, по его мне­нию, находится истинное значение характеристики x^И. Полагая распре­деление оцениваемой характеристики х_l внутри указанного диапазона рав­номерным, вычисляют точечную оцен­ку l-го эксперта:

, (2.38)

а затем – групповую оценку:

. (2.39)

Дисперсию результатов экспертизы и коэффициент вариации определяют по (2.33) и (2.34) соответственно с подстановкой значения вместо x_l.

Для уточнения распределения оце­нок x_l внутри диапазона [ , ] эксперты должны дополнительно ука­зать наиболее вероятную, по их мне­нию, оценку характеристики х. Хорошей аппроксимацией в этом слу­чае является β-распределение.

По величинам , , оценивают среднее значение и дисперсию : , l = 1,n; (2.40)

, l = 1,n; (2.41)