Анализ ответов экспертов

Если требуется лишь качественная оценка предпочтительности альтернатив или их разбиение на классы по тем или иным признакам, то используют парные и множественные сравнения, непосредственное ранжирование, классификацию и т.д. Если целесообразно получить численные оценки, то используют другие методы (Терстоуна, фон Неймана – Моргенштерна и т.п.).

Существует много способов выбора результирующих отношений из тех отношений, которые определили эксперты.

По правилу большинства подсчитывается число экспертов, отдавших предпочтение каждой альтернативе, и наилучшей объявляется альтернатива, которую назвали наилучшей большинство экспертов, например

P1	P2	P3	P4	P5
a2	a2	a1	a3	a4
a1	a1	a3	a1	a1
a3	a3	a4	a4	a3
a4	a4	a2	a2	a2

Здесь надо считать, что a₂ – лучшая. Что, видимо, не очень хорошо. Иногда вводят дополнительные требования, что альтернатива объявляется наилучшей, если так считают не менее половины экспертов. Но ее может и не быть.

Принцип Кондорсе. Каждый эксперт ранжирует альтернативы по предпочтениям. На основании полученных ранжирований для каждой пары альтернатив a_i, a_j подсчитывается S_ij – число экспертов, считающих a_i более предпочтительнее, чем a_j. Если S_ij > S_ji, то альтернатива a_i признается более предпочтительной, чем a_j и объявляется альтернативой Кондорсе (наилучшей). В нашем примере это а₁ . Однако может возникнуть случай нетранзитивности коллективных предпочтений. В этом случае альтернативы Кондорсе не существует.

Например

Тогда S₁₂ >S₂₁, S₂₃ >S₃₂, но S₁₃ >S₃₁ .

Способ Борда. Альтернативам, проранжированным экспертом, приписываются числа: последней по предпочтениям – 0, предпоследней – 1, и т.д. Если через S_i обозначить сумму чисел, приписываемых альтернативе a_i, то результирующим объявляется ранжирование, для которого , а наилучшей альтернативой – .Этот способ тоже имеет недостатки. В частности, альтернатива Кондорсе, т.е., альтернатива, которая лучше любой другой при парном сравнении может оказаться невыбранной в качестве наилучшей.

Медиана Кемени. С введением мер близости получена возможность определять расстояния между произвольной парой ранжирования. Естественно предположить, что результирующее ранжирование F(P₁, …, P_m) должно быть расположено как можно ближе к ранжированиям P₁, …, P_m. Такое ранжирование и называют медианой Кемени.

При анализе экспертных оценок возникает задача — «отсечь» случайные крайние оценки (что, разумеется, не исключает необходимости тщательного анализа и учета мотивов крайних оценок, так как не исключено, что какой-то мотив может ока­заться настолько важным, что изменит мнение большин­ства). Эта задача в настоящее время решается обычно путем разделения всего ряда полученных оценок на че­тыре квартиля (четверти) по 25% оценок в каждом. При таком подходе крайние 1-й и 4-й квартили можно «от­сечь» и изучать специально на предмет выяснения мо­тивов отклонений, а на основе 2-го и 3-го делать обоб­щающие выводы. Кроме того, при таком подходе можно вычислить медиану—величину, среднюю между 2-м и 3-м квартилем, делящую ряд оценок таким образом, что­бы число оценок с большим и число оценок с меньшим значением относительно некой средней величины было одинаковым. Специалисты по экспертным опросам счи­тают, что медиана предпочтительнее средней арифмети­ческой, так как на нее меньшее влияние оказывают «чрезмерно» большие или малые оценки, и она в боль­шинстве случаев оказывается более устойчивой, менее подверженной случайности подбора экспертов.

Существуют приемы, при которых обобщающее показатели вычисляются на основе более сложных методов, учитывающих степень компетентности каждого эксперта, степень значимости той или иной оценки и т. д.