5. Анализ методов обработки экспертных оценок

В рамках статистической концепции алгоритмы обобщения экспертных оценок различаются, прежде всего, в зависимости от задач, которые решали эксперты при экспертном опросе. Более того, экспертные оценки, представленные в виде матрицы парных сравнений, вообще не подвергаются обобщению на этом этапе. Их обработка производится на этапе использования и зависит от характера задач, которые решаются с помощью экспертизы. Например, определения коэффициента важности объектов, ранжирование объектов.

Применительно к экспертным оценкам, представленным в виде индивидуальных ранжировок и рассматриваемым как точки в аксиоматически введенном метрическом пространстве, задача обработки состоит в их обобщении в такую ранжировку, которая будучи представлена как точка в том же пространстве, наилучшим (в определенном смысле) образом согласуется с остальными точками.

Существует несколько алгоритмов обобщения индивидуальных экспертных оценок с целью получения обобщенной ранжировки. Во множестве этих алгоритмов может быть выделено подмножество, включающее алгоритмы, основанные на замене набора индивидуальных ранжировок их комбинацией. Таких алгоритмов большинство. Например, есть алгоритмы, предусматривающие получение следующих видов ранжировок, основанных на минимизации расстояний между обобщенной ранжировкой и всеми индивидуальными ранжировками:

• медианная ранжировка (учитывается сумма расстояний);

• средняя ранжировка (учитывается сумма квадратов расстояний);

• средняя «чебышевская» ранжировка (учитывается расстояние до максимально удаленной ранжировки).

Однако нередко условию минимизации расстояний удовлетворяет не единственная, а несколько обобщенных ранжировок, выбор из которых требует применения неформального подхода.

Другие алгоритмы предусматривают тот или иной учет суммы рангов, выставленных анализируемым объектам каждым экспертом (ранги выражаются натуральными числами). Например:

• алгоритм, заключающийся в ранжировании объектов по величинам таких сумм;

• алгоритм «выделения лидера», отличающийся тем, что подсчет суммы рангов производится в рамках лексикографического упорядочения;

• близкий к алгоритму выделения лидера алгоритм «перехода границы».

Во всех этих алгоритмах обобщенная ранжировка, как правило, не совпадает ни с одной из индивидуальных. В отличие от них алгоритм выявления наиболее представительной ранжировки не предусматривает какой-либо комбинации индивидуальных ранжировок, но состоит в выборе одной из них в качестве типичного представителя достаточно согласованной группы. Следует также отметить, что:

1. различные алгоритмы получения обобщенной ранжировки могут дать, вообще говоря, несовпадающие результаты;

2. по-видимому, выбор искомого алгоритма должен существенным образом зависеть от целей экспертизы и условий проведения экспертного опроса;

3. в настоящее время еще отсутствует достаточно полная система правил по выбору наилучшего (в конкретных условиях) алгоритма такого рода.

Применительно к экспертным оценкам, полученным в ходе непосредственного числового оценивания объектов (т.е. оценки выражаются числами на некотором отрезке числовой оси, в частном случае - баллами), алгоритмы обобщения существенным образом зависят от характера распределения индивидуальных экспертных оценок. Если по результатам предыдущих экспертиз (или при анализе реально имеющегося распределения индивидуальных экспертных оценок) можно считать, что распределение оценок симметрично и унимодально, то используется простейший алгоритм – вычисляется средняя арифметическая из доброкачественных экспертных оценок каждого оцениваемого объекта или определенной его характеристики. Если распределение унимодально, но несимметрично, для агрегации индивидуальных экспертных оценок используют квартильные характеристики: медиану, а также первый и третий квартили. Если распределение полимодальное, то это свидетельствует о наличии соответствующего числа групп экспертов и тогда обобщение их несогласованных мнений не имеет смысла.

В рамках алгебраической концепции используются в значительной степени те же алгоритмы обобщения индивидуальных экспертных оценок, которые были упомянуты применительно к статистической. Например, для экспертных оценок, заданных неметризованными ранжировками, обобщение осуществляется с помощью медианы Кемени.

Для метризованных аддитивных ранжирований (основанных на евклидовой мере близости) в качестве обобщенной ранжировки применяется средняя ранжировка.

Все алгоритмы обобщения индивидуальных экспертных оценок подразумевают возможность получения обобщенной экспертной оценки с учетом показателя компетентности экспертов. Например, в алгоритмах усреднения применяется не средняя, а средневзвешенная величина с весами, равными значению показателя компетентности. Однако сама необходимость такого учета еще не имеет единодушной поддержки. Пока еще не имеет общего решения и вопрос об обработке стохастических экспертных оценок. В этом отношении предложены лишь отдельные подходы. Так, например, для стохастических экспертных оценок, полученных при непосредственном оценивании (т.е. для каждой оценки эксперт задает вероятность ее правильности) для обработки экспертных оценок может быть использован аппарат теории нечетких множеств.

На этапе обработки экспертных оценок может решиться и задача определения точности и надежности полученной обобщенной экспертной оценки. Для применения статистической концепции к экспертным оценкам, полученным в шкале отношений, разработаны алгоритмы, позволяющие определить доверительный интервал и доверительную вероятность обобщенной оценки как функции параметров статистической информации об экспертах и вынесенных ими ранее оценках. Например, к этим параметрам относятся:

• численность экспертной группы;

• соотношение этой численности с численностью генеральной совокупности потенциальных экспертов по данной исследуемой проблеме;

• вид и параметры распределения экспертной оценки;

• задаваемая организаторами экспертизы доверительная вероятность определения обобщенной экспертной оценки.

Но в рамках алгебраической концепции еще не сформировано содержательное представление о том, что понимать под «точностью и надежностью» обобщенной экспертной оценки, являющейся, по существу, некоторым компромиссом между индивидуальными экспертными оценками.

Смысл последнего этапа работы с экспертной информацией (этапа ее использования) заключается в том, что организаторы экспертизы применяют экспертную информацию (обычно в виде обобщенной экспертной оценки), а также информацию, не подвергавшуюся обобщению (например, в виде матрицы парных сравнений), в качестве источника получения новой информации. Например, с помощью экспертных оценок могут быть ранжированы и количественно оценены в интервальных шкалах или даже в шкале отношений объекты, характеризующиеся многими показателями, по каждому из которых были получены экспертные оценки. При этом может использоваться аппарат теории полезности, квалиметрии, многомерного шкалирования. В качестве одного из вариантов проведения экспертизы могут быть выбраны лучшие варианты объектов, представленные индивидуальными ранжировками с использованием инструментария теории голосования. В другом варианте проведения экспертизы могут определяться значения факторных весов (коэффициенты весомости) отдельных характеристик анализируемых объектов. В качестве следующего варианта могут выявляться тенденции развития в той или иной исследуемой области, а также анализироваться многие другие задачи, для решения которых требуется экспертная информация.