Применение статистических критериев

Экспертные оценки	Применяются критерии
1. выраженные в порядковых шкалах	коэффициенты ранговой корреляции Спирмена и Кендала, дисперсионный коэффициент конкордации Кендала, энтропийный коэффициент конкордации, инструментарий теории распознавания образов
2. представленные в виде парных сравнений	коэффициент согласованности Кендала
3.выраженных в интервальных шкалах или шкале отношений	коэффициенты вариации (интерквартильный и др.)
4.во всех случаях	средние отклонения (абсолютное, квадратичное, дисперсия)

Как и при анализе индивидуальных экспертных оценок, факт согласованности устанавливается на основе достаточно высокого значения соответствующего критерия и малой вероятности случайности этой согласованности. В статистическом смысле анализ согласованности сводится к проверке гипотезы об одинаковой распределенности высказываний экспертов. Выполнение этого условия необходимо для обобщения индивидуальных экспертных оценок.

В случае отсутствия достаточно высокой степени согласованности индивидуальных экспертных оценок, интерпретация результатов их анализа позволяет считать, что возникла одна из двух наиболее часто встречающихся ситуаций:

1. эксперты разделяются на небольшое число групп, внутри которых их суждения близки между собой;

2. эксперты образуют большое число мелких или «единичных» групп.

Первая ситуация возникает, например, из-за наличия среди экспертов представителей нескольких научных школ или даже коллективов. В этой ситуации следует разбить экспертную группу на соответствующие подгруппы. Причиной возникновения второй ситуации может быть неодинаковое понимание экспертами решаемой задачи, крайняя неоднородность или низкая компетентность. При хорошей подготовке и организации экспертизы возникновение такой ситуации маловероятно.

Наконец, возможен случай, когда при достаточно высокой согласованности индивидуальных экспертных оценок среди них выделяются оценки, принадлежащие одному эксперту (или, изредка, двум), резко отличающихся от остальных. Подобное отличие может быть установлено с помощью специальных критериев, например, относительного отклонения оценки эксперта от медианы, выраженного в долях соответствующего квартиля.

Данная ситуация может объясняться двумя причинами:

1. Эксперт назначил эту отличающуюся оценку в силу своей недостаточной компетентности. В статистическом смысле его оценка представляет некоторый «выброс» и поэтому должна быть исключена из дальнейшего анализа и обработки;

2. Несогласованность суждения эксперта объясняется тем, что он лучше остальных понимает сущность исследуемой проблемы. При наличии подобных «еретических» оценок требуется их дополнительное неформальное исследование.

На этапе анализа экспертных оценок определяется не только степень их согласованности, что необходимо для корректного выполнения операций по обработке экспертных оценок. Важным является и выяснение причин, вызывающих рассогласованность суждений экспертов. Знание этих причин может помочь организаторам экспертного опроса исключить или уменьшить их влияние при проведении других экспертиз, например, путем корректировки состава экспертной группы. К числу этих причин могут быть отнесены:

• низкая компетентность отдельных экспертов;

• социально-демографические особенности личности эксперта (профессия, должность, тип представляемой им организации, стаж работы, образование, возраст);

• различие в факторах, учитываемых отдельными экспертами при вынесении своих оценок;

• различие в способности отдельных экспертов дифференцировать признаки, по совокупности которых они оценивают исследуемый объект.

После анализа экспертных оценок на следующем этапе производится их обработка с целью получения обобщенного суждения всей экспертной группы в целом. При этом руководствуются одной из двух основных концепций, на которых базируются алгоритмы такой обработки. Главное различие между ними касается отношения к гипотезе о существовании истинного, единственно верного, но до проведения экспертизы неизвестного суждения по поводу исследуемой задачи.

Первая концепция является статистической и основывается на предположении о существовании такого истинного суждения, причем суждение любого эксперта обычно есть его искаженный вариант. Такие искажения рассматриваются как следствие воздействия на эксперта случайных факторов, а суждения разных экспертов трактуются как статистически независимые испытания по выбору истинного суждения. Такой взгляд на анализ суждений восходит к статистической обработке результатов наблюдений, эксперт здесь фактически трактуется как измерительный прибор, работающий со случайными погрешностями. Для этой концепции применительно к экспертным оценкам, выраженным в шкалах интервалов или отношений, разработана аксиоматическая база.

Вторая концепция называется дискретной или алгебраической и базируется на отрицании наличия единственного истинного суждения. Соответственно в ее рамках не ставится вопрос об искажениях и ошибках экспертов. Каждое из доброкачественных экспертных суждений рассматривается как имеющее право на существование, правильное и равноправное. Коллективное (обобщенное, групповое) экспертное суждение – это всего лишь компромиссное, «центральное», наиболее близкое одновременно ко всем имеющимся. Для измерения такой близости аксиоматически вводится «расстояние» между суждениями.

Не существует однозначного вывода о степени «истинности» двух основных концепций обработки экспертных оценок. Не исключено, что эти концепции еще не могут считаться окончательными решениями проблемы обработки экспертной информации с целью ее обобщения. Поэтому в дальнейшем рассматриваются методы такой обработки применительно к каждой из этих концепций в отдельности.