4.Этапы анализа экспертных оценок

Экспертные оценки, полученные при экспертном опросе, в ходе выполнения других этапов экспертизы, анализируются, обрабатываются и используются для решения тех задач, для которых необходимо было применять аппарат экспертного оценивания.

Процесс анализа экспертных оценок делится на два этапа:

1. анализ индивидуальных экспертных оценок;

2. анализ коллективных (обобщенных) экспертных оценок.

Основная задача, решаемая на втором этапе, - выявление доброкачественности экспертных оценок с точки зрения возможности их статистической обработки в целях обобщения (агрегирования). Вспомогательные задачи:

1. выявление отдельных недоброкачественных экспертных оценок;

2. выявление причин, вызвавших их появление;

3. получение информации, необходимой для уточнения количественной оценки качества работы экспертов.

Доброкачественность экспертных оценок обеспечивается не только на этом, но и на предыдущем этапе экспертизы, а именно при формировании экспертной группы. В экспертную группу целесообразно собирать таких экспертов, выносимые оценки которых являются в статистическом смысле достаточно несмещенными, эффективными, состоятельными и надежными, т.е. часто оказываются верными.

Методология анализа индивидуальных экспертных оценок наиболее полно разработана для суждений, выраженных в виде парных сравнений объектов. Но при всех случаях основной целью такого анализа является оценки удовлетворения оценок, вынесенных каждым отдельным экспертом, требованиям, представленным в таблице 4.1.

Кроме этих требований, которым должны удовлетворять любые виды экспертных оценок, могут предъявляться и некоторые другие, специфичные только для отдельных их видов. Например, для индивидуальных экспертных оценок, выраженных в виде парных сравнений, может оказаться целесообразным потребовать отсутствие так называемой «сепарации» - одного из частных видов противоречивости в суждениях эксперта.

Таблица 4.1.

Требования к экспертным оценкам

Требования	Содержание требований
1.воспроизводимость	Суждения эксперта, относящиеся к одному и тому же исследуемому показателю, объекту, должны быть достаточно стабильными, т.е. могут изменяться только за счет дополнительной информации, но не вследствие неуверенности или отсутствия четкого мнения относительно исследуемой задачи.
2.непротиворечивость	Суждения эксперта должны быть последовательны, логичны, внутренне непротиворечивы. Например, для экспертных оценок, представленных парными сравнениями, должна обеспечиваться их транзитивность.
3.соответствие заданной шкале измерения	Организатор опроса должен быть уверен, что суждение эксперта отражает измерение именно в этой шкале, которая была ему указана.
4.неслучайность	Индивидуальные экспертные оценки не должны быть такими, которые мог дать совершенно случайный человек.

Соответствие индивидуальных экспертных оценок этим требованиям определяется с помощью специальных статистических критериев, например, неравенства Чебышева, коэффициента непротиворечивости, коэффициента Кендала и др. Однако эти проблемы в статистическом смысле еще не изучены достаточно глубоко. Поэтому при анализе индивидуальных экспертных оценок наряду со статистическими критериями приходится применять и эвристические приемы. Например, вводятся некоторые критические значения применяемых статистических критериев и для дальнейшего анализа и обработки отбираются только «доброкачественные» индивидуальные экспертные оценки, т.е. те, для которых значения этих критериев не ниже критических.

Отобранные доброкачественные экспертные оценки становятся предметом анализа уже в качестве совокупности, т.е. коллективных, (обобщенных, групповых) экспертных оценок. При этом сначала определяется достаточность степени их согласованности. Если согласованность оказывается достаточной, проверяется, не объясняется ли это случайностью. С этой целью используются специальные статистические критерии (табл. 4.2.).

Таблица 4.2.