Разработка методов обработки результатов

При подготовке экспертизы разрабатывается метод оценки по каждому из вопросов анкеты, а также метод выставления совокупной оценки.

Методы обработки результатов экспертного оценивания, как правило, основываются на методах статистического оценивания. При подготовке экспертизы заранее выбирается один из известных методов или придумывается свой. Для примера к числу таких методов могут быть отнесены: вычисление среднего значение оценок, вычисление медианы, вычисление максимума и другие в зависимости от особенностей рассматриваемой проблемы. Кроме этого, необходимо оценить погрешность оценки, представляющую собой средний квадрат отклонения оценок экспертов.

Для построения совокупной оценки результатов анкетирования могут использоваться методы выбора компромисса, использовавшиеся для решения многокритериальных задач (см. п. 2.6). Так, например, при задании определенных весовых коэффициентов каждого измеряемого параметра можно воспользоваться методом скаляризации векторного критерия. Если в результате оценивания решалась задача ранжирования, то для построения совокупной оценки можно использовать метод последовательной уступки. Наконец, в зависимости вида от разрешаемой проблемы, возможно сочетание различных методов выбора компромисса.

Качество работы экспертов можно оценить по так называемому коэффициенту конкордации, учитывающему разброс погрешностей оценок каждого эксперта по отношению к средней оценке всей группы. Подобный метод позволяет не принимать во внимание склонность экспертов к выставке либо более жестких, либо более мягких оценок по сравнению с группой, и в то же время выявить эксперта, чьи оценки в одних случаях занижены, а в других завышены.

Количество экспертов, непосредственно включаемых в состав экспертной группы, влияет на качество проведения экспертизы. Разными авторами предлагаются разные методы определения их числа в зависимости от величины ожидаемой ошибки. Так, например, в [13] предложена следующая эмпирическая формула:

где ‑ верхнее значение относительной ошибки оценивания ( ). Оговаривается, что должна наблюдаться стабилизация средней оценки, о чем свидетельствует тот факт, что включение или исключение эксперта из группы не изменяет относительную оценку искомой величины более, чем на .

Проведение анкетирования, обработка и выдача результатов и принятие решения

Само проведение анкетирования сводится к заполнению анкет. Далее анкеты поступают на обработку в соответствии с заранее выбранным методом. Результаты обработки по каждому пункту анкеты обезличиваются и представляются, например, в виде оценки измеряемого параметра, итогового ранжирования или классификации. В некоторых случаях они могут быть снова представлены экспертам как совокупная оценка группы. Для исключения случайных ошибок процедура анкетирования может быть сделана повторно. В этом случае эксперт, зная оценку группы, может изменить, а может и не изменять свою оценку. Новые результаты снова подвергаются обработке и процедура повторяется до тех пор, пока эксперты не отказываются менять свои оценки. Подобный прием получил в литературе название метод Делфи.

Если анкетирование предусматривало предложение дополнительных альтернатив или классификационных групп, то по его результатам вносятся изменения в анкету и процедура анкетирования повторяется снова.

По итогам экспертной процедуры предлагается окончательное решение. В качестве него используется альтернатива, получившая наилучшую итоговую оценку.