Глава 8. Экспертное оценивание.

Под экспертизой понимают проведение группой экспертов (компетентных лиц) исследования некоторых объектов и/или измерения их характеристик.

Особенностью экспертизы, как процедуры измерения, является то, что в качестве “приборов” выступают люди потому, что:

• сами объекты и их характеристики субъективны;

• не существует объективных приборов измерения;

• такие приборы есть, но их невозможно или нецелесообразно применять для данного исследования.

8.1. Организация экспертизы.

По числу привлекаемых экспертов различают индивидуальную и групповую экспертизу. Традиционные формы групповой экспертизы: организация групп, комитетов, комиссий и т.п.

Индивидуальная экспертиза дешева, но субъективное мнение эксперта ничем не выравнивается. В групповой экспертизе результат может определяться не общим мнением, а мнением авторитета или более активных экспертов. Современные методы проведения экспертизы включают:

• анонимность представления ответов экспертов;

• итеративный характер процедуры опроса экспертов, при наличии канала управляемой обратной связи, повышающей согласованность групповых оценок;

• применение специальных математических методов обработки и анализа ответов экспертов.

Заранее составляются списки потенциальных экспертов, которые могут включать до тысячи человек. Для каждой специфической задачи из этих списков выбирают группу наиболее квалифицированных экспертов.

Экспертиза проводится в несколько этапов по следующей схеме:

В зависимости от свободы, предоставляемой экспертам при выборе варианта ответа, вопросы делятся на открытые, закрытые и веерные.

Открытые – ответ можно давать в любой произвольной форме.

Закрытые – ответ да – нет.

Веерные – дается набор вариантов ответа, один из которых выбирает эксперт.

На практике, либо сами эксперты составляют вопросы и затем приходят насчет их к единому мнению, либо их составляет организатор экспертизы.

Опрос экспертов может производиться либо заочно, либо в присутствии организаторов экспертизы. В последнем случае можно повлиять на оценку эксперта. Заочный метод дешевле, нет постороннего влияния, но есть возможность неправильно понять вопрос.

Обратная связь организуется двумя путями:

1. результаты экспертизы анонимно доводятся до всех экспертов, а затем они снова дают ответы с учетом полученной информации;

2. метод Дельфи – после обработки результатов экспертизы выделяют наиболее оригинальных экспертов и просят их аргументировать решение, а затем снова рассылаются вопросы с этими обоснованиями.

Так повторяется несколько раз, пока оценки не сблизятся или не прекратят изменяться. Обычно достаточно 2 – 4 тура.

8.2. Обработка и анализ результатов экспертизы.

Основная задача: выявление общего мнения экспертов, оценка согласованности экспертов, выделение наиболее оригинальных экспертов или распределение экспертов на группы по близости ответов и содержательный анализ этих распределений (почему они в одной группе и почему такие результаты).

Рассмотрим варианты, когда эксперты ранжируют объекты, оценивают по балльной шкале и попарно сравнивают.