- •3. Экспертные методы
- •3.1. Этапы проведения экспертизы
- •Формирование экспертной группы
- •Проведение опроса
- •Обработка результатов опроса, их анализ
- •Этапы статистической обработки экспертных оценок
- •Анализ оценок каждого эксперта
- •Определение групповых оценок
- •Оценка достоверности групповых оценок
- •3.3. Метод ранжирования.
- •Анализ оценок каждого эксперта
- •Определение групповых оценок объектов
- •Анализ достоверности групповых оценок
- •3.4. Метод нормирования
- •Обработка результатов экспертного опроса, проведенного по методу нормирования
3. Экспертные методы
3.1. Этапы проведения экспертизы
Проведение экспертизы включает три этапа:
Формирование экспертной группы;
Проведение опроса;
Обработка результатов опроса, их анализ.
Остановимся на каждом из этих этапов.
Формирование экспертной группы
Этот этап является одним из наиболее важных и ответственных в проведении экспертизы. От качества подбора экспертов во многом зависит успех экспертизы. На этом этапе решаются два вопроса:
1) сколько экспертов привлечь к экспертизе?
2) каково качество экспертов?
Необходимое число экспертов определяется несколькими факторами, основными из которых являются следующие.
Требуемая достоверность результатов экспертизы. Чем больше экспертная группа, тем более достоверные могут быть получены результаты.
Вторым фактором, определяющим количество экспертов, является наличие ресурсов (времени, затрат) на проведение экспертизы. Чем больше экспертная группа, тем больше времени затрачивается на подбор и на опрос экспертов.
Наконец, количество экспертов зависит и от их качества. Если имеется несколько высококвалифицированных экспертов (а может быть и только один), то не имеет смысла значительно увеличивать экспертную группу.
С учетом вышесказанного экспертная группа должна включать от 5 до 15 человек.
Качество экспертов также определяется несколькими факторами. В первую очередь, конечно, их компетентностью по рассматриваемой проблеме. Оценки компетентности экспертов желательно иметь с тем, чтобы в разной степени учитывать личные оценки экспертов при определении групповых оценок объектов.
Ниже приводятся подходы к оценке компетентности экспертов.
Во-первых, организаторы экспертизы могут на основе прошлого опыта участия эксперта в различных экспертизах давать оценку его компетентности.
Другим методом оценки компетентности экспертов является их тестирование. Для этого разрабатывается специальная тест-анкета. Отвечая на вопросы теста, эксперт должен показать свои знания объекта исследования, аналитические способности. В некоторых случаях можно предложить экспертам произвести самооценку компетентности по некоторой шкале, например, от 2 до 5.
Перечисленные выше методы оценки компетентности являются "внешними" по отношению к проводимой экспертизе, т.е. результаты оценки компетентности являются входной информацией для обработки результатов экспертного опроса в данной экспертизе.
Но можно осуществлять оценку компетентности экспертов и по его опенкам объектов в данной экспертизе. Суть такого подхода заключается в том, что эксперты, которые дали противоречивые оценки объектов, получают низкие оценки своей компетентности и, соответственно, их оценки в меньшей степени учитываются при определении групповых оценок. Или же оценки эксперта близки к групповым, то компетентность такого эксперта принимается выше, чем эксперта, оценки которого сильно отличаются от групповых оценок.
Проведение опроса
Прежде всего, необходимо выбрать форму опроса экспертов. Для сложных задач рекомендуется использовать: а) анкетирование; б) интервьюирование.
Отличительной особенностью анкетирования является самостоятельная работа эксперта по оценке предложенных в анкете объектов.
При интервьюировании организатор экспертизы (аналитик) непосредственно контактирует с экспертом при оценке им объектов, перечисленных в анкете.
Преимуществом анкетирования является его простота, возможность привлечь большое число экспертов, так как анкеты пересылаются в электронной среде. Однако анкетирование можно использовать только в тех случаях, когда анкета апробирована и, значит, нет опасности, что вопросы анкеты могут быть экспертами неправильно истолкованы.
Интервьюирование позволяет проконтролировать работу эксперта, заметить неточности в анкете и устранить их. Однако при интервьюировании могут возникнуть нежелательные искажения мнения эксперта вследствие психологического воздействия аналитика на опрашиваемого. Кроме этого, интервьюирование требует больших затрат труда и времени со стороны организаторов экспертизы.
Для составления и апробации анкеты целесообразно использовать форму опроса в виде дискуссии, когда эксперты находятся в одном помещении и открыто высказывают свои мнения. Дискуссия также организуется и для обсуждения результатов экспертизы.
