2.7.4. Процедура проведения экспертизы

В общем случае проведение экспертизы включает следующие этапы:

1. Предварительный этап;

2. Формирование рабочей группы;

3. Формирование экспертной группы;

4. Подготовка и проведение опроса экспертов;

5. Обработка и анализ результатов опроса экспертов.

1. Предварительный этап.

Предварительный этап – одна из наиболее важных стадий проведения экспертизы. На данном этапе определяются:

• Конкретные задачи (вопросы, по которым должна проводиться экспертиза);

• Состав лиц, входящих в рабочую группу по подготовке и проведению экспертизы;

• Программа проведения экспертизы, в которой определяются задачи рабочей группы, техника опроса экспертов, способ обработки и анализа результатов опроса, форма их представления.

2. Формирование рабочей группы.

Рабочая группа – это группа специалистов, осуществляющих организаторскую работу по проведению экспертизы. Члены рабочей группы должны быть не только компетентными в вопросах, по которым проводится экспертиза, но и обладать специальными знаниями по обработке и анализу информации. Количество членов рабочей группы зависит от задач экспертизы, сроков и способа их проведения, а также величины и состава экспертной группы.

3. Формирование экспертной группы.

Рабочая группа осуществляет подбор экспертов, включающий выявление наиболее опытных и квалифицированных специалистов, по роду своей деятельности хорошо знающих проблему.

«Эксперт» в дословном переводе с латинского означает «опытный», поэтому главные качества участников экспертизы – профессиональный опыт и интуиция.

С ростом численности экспертной группы достоверность получаемых оценок растет. Однако, начиная с некоторого момента, добавление новых экспертов в группу практически не оказывает влияния на экспертную оценку. Следовательно, необходимо установить границы численности для экспертных групп.

4. Подготовка и проведение опроса экспертов.

Проведению экспертизы должна предшествовать подготовка предварительной информации для экспертов, а также подготовка необходимого инструментария для проведения экспертизы (анкет, опросных листов, аналитических таблиц и др.).

2.7.5. Методы обработки экспертной информации

После проведения опроса экспертов осуществляется обработка результатов. Исходной информацией для нее являются заполненные экспертами анкеты, которые подвергаются логической проверке, сводке и подсчету полученных ответов и оценок, а также анализу содержательных обоснований мнений экспертов.

В зависимости от характера задач, решаемых в процессе экспертизы, могут быть использованы следующие методы измерения (и получены соответствующие оценки):

1. Непосредственная оценка (метод балльных оценок) – процедура присвоения альтернативам числовых значений в заданной шкале;

2. Ранжирование – процедура упорядочения альтернативных вариантов, выполняемая экспертом, в результате которой получается последовательность предпочтений;

3. Парное сравнение – процедура установления предпочтения альтернатив при сравнении всех возможных пар;

4. Множественные сравнения – отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки и т.д. альтернатив. Эксперт упорядочивает их по важности или разбивает на классы в зависимости от целей экспертизы;

5. Последовательное сравнение – комплексная процедура экспертного опроса, включающая ранжирование и непосредственную оценку альтернативных вариантов;

6. Другие методы.

В соответствии с формой опроса и типом полученных экспертных оценок производится их анализ и согласование. Групповое решение принимается на основе индивидуальных мнений экспертов на базе использования следующих методов:

- получение среднеарифметического или средневзвешенного значения индивидуальных оценок;

- правило «большинства» - превращения совокупности индивидуальных оценок в согласованное групповое мнение;

- в качестве групповой оценки может приниматься среднее суждение экспертов (медиана) (например, в методе Дельфи);

- средний ранг полученных индивидуальных порядков и другие методы.

При анализе результатов экспертизы оценивается степень согласованности мнений экспертов и, если возможно, выделяются группы экспертов с «близкими» мнениями. Также оценивается «разброс» мнений, анализируется влияние характеристик экспертов на содержание их ответов. Внутри однородных групп выявляются «объединенные» ответы, на базе которых формируются результаты коллективной экспертизы.

Характеристики согласованности полученных групповых оценок зависят от применяемых типов шкал. Так, для среднеарифметической групповой оценки используется коэффициент вариации. При этом на практике часто применяется эмпирическое правило – групповая оценка признается согласованной, если коэффициент вариации меньше 33%. Для ранговой шкалы используется коэффициент конкордации. Согласованность оценок для номинальной шкалы может быть оценена с помощью коэффициента ассоциации. Коэффициент ассоциации учитывает число совпадающих и несовпадающих ответов (но не учитывает их последовательности).