Техника экспертных опросов

Основными задачами при формировании прогноза с помощью коллектива экспертов являются: формиро­вание репрезентативной экспертной группы, подготовка и про­ведение экспертизы, статистическая обработка полученных до­кументов.

При формировании группы экспертов основными являются вопросы определения ее качественного и количественного со­става. Отбор экспертов начинается с определения вопросов, которые охватывают решение данной проблемы; затем состав­ляется список лиц, компетентных в этих областях.

Для получения качественного результата к участникам экспер­тизы предъявляется ряд требований, основными из которых являются:

• высокий уровень общей эрудиции;

• глубокие специ­альные знания в оцениваемой области;

• способность к адек­ватному отображению тенденции развития исследуемого объ­екта;

• наличие психологической установки на будущее;

• наличие академического научного интереса к оцениваемому вопросу при отсутствии практической заинтересованности специалиста в этой области;

• наличие производственного и (или) исследовательского опыта в рассматриваемой области.

Процедура проведения экспертизы может быть различной, однако здесь также можно выделить три основных этапа. На первом этапе эксперты привлекаются для уточнения форма­лизованной модели объекта прогноза, формулировки вопросов в анкетах, уточнения состава группы. На втором этапе осущест­вляется непосредственная работа экспертов над вопросами в анкетах. На третьем этапе после предварительной обработки результатов прогноза эксперты привлекаются для консультаций по недостающей информации, необходимой для окончательного формирования прогноза.

Подготовка к проведению экспертного опроса включает раз­работку анкет, содержащих набор вопросов по объекту прогноза. Структурно-организационный набор вопросов в анкете должен быть логически связан с центральной задачей экспер­тизы. Хотя форма и содержание вопросов определяются спецификой объекта прогнозирования, можно установить общие требования к ним: вопросы должны быть сформулированы в общепринятых терминах, их формулировка должна исключать всякую смысловую неопределенность, все вопросы должны логически соответствовать структуре объекта прогноза, обеспе­чивать единственное толкование. По форме вопросы могут быть открытыми и закрытыми, прямыми и косвенными.

При статистической обработке результатов экспертных оце­нок в виде количественных данных, содержащихся в анкетах, определяются статистические оценки прогнозируемых характеристик и их доверительные границы, статистические оценки согласованности мнений экспертов. Обобщающее показатели могут вычисляться на основе методов, учитывающих степень компетентности каждого эксперта, степень значимости той или иной оценки и т.д.

Методы оценки качества эксперта

Для проведения экспертиз должны быть отобраны компетентные эксперты, хорошо знакомые с предметом экспертизы, обладающие достаточным опытом, способные выносить обоснованные объективные суждения. Используются следующие методы оценки качества экспертов:

1. Документационный метод. Он предполагает оценку качества экспертов на основании таких документальных данных, как число публикаций и ссылок на работы эксперта, учёная степень, стаж, занимаемая должность и т. д.

2. Тестовый метод предполагает отбор экспертов на основании решения ими тестовых задач, в которых отражена специфика предмета экспертизы. В качестве тестов могут рассматриваться результаты участия экспертов в аналогичных экспертизах.

3. Достаточно часто используются методы взаимооценки и самооценки экспертов. Взаимооценка осуществляется как правило двумя способами. В 1-ом — каждый предполагаемый член экспертной комиссии оценивает компетентность, объективность и т. д. предполагаемых экспертов (например, заполняет анкету с вопросами по 5-ти бальной шкале. ) Во 2-ом — оценку качества предполагаемых экспертов осуществляет аналитическая группа, которой поручена организация и проведение экспертизы. При самооценке, определение степени знакомства с предметом и компетентность и т. д. осуществляется самим экспертом (например, он получает анкету с вопросом: «как вы считаете, насколько вы знаете ...» и он оценивает свои знания по 5-ти бальной шкале).

4. Оценивают непротиворечивость суждений экспертов. Т.е. эксперт может считать, что а₁ а₂, а₂ а₃, но а₃ а₁ (хотя надо помнить, что противоречивость может не зависеть от эксперта). Чтобы определить степень непротиворечивости, наряду с числом  высказанных экспертом противоречивых суждений, необходимо определить максимально возможное число _max противоречивых суждений при каждом сравнении всех возможных альтернатив. Коэффициент непротиворечивости , ( коэффициент совместности), определяется по формуле: =1- (/_max).

4. Оценка степени конъюнктурности эксперта. В условиях ограниченного числа экспертов, к участию в экспертизе приходится привлекать специалистов, небезразличных к результату оценки тех или иных альтернатив, например, он работает в организации, которая при определенных результатах экспертизы может получить некоторую выгоду.

5. После проведения экспертизы оценивают согласованность экспертов. Коэффициенты ранговой корреляции оценивают согласованность ранжирований альтернатив двумя экспертами, коэффициенты конкордации — согласованность ранжирований всех членов экспертной комиссии, либо её части.