2 Основные этапы получения экспертной оценки
Любой метод экспертных оценок можно условно разделить на три основных этапа:
Подбор экспертов,
проведение опроса и
обработка результатов.
2.1 Подбор экспертов
2.1.1 Факторы, влияющие на подбор экспертов
Прежде всего РГ должна решить, кто именно будет принимать участие в экспертизе. Это может быть один эксперт либо группа. В зависимости от количества экспертов оценки могут быть индивидуальными и групповыми. В любом случае, групповую оценку получают на основе согласования нескольких индивидуальных.
Итак, на основе анализа проблемы определяется количественный и качественный состав группы экспертов. При этом принимаются во внимание следующие факторы:
масштаб проблемы - в зависимости от широты решаемой проблемы определяют нижнюю границу количественного состава группы, поскольку каждый аспект проблемы обычно должен быть закреплен по крайней мере за одним специалистом по этому направлению исследования (а возможно, и за несколькими, в зависимости от сложности проблемы и характеристик экспертов).
Например, если рассматривать экзамен, как экспертизу преподавателем знаний студента, можно отметить, что при сдаче экзамена по отдельным предметам во время сессии используется индивидуальная экспертная оценка (ее дает один преподаватель – специалист по данному предмету). При сдаче же государственного экзамена в аттестационную комиссию входят специалисты по различным дисциплинам с целью всесторонней проверки знаний будущего выпускника.
ожидаемая достоверность оценок – чем более важную роль играет точное решение проблемы для субъекта исследования и других причастных к нему лиц, тем более достоверными должны быть оценки. Принято считать, что увеличение количества экспертов приводит к росту достоверности оценок (разумеется, при соблюдении надлежащих требований к их качественному составу).
Для того же примера можно отметить, что при сдаче государственного экзамена создается комиссия из нескольких преподавателей еще и потому, что здесь речь идет о получении студентом диплома, что играет значительно более важную роль как для самого студента, так и для репутации вуза (по сравнению со сдачей экзамена во время обычной сессии).
При небольшом количестве экспертов (даже если они обладают высокой квалификацией) на экспертную оценку могут существенно повлиять крайние мнения. Например, один из двух метеорологов оценивает вероятность дождя в 0,1, а другой – 0,9 (если упрощенно подсчитать групповую оценку методом простого среднего арифметического, то вероятность дождя следует принять 0,5). При этом впоследствии может выясниться, что первый из привлеченных специалистов оказался активным сторонником новой и, возможно, ошибочной, теории построения метеорологических прогнозов. Если бы в группу были привлечены несколько других специалистов, быть может, и с более низкой квалификацией, но сторонников традиционного подхода, групповая оценка оказалась бы ближе к 0,9, что более соответствовало бы истинной ситуации.
Но на эту же ситуацию можно посмотреть и по-другому, - возможно, новая теория как раз верна, и ее имеет смысл учесть. Поэтому отметим, что, с другой стороны, слишком большое количество экспертов может привести к неоправданному сглаживанию крайних мнений, которые не обязательно будут неверны.
С
целью выявления влияния числа экспертов
на достоверность оценки проводились
многочисленные научные исследования.
Их результатом становились попытки
построения функциональной зависимости
средней ошибки от количества экспертов.
Поскольку для подсчета этой ошибки и
определения условий проведения экспертизы
использовались различные показатели
и статистические допущения (которые не
всегда могут быть реализуемы на практике),
полученные зависимости несколько
различаются между собой. Кроме того,
такая зависимость определялась
эмпирически (опытным путем) на основании
собранных статистических данных.
Упрощенно ее можно представить в виде
следующего графика (на этом графике
зависимость близка к гиперболической):
Из рисунка 3 видно, что эта зависимость носит характер замедленного снижения (т.е. с ростом числа экспертов ошибка уменьшается, но это уменьшение становится все меньше). Кроме того, можно сказать, что при уменьшении числа экспертов менее 5-7 при дальнейшем его уменьшении происходит достаточно значительное увеличение ошибки. При увеличении их числа более 20 ошибка снижается незначительно, почти не изменяется. Из этого следует, что наилучшее число экспертов находится в промежутке от 5 до 20.
наличие ресурсов – влияет на определение верхней границы количества экспертов;
Строго говоря, верхнюю границу количества экспертов определяет общее число специалистов в области исследуемой проблемы, которых можно привлечь к исследованию. Поэтому вначале составляют список таких специалистов, а затем уже корректируют его, исходя из имеющихся ресурсов и других соображений.
При составлении списка можно использовать так называемый метод "снежного кома", при котором вначале обращаются к специалистам, с которыми имеются связи у РГ, затем от каждого из них получают в виде списка еще несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. К новым лицам обращаются с просьбой составить аналогичный список. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. Желательно, чтобы эксперты, привлекаемые на первом этапе, принадлежали к различным научным группам, школам. В противном случае метод может привести к тому, что все привлеченные эксперты будут принадлежать к одному и тому же научному кругу, соответственно, все мнения, выходящие за рамки этого круга, останутся неучтенными в ходе экспертизы.
характеристики самих экспертов – это наиболее важный фактор, как уже упоминалось ранее, все остальные факторы необходимо учитывать во взаимодействии с ним.
Так, наличие высококвалифицированного универсального специалиста может несколько снизить требования, связанные с широтой проблемы. Качественный состав экспертов в значительной степени влияет также и на достоверность оценок, и а на анализ наличия ресурсов - привлечение специалиста с более высокой квалификацией может потребовать больших затрат, но при этом, возможно удастся получить достоверную оценку с использованием меньшего количества экспертов. Привлечение специалистов с более высокими коммуникативными характеристиками положительно повлияет на эффективность работы группы, и т.п. Таким образом, можно привести большое количество примеров взаимовлияния качественного и количественного составов группы экспертов.
Мышление опытного специалиста, привлекаемого к экспертизе, должно обладать следующими качественными характеристиками:
определенный уровень компетентности (компетентность - обладание знаниями, которое позволяет специалисту высказывать суждения в определенной области);
ассоциативность, т.е. способность вырабатывать ассоциации. Ассоциация – это обусловленная предшествующим опытом связь представлений, благодаря которой одно представление, появившись в сознании, вызывает по сходству, смежности или противоположности другое (например, дождь за окном может ассоциироваться с текущей из крана водой – по сходству, холодом – по смежности, ясной погодой – по противоположности). При этом предполагается, что одно из этих представлений относится к хорошо знакомой области, соответственно, знания и выводы о нем могут быть в какой-то мере использованы применительно к другому, или другим;
нестереотипность, т.е. отсутствие психологической инерции мышления, способность отказаться от общепринятых шаблонов, вырабатывать (и воспринимать) новые, оригинальные идеи, которые не использовались, или редко использовались ранее;
нетривиальность, т.е. способность развивать не очевидные идеи, различать скрытые недостатки легких и «очевидных» решений,
раскрепощенность, интеллектуальная раскованность, т.е. достаточно низкий уровень конформизма, отсутствие чрезмерной подверженности чужим влияниям, способность не «идти в поводу» у авторитетов и обстоятельств, преодолевать различные необоснованные подсознательные опасения, распространенные предрассудки и заблуждения (в том числе научные);
конструктивность, т.е. способность создавать последовательные логические построения для решения конкретной задачи;
самокритичность – способность осознавать и преодолевать либо учитывать (если нельзя преодолеть) свои собственные недостатки и заблуждения;
определенный уровень коммуникабельности, т.е. способности к общению (необходим при работе специалиста в группе для наилучшего раскрытия творческих возможностей группы).
адекватное отношение к экспертизе (оно может повлиять на суждение специалиста).
В самом деле, отношение эксперта к проводимому исследованию может колебаться от откровенно халатного (как к пустой формальности) до чрезмерно заинтересованного, пристрастного. В первом случае логично предположить, что он не использует в достаточной мере свои способности, а в последнем – что он будет пристрастен, постарается дать такую оценку, которая будет отвечать не объективной реальности, а его личным интересам (например, если владельцу фирмы предлагается оценить ее же рейтинг). Существует и большое число промежуточных градаций.
Традиционно наибольшее внимание уделяется оценке компетентности.