3.6. Метод экспертной оценки

ЭКСПЕРТНЫЙ ОПРОС – одна из разновидностей опроса, в ходе которого респондентами являются эксперты- специалисты в определенной области деятельности. Экспертные оценки широко используются в прогнозировании, при определении целей социального развития или принятии плановых решений, помогают оценить значимость показателей и проверить качество применяемых для сбора данных методик, повысить обоснованность практических рекомендаций и т.д. Повышение объективности результатов оценок экспертов достигается целым рядом логических и статистических процедур подбора специалистов, организации их опроса, обработки результатов экспертизы.

Для подготовки экспертизы обычно формируется группа специалистов- организаторов. В ее задачи входят: а) постановка проблемы, определение целей и задач экспертизы, ее границ, основных этапов; б) разработка процедуры экспертизы; в) отбор экспертов, проверка их компетентности и формирование групп экспертов; г) проведение опроса и согласование оценок; д) формализация полученной информации, ее обработка, анализ и интерпретация. В состав группы входят специалисты в данной области знания, а также специалисты по экспертным методам (социологи, психологи, математики), всего может быть 5-7 человек.

В основе экспертизы обычно лежит вопросник, с помощью которого и осуществляется сбор требуемой информации. В своем классическом варианте вопросник отсутствует при свободном интервью, аналитических экспертных оценках и т.п. Вопросник, или анкета, - это структурно организованный набор вопросов, каждый из которых логически связан с центральной задачей экспертизы. Вопросы анкеты в зависимости от их содержания делятся на три группы: а) данные о самом эксперте - его возрасте, стаже работы, образовании, научном звании, узкой специальности; б) вопросы по существу исследуемой проблемы; в) вопросы, позволяющие оценить мотивы, которых придерживался эксперт в своем анализе.

Существует широкий диапазон конкретных методик опроса экспертов. В зависимости от основания классификации их можно разделить на следующие группы: а) по характеру взаимосвязи экспертов между собой - методы очного и заочного опроса экспертов; б) по процедуре согласования оценок - одноразовые методы и повторные; в) по численности экспертов - индивидуальные методы и групповые.

Очные методы опроса экспертов направлены на интенсификацию начального этапа исследования - разведки. Привлечение специалистов, представляющих различные области знания, позволяет расширить подход к изучаемой проблеме, учесть все возможные связи. Эти методы дают весьма надежные результаты. Однако проведение очной экспертизы представляет собой довольно трудоемкий процесс. Кроме того, существенным недостатком этих методов является вероятность нежелательных искажений информации из-за психологического влияния организаторов опроса или авторитета признанных специалистов на участников экспертизы. Для исключения действия этого фактора обычно принимаются специальные организационные меры.

Очные методы

1) Свободное интервью - индивидуальный метод проведения экспертизы, когда исследователь лично обращается к известным ему специалистам за консультацией без какого-либо заранее составленного жесткого плана беседы. Интервью имеет разведывательную цель, помогает уточнить некоторые теоретические моменты, более четко интерпретировать употребляемые понятия и наметить основные направления исследования. Число экспертов, как правило, невелико (10-15 человек), поскольку, с одной стороны, узких специалистов по какой-либо проблеме вообще немного, а с другой - ограничены возможности самого исследователя. Большое значение имеет подбор опрашиваемых экспертов. Желательно, чтобы они представляли различные в научном отношении точки зрения.

2) Дискуссия – метод экспертного опроса находит широкое применение в тех случаях, когда на протяжении короткого времени нужно коллективное мнение экспертов по одной или нескольким конкретным проблемам. Групповая дискуссия плодотворна в пилотажном исследовании для постановки и разработки проблемы или в качестве контрольного обсуждения результатов проведенного исследования. Часто дискуссия дополняется социометрическими исследованиями и психологической групповой диагностикой. Число участников дискуссии не должно превышать 20 человек, так как при большем количестве трудно обеспечить активность и напряженность работы каждого.

3) Деловое совещание не может быть сведено к дискуссии, так как нуждается в тщательной подготовке, включающей определение темы, повестки дня, цели и задач совещания, состава участников, времени проведения и регламента выступлений.

4) «Мозговой штурм» - коллективная очная работа экспертов. Цель этого метода - найти пути решения сложной научной или практической проблемы. Заседания группы экспертов проводятся по определенным правилам, различающимся в зависимости от типа «мозгового штурма»: а) прямая «мозговая атака», или метод комиссий, предусматривает формулирование проблемы с выделением ее центрального пункта, затем выдвижение и обсуждение предложений по решению проблемы. В процессе выдвижения идей запрещается их критика, что обеспечивает возможность свободного высказывания самых «безумных» идей, связанных с решением поставленной проблемы. Метод наиболее перспективен в тех случаях, когда на повестке дня стоит малоизученная проблема и в процессе экспертизы отыскиваются возможные подходы к ее решению; б) «обмен мнениями», или метод отнесенной оценки. В этом случае ставится задача не только определить возможные пути решения проблемы, но и достичь единства взглядов и выработать коллективные предложения. Часто обсуждение проходит в несколько туров, причем в каждом последующем из них от экспертов требуется получить более согласованные оценки; в) «стимулирование наблюдения» заключается в том, что поставленная задача решается не в общем виде, а переносится на воображаемый объект, составляется «сценарий», по которому проигрываются возможные варианты решения проблемы.

Достоинства заочных методов заключаются в их относительной простоте и дешевизне. Однако надежность данных меньше, чем при проведении очной экспертизы, поскольку некоторые вопросы эксперт может неправильно истолковать, а на другие не дать ответа.

Заочные методы

1. Аналитические экспертные оценки могут быть представлены в виде докладной записки. Она опирается на глубокий анализ возможных путей развития рассматриваемого процесса (явления, объекта). В этом случае эксперт может воспользоваться вспомогательными материалами, тщательно, в течение длительного времени обдумать свой ответ. Этот метод относится к группе индивидуальных методов. Методика сбора мнений состоит в том, что экспертам рассылаются (раздаются) специально подготовленные опросные листы - анкеты, в которых они должны, как правило, в развернутой форде изложить свое мнение по существу поставленных вопросов. Сбор мнений отличается от свободного интервью письменной формой опроса. Другим отличием является возможность привлечения большего числа экспертов, независимо от места их работы и проживания. При заочной форме сбора мнений исключается один из недостатков свободного интервью «эффект интервьюера». Однако при заочном сборе мнений отмечается низкий уровень возврата анкет. Кроме того, полностью не исключается проблема интерпретации организатором экспертизы высказываний экспертов. Как правило, сбор мнений сочетают с интервьюированием тех специалистов, которые в данный момент могут быть опрошены лично.

2. Формализованный опрос представляет собой анкетирование в при­вычном для социологов смысле слова. Респонденты получают разработанную анкету с вопросами, сформулированными в основном в закрытом или полузакрытом виде. Цель этого метода заключается в выяснении мнения большинства специалистов, оценке ими тех или иных аспектов решения поставленной проблемы. Получаемая таким образом информация подлежит не только качественному, но и количественному анализу.

3. Метод шкальных оценок. Здесь находят дальнейшее развитие основные принципы анкетирования. Метод направлен на получение количественной информации с помощью измерения отношения специалистов к предмету экспертизы по той или иной шкале – номинальной, ранговой, метричной. Построение шкалы оценок представляет собой весьма сложную задачу, зато обработка результатов такой экспертизы, проведенная с привлечением аппарата математической статистики, может дать ценную аналитическую информацию в количественном выражении.

4. Дельфийская техника (метод Дельфи) разработана в 50-е г. в США. Этот метод предусматривает многократный анкетный опрос одной и той же группы экспертов с применением шкальных оценок. Экспертиза проводится в несколько этапов. Как правило, для достижения согласованного результата необходимо 4-6 повторений. На каждом этапе экспертов информируют о результатах предыдущих опросов, просят обосновать свое мнение, если оно сильно расходится с мнением большинства членов группы. B то же время эксперт может остаться при своем мнении (несмотря на стремление сблизить оценки, разные точки зрения допускаются и в конце экспертизы). На каждом этапе эксперт дает свою оценку в виде числа по заранее подготовленной шкале.

Метод Дельфи весьма трудоемок и организационно сложен. В настоящее время в США некоторые исследователи практикуют его с непосредственным использованием компьютера, что позволяет сократить до минимума время, требуемое на каждый повтор, и провести опрос в течение нескольких часов. В общих чертах метод Дельфи характеризуется следующими особенностями: а) анонимностью экспертов, достигаемой с помощью вопросников; б) регулируемой обратной связью, которая осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура сообщаются экспертам; в) групповым ответом, который получается с помощью статистических методов и отражает обобщенное мнение участников экспертизы. К недостаткам этого метода относится невозможность столкновения в споре различных мнений и стимулирования возникающего при личном контакте «генерирования» идей, кроме того, он требует значительных затрат времени.

Подбор экспертов осуществляется на основе: а) объективных оценок компетентности; б) самооценок компетентности; в) экспертных таблиц и анкет; г) метода «снежного кома» (по рекомендации др. специалистов); д) случайного механического отбора.

Более объективные результаты дают методы, основанные на данных о прошлой деятельности экспертов. Одним из таких методов является метод, использующий степень надежности эксперта. Этот показатель вычисляется как отношение числа случаев, когда эксперт дал оценки, наиболее близкие к истинным, к общему числу случаев, когда данный специалист участвовал в экспертизе. Статистические методы отбора экспертов требуют накопления информации о работе экспертных комиссий и отдельных экспертов.

Рациональное использование информации, полученной от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, подготовки и принятия решений. Характер информации зависит от свойств измеряемых объектов, поэтому правила формализации определяются уровнем измерения. Наиболее распространенными способами упорядочения информации являются ранжирование и метод непосредствен ной оценки.

Ранжирование- процедура установления относительной значимости, (предпочтительности) исследуемых объектов на основе их упорядочения. Ранг - это показатель, характеризующий порядковое место оцениваемого объекта в группе других объектов, обладающих существенными для оценки свойствами. Для каждого объекта вычисляют сумму рангов, полученную от всех экспертов, затем упорядочивают эти суммы. Практика показывает, что наиболее надежные результаты получаются, когда количество объектов для сравнения не превосходит 20. Метод ранжирования чаще всего применяется в сочетании с другими методами упорядочения, обеспечивающими более четкое распределение объектов по степени выраженности изучаемого свойства, например с методом непосредственной оценки.

Meтод непосредственной оценки состоит в том, что диапазон изменения какой-либо качественной переменной разбивается на ряд интервалов, каждому из которых присваивается определенная оценка - балл, например от 1 до 10. Эксперт помещает каждый из рассматриваемых объектов экспертизы в определенный интервал в соответствии со степенью обладания данным свойством, либо в соответствии с предположениями эксперта о значимости объектов экспертизы. Размер шкалы должен быть таким, чтобы каждому баллу соответствовало определенное понятие, выражающее степень интенсивности свойства, качества или предпочтительности. Недостатком этого метода является возможность компенсации низкого качества одного из факторов за счет более высокого качества других факторов. Для повышения надежности таких оценок выявляются и определяются количественные связи между всеми значимыми для выбора решения факторами. С этой целью используются специальные методы: последовательных предпочтений, парных сравнений, последовательных интервалов и др. Ценность оценок заключается в том, что они позволяют обобщить разнородную информацию. Качественные оценки используются не для определения количественного превосходства одного варианта над другим, а для подготовки информации, необходимой для выбора оптимального решения.