Лекция 11. Метод экспертной оценки

Экспертный метод в прикладной социологии

Экспертный метод в значительной мере может обеспечить объек­тивность, многосторонность, комплексность и компетентность прини­маемых практических решений. На сегодня этот метод достаточно разработан и применяется у нас и за рубежом, как средство повышения надежности решения научных и управленческих проблем. Метод экс­пертных оценок предполагает ряд процедур, направленных на полу­чение необходимого и достаточного набора суждений специалистов, их интеграции в общий практический вывод.

1. Особенности применения экспертного опроса

В практике прикладных социологических исследований могут воз­никать ситуации, когда для оценки какого-либо явления трудно либо вообще невозможно выделить объект — носитель проблемы и исполь­зовать его в качестве источника информации. Чаще всего такие ситуа­ции связаны с попыткой прогнозировать изменение того или иного социального явления, процесса; с необходимостью представить состо­яние интересующего предмета через 1, 2, 5 и более лет или дать объективную оценку таким сторонам деятельности и качествам людей, по которым их самооценка может оказаться искаженной. Подобная информация может исходить только от компетентных лиц — экспер­тов, имеющих глубокие знания о предмете или объекте исследования.

Широкое распространение методы опроса экспертов приобрели в 70-х годах, поскольку именно тогда была выявлена ограниченность методов экстраполирования и моделирования. Одни лишь математи­ческие модели сами по себе не могут обеспечить требуемую надеж­ность прогнозов, особенно долгосрочных. Наиболее ограниченными оказались возможности моделирования в сфере сложных социальных процессов. Выявилась необходимость комплексной разработки соци­альных прогнозов путем сочетания различных методов, в том числе опроса экспертов.

Данный метод сбора информации, как видим, важен потому, что на основе авторитетного мнения он позволяет привлечь более целена­правленную аргументацию для обоснования теоретических положений и практических рекомендаций исследования.

Таким образом, экспертный опрос — это разновидность опроса, в ходе которого респондентами являются специалисты в определенной области деятельности. Отличительная особенность этого метода состо­ит в том, что он предполагает компетентное участие экспертов (экс­пертизу) в анализе и решении проблем исследования. В опросе экс­пертов достаточно широко используются процедуры других методов, в частности методов анализа информации и принятия решений.

Основное назначение метода: выявление наиболее существенных, сложных аспектов исследуемой проблемы, повышение надежности, обоснование информации, выводов и практических рекомендаций бла­годаря использованию знаний и опыта экспертов.

Область применения экспертного опроса — при изучении всех сфер деятельности, в диагностике, прогнозировании, программирова­нии и нормировании, в проектировании, в оценке состояния социаль­ного объекта, в принятии решений. (Можно, например, попросить экспертов дать оценку того, в каком направлении будут развиваться духовные запросы различных категорий трудящихся; выяснить мнение экспертов о том, какие формы участия трудящихся в управлении общественньши делами будут выходить на первый план по мере совершенствования общества, системы самоуправления, запросить их мнение о влиянии НТР на качества личности и т. д. и т. п.)

Но не надо думать, что экспертная оценка должна касаться лишь сугубо общественных, глобальных проблем. В каждом трудовом кол­лективе имеются знающие и опытные в своем деле люди, способные дать обоснованный прогноз, к примеру, дальнейшего развития в нем социальной кооперации, всесторонне оценить стабильность кадрового состава или интерес членов коллектива к новым формам самоуправ­ления, которые предполагается ввести в повседневную практику и др.

Разновидности экспертного опроса также достаточно эффективно применяются на всех этапах прикладных социологических исследова­ний в определении целей и задач, проблем, в построении гипотез, в сборе и анализе информации, в выработке практических рекоменда­ций.¹

Ограничения в применении: данные экспертного опроса нуждаются в сопоставлении с объективной информацией, полученной другими методами.

Еще ряд терминов, требующих уточнения.

Экспертиза — процедура получения информации от экспертов; самостоятельное решение экспертами поставленных перед ними задач в ходе исследования.

Экспертные оценки — суждение экспертов о различных сферах человеческой деятельности, предполагающих процедуру сравнения объектов, их свойств по выделенным критериям.

Метод экспертных оценок — один из видов экспертного опроса, предполагающий использование экспертных оценок. Основное содер­жание метода заключается в рациональной организации экспертами анализа проблем с последующей оценкой выделенных исследователем суждений и обработкой полученньк данных.

Основные нормативные требования — тщательность подбора экспертов (оценка надежности и точность представленной ими инфор­мации), создание условий для наиболее продуктивного использования экспертов в ходе исследования, сохранение информации экспертов без искажения на всех этапах исследования, учет факторов, влияющих на суждения экспертов.

Отметим еще ряд особенностей опроса экспертов. Некоторые ме­тодические и технические приемы, широко используемые в массовых опросах, теряют свое значение при опросе такой специфической ау­дитории, как эксперты. Как правило, массовые опросы носят аноним­ный характер. В экспертных опросах это теряет смысл, ибо эксперты должны быть полностью осведомлены о задачах, которые решаются в ходе исследований с их помощью. Поэтому нет никакой нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приемы, имеющие своей целью выявить «скрытые» позиции респондента. Более того, использование подобных приемов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова — активный участник научного исследования. И попытка скрыть от него цель исследования, превра­тив, таким образом, в пассивный источник информации, чревата по­терей его доверия к организаторам исследования.

В отличие от массового опроса программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней, прежде всего, однозначно формулируется подлежащее прогнозу явление, предусматриваются в виде гипотез возможные ва­рианты его исхода.

В соответствии со степенью разработанности гипотез в инстру­ментарий исследования включаются те или иные виды вопросов. Если исследователь располагает информацией лишь о возможных вариантах исхода прогнозируемого явления и затрудняется однозначно сформу­лировать их причины, то предпочтительней в анкете эксперта исполь­зовать открытые вопросы с полной свободой выбора формы ответа.

Предположим, исследователя интересует «влияние форм органи­зации и оплаты труда на повышение трудовой и общественной актив­ности работников коллектива промышленного предприятия», однако он затрудняется выдвинуть гипотезы о причинах повышения или спада активности трудящихся. Тогда последовательность задаваемых экспер­ту в свободной форме вопросов может быть следующая:

1) В чем Вы видите: а) преимущества повременной, акционерной, аккордно-премиальной системы организации и оплаты труда в произ­водственном коллективе? б) недостатки этой системы?

2) Какие изменения в труде и общении людей в производственном коллективе, у отдельных работников Вы считаете результатом воздей­ствия новой системы организации и оплаты труда?

3) Как Вы думаете, что следует предпринять, чтобы новая система приносила наилучшие результаты?

4) Что особенно важно, с Вашей точки зрения, для успешного внедрения данной формы организации и оплаты труда в производст­венном коллективе?

Поставленные вопросы открывают широкий простор для анали­тического подхода к теме. Материалы опроса оказываются равно по­лезными в создании инструментов исследования и в последующем анализе для теоретических обобщений.

В условиях растущей потребности в экспертных оценках при разработке планов социально-экономического развития, составлении целевых комплексных программ, в социальном прогнозировании и управлении значительно повышается роль метода экспертного опроса. Это порождает новые формы его применения: в содержание беседы вводится обширный круг тематически взаимосвязанных вопросов, предусматривается большое число опрашиваемых, а также использо­вание ЭВМ при обработке данных.

Практика социологических исследований потребовала упорядо­чить работу специалистов для повышения степени надежности их оценок. Это стало особенно важным в последние десятилетия, когда заметно возросла роль коллективных исследований. Повышение на­дежности прогнозов коллективного опроса экспертов является одной из ключевых методических задач.

Сказанное не умаляет значения индивидуальных экспертных оце­нок. Более того, генерирование качественно новых идей по-прежнему почти всегда осуществляется индивидом. Однако индивидуальные экс­пертные оценки постепенно стали чем-то вроде разновидности под­системы в общей системе методов опроса экспертов. Это было связано с осознанием ограниченности возможностей отдельного эксперта в сфере прогнозирования, где сильная сторона специалиста — накоп­ленные им знания, опыт, определенный стандарт мышления — неред­ко оборачивается слабой стороной: «груз прошлого» мешает эксперту подняться над уровнем привычных тенденций и увидеть необходи­мость качественных изменений.

Коллективная работа экспертов помогает совместно преодолевать этот недостаток. Результатом опроса экспертов является обычно не просто «усредненное» мнение группы специалистов. Происходит про­цесс объективизации субъективных оценок. При соблюдении извест­ных методических требований это заметно повышает надежность про­гноза. Знаменательно, что коллективное обсуждение научных проблем наиболее продуктивно именно тогда, когда предметом обсуждения являются выдвинутые ранее в индивидуальном порядке идеи, гипоте­зы, концепции. Так, индивидуальные и коллективные экспертные оцен­ки сливаются в единую систему определенного класса методов про­гнозирования. Опыт показал, что неупорядоченный, произвольный опрос экспертов резко снижает качество, надежность оценок и нередко искажает данные.