Интернет-ресурсы

В зависимости от техники организации для коллективной работы экспертов:

• Мозговая атака с подготовленной ситуацией

• Метод комиссии – выделяется проблема, выдвигаются и обсуждаются предложения по ее решению.

• Отнесенная оценка. Обсуждение проходит в несколько туров, в каждом следующем туре согласовываются мнения.

• Стимулированное наблюдение. Поставленная задача решается на воображаемом объекте.

• Метод Дельфи. Эксперты решают проблему с сохранением анонимности суждения. Опрос проводится в несколько туров. Начиная со второго тура эксперты знакомятся с результатами предыдущего тура в обработанном исследователем виде. Каждому эксперту указывается расположение его оценок от средних значений. Если оценка эксперта сильно отклоняется, то исследователь требует либо изменения, либо аргументации оценок.

Программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней формулируется подлежащее исследованию явление, предусматриваются в виде гипотез возможные варианты анализа.

Этапы проектирования балльной экспертной оценки:

1. Уточнение заданий по проектированию анкеты

2. Описание объекта анализа в выделенных категориях

3. Построение блока данных

4. Построение блока суждений, выделение тематических данных, соответствующих теме анализа объекта

5. Логический и семантический анализ суждений с точки зрения соответствия языку, используемому экспертами.

Требования к построению суждений:

• Суждения формулируются в утвердительной форме

• Суждение должно быть максимально кратко

• Суждение должно представлять одну идею

• Нецелесообразно включение суждений по которому у большинства экспертов нет представлений

• Суждения не должны быть неопределенными и двусмысленными

• Анкета должна предусматривать возможность включения важных суждений с точки зрения экспертов

Обработка шкалы бальной оценки суждений

Разработка инструкций эксперту по заполнению анкеты

Общая компоновка анкеты, пилотаж.

В целом, экспертные оценки используются, как правило, в тех случаях, когда точность информации, необходимой для принятия соответствующего решения, невелика.

II

При формировании группы экспертов на первом этапе обора используются два-три признака (род занятий, стаж работы, уровень квалификации по обсуждаемому вопросу). При необходимости учитываются характер образования, возраст и т.д.

Центральным критерием отбора экспертов считается их компетентность, т.е. отбор респондентов на роль экспертов осуществляется, в основном, в соответствии с уровнем их компетентности. Численность группы экспертов определяется качеством, а не количеством респондентов (обычно число экспертов не превышает 10-30 человек). Главное – дать экспертам свободно и широко высказать свое мнение по обсуждаемому вопросу и соответствующие аргументы в защиту своей позиции.

Весьма часто используется такая форма отбора, как самооценка экспертов в виде совокупного индекса, рассчитанного на основании оценки экспертами своих знаний, опыта и способностей (по ранговой шкале с позициями «высокий», «средний» и «низкий»). Метод коллективной оценки применяется для формирования группы экспертов в том случае, если эти эксперты имеют четкое представление друг о друге и о характере занятий друг друга.

Наиболее простая и удобная форма самооценки – совокуп­ный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий». Обычно в группу экспертов принято включать тех, у кого индекс компетентности не менее среднего (0,5) и выше (до 1). Первой позиции приписывается числовое значение 1 (полная компетентность), второй – 0,5, третьей – 0 (полная некомтентность). В таком случае совокупный индекс (коэффициент уровня компетентности эксперта) вычисляется по формуле:⁹⁷

k = (k1 + k2 + k3) / 3

Задача эксперта – с учетом объективной ситуации и интересующих исследователя факторов высказать по поставленным вопросам непредвзятую, всесторонне взвешенную оценку. Особенно часто экспертные оценки используются в социальном прогнозировании, при определении целей социального развития и принятии решений. «К настоящему времени описано несколько десятков вариантов применения экспертных оценок в прогнозно-аналитических разработках различного уровня. Большинство из них можно классифицировать по трем группам: индивидуальные, коллективные и универсальные. Методические варианты индивидуальных экспертных оценок: метод интервью, метод генерации идей. Методические варианты коллективных экспертных оценок: метод коллективной экспертной оценки, метод экспертных комиссий, метод Дельфи, метод коллективной генерации идей («мозговой штурм»), метод управляемой генерации идей. Универсальные методы экспертных оценок, применяемые как в индивидуальном, так и в групповом формате представления аналитических суждений: матричный метод, метод прогнозного сценария, морфологический анализ, синоптический метод».⁹⁸

Основной инструментарий экспертного опроса – анкета или бланк-интервью, разработанные по специальной программе. В отличие от массового опроса, программа прогнозированного опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней однозначно формулируется подлежащее прогнозу явление, предусматривается в виде гипотез возможные варианты его исхода. Весьма часто применяется в прикладной социологии также такой метод экспертного прогноза, как «дельфийская техника» (выработка согласованных мнений путем многократного повторения опроса одних и тех же экспертов).

Основной инструментарий экспертных опросов – анкета или бланк-интервью, разработанные по специальной программе. Программа прогнозного опроса экспертов, в отличие от массового опроса, не столь детализована и носит преимуществен­но концептуальный характер. В ней однозначно формулируется подлежащее прогнозу явление, предусматриваются в виде гипотез возможные варианты его исхода. В тех случаях, ког­да однозначно сформулировать их причины сложно, в анкете эксперта лучше всего использовать открытые вопросы с пол­ной свободой выбора формы ответа.

Процедура опроса экспертов может быть очной или заочной (почтовый опрос, телефонное интервью). Одна из наибо­лее простых форм экспертного прогноза – обмен мнениями. Он предполагает единовременное присутствие всех экспертом за «круглым столом», где и выявляется доминирующая по­зиция по дискутируемому вопросу, сформулированному ис­следователем.

Группа экспертов для дискуссии подбирается по определен­ному правилу. Она должна включать несколько подгрупп: «генераторов идей», активно выдвигающих всевозможные пред положения о прогнозируемом социальном явлении или процессе; «регуляторов», следящих за тем, чтобы полемики не приобретала хаотический характер, проходила в рамках объективного обсуждения; «селекторов», оценивающих и от­бирающих наиболее значимые идеи, выдвигаемые «генерато­рами идей»; «стимуляторов», путем формулировки все новых и новых предположений стимулирующих «генераторов идей» к выработке оценок, «президента круглого стола», удерживающего внимание экспертов на центральной теме дискуссии. Оптимальное число экспертов – 10-15 человек.⁹⁹

Обсуждение проблемы может происходить в несколько туров пока не удастся выработать некоторую более или менее согласованную оценку.

Эффективно может быть применен в прикладной социологии и такой метод экспертного прогноза, как «дельфийская техника». Речь идет о выработке согласованных мнений путем многократного опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, высказанную на предыдущем этапе, либо изменяют оценку в соответствии с мнением большинства. Так повторяется 3-4 раза. В ходе подобной процедуры вырабатывается согласованная оценка. При этом исследователь не должен игнорировать мнение тех, кто после неоднократных опросов остался при своей позиции.

В настоящее время широко используются методы математической обработки экспертных оценок (для проверки согласованности мнений экспертов, для классификации экспертов в случае отсутствия согласованности мнений, для усреднения мнений среди согласованной группы и др.). В силу того, что ответы экспертов чаще всего представляют собой не голые числа, а некие объекты нечисловой природы (градация качественных признаков, ранжирование, нечеткие предпочтения, результаты парных сравнений и т.д.), для анализа поступивших данных наиболее полезными оказываются методы статистики объектов нечисловой природы.¹⁰⁰ Так, эксперт, сравнивая социальные объекты между собой, дает такие оценки, как «хороший», «плохой», «приемлемо», «неприемлемо» и т.д. (упорядочение по привлекательности), но при этом не способен ответить на вопрос, во сколько раз один объект (организация, товар, лидер и т.п.) лучше другого. Отсюда обычная практика представления оценки эксперта не в виде действительного числа, а в виде некоторого качественного признака («очень хорошо» – «хорошо» – «удовлетворительно» – «неудовлетворительно»).

III

В настоящее время метод экспертных оценок широко применяется при подготовке на государственном уровне важнейших народно-хозяйственных решений, для оценки социально-экономических проблем, возникающих в процессе разработки перспективных планов развития. В различных отраслях, ведомствах и на предприятиях действуют постоянные или временные экспертные комиссии, связанные с оценкой качества продукции и выбором перспективной техники, с проведением профессиональной аттестации кадров. В ПР-, рекламной и смежных видах деятельности данный метод исследования также находит свое широкое применение.

Пример. Экспертный опрос был использован при проведении комплексного социального эксперимента по перестройке театрального дела. Группе исследователей было поручено изучить мнения руководителей театров Москвы, входящих в систему Министерства культуры Российской Федерации. Цель – выяснить, что именно и каким образом они хотели бы усовершенствовать в своей деятельности.

Известно, социально-культурные цели театра достигаются при определенных ограничениях, которые по совокупности позволяют выделить два вида деятельности – художественно-творческую и производственно-экономическую. Первой руководит главный режиссер, главный художник, режиссеры-постановщики, помощники главного режиссера по литературной части и по труппе, второй – директор, заместители, заведующий художественно-постановочной частью. Первая группа именовалась «художественными», а вторая – «административными» руководителями. В восемнадцати театрах Москвы было опрошено 13 главных режиссеров, 16 директоров, 9 их заместителей, 11 режиссеров-постановщиков, 12 заведующих художественно-постановочной частью, 13 помощников главного режиссера по литературной части, 5 помощников главного режиссера по труппе, 6 главных художников. В целом, группа «художественных» руководителей была представлена 48, а группа «административных» - 37 респондентами. Эксперты высказывали свое мнение относительно роли директора и главного режиссера в решении основных вопросов деятельности театров, оценивали целесообразность различных моделей внутритеатрального управления, перспективы с здания театральных объединений и др.

Широкую известность получили экспертные исследования «Первый (второй, третий и т.д.) рейтинг российских PR-агентств».¹⁰¹ На первом этапе исследования проводилось анкетирование руководителей ПР-агентств (в результате были отобраны 7 критериев для оценки каждого агентства: уровень известности, развитость структуры, эффективность и результативность, авторитетность руководителя, технологичность, размер агентства, соблюдение этики), на втором – опрос экспертов (в результате были даны сводные рейтинговые таблицы по разделам «Политическое консультирование и выборные технологии» и «Бизнес-PR»).¹⁰²