Ошибки и трудности в применении экспертного опроса в социологическом иследовании

1. Нечеткость в определении целей экспертизы. Несоответствие целей экспертного опроса возможностям экспертов, используемой технике организации экспертизы. Опрос экспертов проводится без специально разработанной программы.

2. Неэффективное использование экспертов. Экспертиза предназначена для получения такой информации, которая могла быть собрана другими, менее сложными методами.

3. Инструментарий экспертизы не был заранее апробирован. Недостаточно точно сформулированы вопросы, не ясен их основной смысл. Значительное число неответов на поставленные вопросы.

4. Эксперты испытывают трудности в применении техники организации экспертизы.

5. Возникли трудности интерпретации данных из-за значительного разброса ответов, их неоднородности, трудности сопоставления данных разнородных групп экспертов.

6. В ходе экспертизы получено много количественных оценок, но не было уделено внимание их аргументации. Возникли трудности объяснения полученных данных. Средние значения ответов оказываются далекими от верных.

7. Привлеченные к опросу эксперты не проявляют интереса к экспертизе. Часть экспертов заинтересована в искажении информации.

8. Стремление ускорить опрос привело к поверхностному анализу проблем экспертами.

9. Излишний оптимизм в оценке результатов опроса. Данные экспертизы не подтверждены другими объективными данными.

Таблица 9.1

Особенности, преимущества, недостатки, применения экспертного опроса

в социологическом исследовании

Общая особенность	Мнение о предмете исследования выражают лица, наиболее компетентные в области изучаемого объекта- эксперты
Эксперт - достаточно компетентное лицо в изучаемой предметной области	Возможность получить полную, достаточно обосно-ванную информацию с высокой степенью надеж-ности и достоверности. Может быть получена конструктивная информация, направленная на решение проблем в предметной области исследования	Возможность завышения ценности и объективного содержания данных экспер-тизы, что может привести к неверным выводам
Эксперт – активный участник исследования, хорошо осведомленный о его целях, задачах, методике	Полученная информация отличается конкретностью, связью с задачами исследования. Информация не только описывает, но и объясняет явление. В отдельных случаях эксперты могут быть использованы не только как источники эмпирической информации, возможно использование их компетентности в решении теоретических и методи-ческих проблем исследо-вания	Неверные методологические установки эксперта могут значительно повлиять на искажение позиций исследо-вателя. Повышается риск намеренного искажения фактических данных
К экспертизе может быть привлечена группа различ-ных экспертов. Количество опрашиваемых в экспертном опросе меньше в сравнении с массовым	Есть возможность получения разносторонней, более пол-ной информации. Информ-ация имеет как количес-твенные, так и качественные характеристики. Появляется возможность повышения контроля за ходом процедур сбора данных	При ограничении состава экспертов повышается вес ответа каждого эксперта, влияние его односторонних, ошибочных позиций. Увели-чение состава экспертов повышает вероятность роста числа некомпетентных экспертов и ошибочных суждений
В условиях ограниченного состава опрашиваемых в ходе экспертизы появляется возможность использования методик интенсивный орга-низации участия в исследо-вании	Возможно получение неорди-нарной информации, выдви-жение актуальных, нетри-виальных проблем, новых идей, решений, подходов. Возможность обоснования суждений экспертами	Повышается вероятность ошибок в организации сложных процедур экспер-тизы из-за низкой квалифи-кации организаторов экспер-тизы

Таблица 9.2

Виды экспертного опроса, применяемые в социологическом исследовании

Уровень формализа-ции процедур	Специальная техника работы (заданий) экспертов	Техника организации коллективной работы экспертов
Свободное интервью не имеет жесткого плана беседы	Балльная оценка. Эксперт оценивает фактор баллами или распределяет объекты по заданным критериям, а баллы позже присваивает исследователь при обработке данных	Мозговая атака с подготовленным сценарием действия. Очная коллективная работа экспертов. Эксперты сообща очно решают поставленные вопросы
Анкета с открытыми вопросами	Ранжирование. Эксперт упорядочивает объекты (суждения) из предложенного набора, присваивая каждому соответствующий ранг	Метод комиссии. Выделяется проблема, выдвигаются и обсуждаются предложения по её реше-нию	Отнесенная оценка. Обсуждение проходит в несколько туров методом итерации. В каждом сле-дующем обос-новываются мнения	Стимулирован-ное наблю-дение. Поставленная задача решается на воображаемом или реальном объекте
Формализо-ванное интервью. Анкета с воп-росами в закрытой форме, наряду с открытыми и полузакрытыми вопросами	Парное сравнение. Из составленных исследова-телем пар суждений в каждой паре предла-гается указать более предпочтительное суждение в соответствии с заданными критериями. Последовательные срав-нения. Эксперту следует определить важность (вес) каждого фактора в сравнении с группой других факторов	Метод ДЕЛЬФЫ. Эксперты решают поставленные задачи с сохранением анонимности суждений, коллективно, заочно. Опрос проводится методом итерации в несколько туров. Начиная со второго тура, эксперты знакомятся с результатами предыдущего в обработанном исследователем виде. Указывается каждому эксперту расположение его оценок, суждений от средних значений. Если оценка эксперта сильно отклоняется, то ему следует аргументировать или изменить свои суждения

Таблица 9.3

Методы подбора экспертов для проведения экспертизы

в социологическом исследовании

Документальный	Экспериментальный	Аттестация	Самооценка
Подбор экспертов проводится на основе социально-демографических данных. В качестве позиций подбора могут быть использованы: ученая степень и звание, должность, стаж работы по специальности в области, связанной с предметом исследо-ваний, публикации и ссылки в публикациях на труды кандидата в эксперты, участие в конференциях, симпо-зиумах. В комплекто-вании групп экспертов могут учитываться также: пол, возраст, другие социально-демографические показатели	Подбор экспертов на основе испытания, тестирования, а также по результатам прежней экспертной деятельности. Проверка возмож-ностей участия эксперта в экспертизе может быть осущес-твлена в пробном групповом или заочном экспертном опросе. Используется также при подборе расчет оценок участия эксперта в прежних экспер-тизах. В методиках экспертного опроса в несколько туров первый тур может быть использован также в качестве экспериментального для проверки возмож-ностей экспертов	Подбор экспертов осуществляется с помощью голосо-вания в специально созданной комис-сии. Используются также методики с расширяющимися кругами экспертов в несколько туров. Круг экспертов в первом туре составляет списки кандидатов в эксперты. Во втором туре сфор-мированный в первом туре круг экспертов также составляет список кандидатов в эксперты. Туры повторяются, пока состав кандидатов в эксперты не стаби-лизируется. Затем проводится расчет коэффициентов компетентности экспертов в зависи-мости от числа включений в списки и от других пара-метров	В ходе подбора экспертной группы используются специальные анкеты. Отвечая на вопросы анкеты, кандидаты демонст-рируют свою эруди-цию в предметной области исследо-вания, аналити-ческие способности, критичность оценок. В ходе анкетного опроса эксперт дает оценку по определенной шкале тем ответам, которые были даны им на поставленные в анкете вопросы. В последующем производится рас-чет средних значе-ний и индексов каждого кандидата. На основе данных может быть опреде-лена суммарная сфера компетен-тности экспертов

Практические задания

1. В чем состоит отличие понятий «экспертный опрос» и «экспертиза»?

2. Есть ли отличие экспертного опроса в социологическом исследовании от опроса экспертов в других науках? Если да, то в чём оно состоит?

3. В таблице 9.1 выделены особенности, преимущества и недостатки применения экспертного опроса в социологическом исследовании.

3.1. Прокомметируйте их, раскройте их содержание. Как Вы понимаете их? Попробуйте дополнить выделенный перечень.

3.2. Попытайтесь сравнить особенности экспертного опроса с особенностями массового опроса, а также с другими методами сбора социологической информации (наблюдение, анализ документов, эксперимент) и выделить характерные отличия информации, получаемой с помощью экспертизы.

4. Попробуйте показать: с помощью каких средств, процедур экспертного опроса обеспечивается более полное использование его достоинств? Чем и как в ходе опроса экспертов ослабляется, компенсируется влияние его недостатков?

5. Какими другими методами сбора информации и в каких случаях наиболее целесообразно дополнение данных экспертизы с тем, чтобы компенсировать влияние каждого из перечисленных недостатков?

6. В таблице 9.2 представлена классификация видов экспертного опроса в социологическом исследовании.

6.1. Раскройте содержание и назначение каждого из выделенных видов экспертного опроса.

6.2. Какие сочетания, комбинации методов экспертного опроса возможны? Есть ли виды экспертного опроса, в сочетании которых имеются принципиальные ограничения? Какие это ограничения?

7. Обоснуйте возможность и необходимость использования экспертного опроса в разработке одной или нескольких из приведенных ниже тем прикладного социологического исследования: «Социальные последствия региональных и глобальных экологических изменений», «Тенденции изменения национальных традиций в семейно-брачных отношениях», «Бюджет времени студентов и тенденции его изменения», «Эффективность форм аттестации студентов», «Факторы, обусловливающие темпы компьютеризации учебного процесса».

8. Определите цели, задачи, предмет, объект и гипотезы исследования по одной из тем, выделенных в задании 7. Выделите те функции, которые могут выполнять эксперты в этом исследовании. Уточните виды опроса, которые могут быть применимы в исследовании. Постройте рабочие гипотезы и категории анализа, которые будут обосновываться с помощью данных и показателей экспертизы. Сформулируйте задания к подбору экспертов и проектированию инструментов сбора информации. Составьте программу экспертного опроса в этом исследовании. Можете выполнить указанные процедуры и по другой интересующей Вас теме, например, курсовой работы.

9. В главе выделены знания, умения, качества, которые требуются от лиц, привлекаемых в качестве экспертов. Укажите: в какой мере и почему выделенные качества необходимы для участия в экспертизе? Какими качествами, на Ваш взгляд, должен обладать эксперт? Какое значение имеет каждое из выделенных качеств в различных видах экспертизы, в какой мере оно необходимо в каждом виде экспертизы?

10. Выделите состав качеств, которые особенно важны эксперту для участия в экспертизе по одной из выбранных Вами тем исследования, указанной в задании 7. С помощью каких показателей и каких процедур Вы можете оценивать состояние этих качеств? Составьте задания к подбору экспертов на основе указанных Вами критериев оценки.

11. В таблице 9.3 приведены методы подбора экспертов в социологическом исследовании. Попытайтесь дать более подробную характеристику каждого метода, его назначение, возможности и ограничения в применении, выделите их основные процедуры. В каких видах экспертного опроса наиболее целесообразно применение каждого из выделенных методов подбора экспертов?

12. Обоснуйте необходимость методов, которые требуются для отбора экспертов к проведению экспертизы по одной выбранной Вами теме исследования, указанной в задании 7. Составьте программу подбора экспертов для этой экспертизы.

13. Какое значение имеет каждый из этапов проектирования анкеты балльной экспертной оценки и процедур проектирования в реализации задач экспертного опроса? Укажите состав требований, предъявляемых к каждой процедуре.

14. Охарактеризуйте назначение каждого блока анкеты балльной экспертной оценки. Какие ещё блоки анкеты могут быть введены в структуру анкеты?

15. Спроектируйте инструментарий, необходимый для сбора информации в ходе экспертизы по выбранной Вами теме исследования, по которой ранее Вами была подготовлена программа проведения экспертного опроса.

16. Составьте инструкцию организаторам и сценарий для проведения экспертизы по Вашей теме исследования.

17. Группой в 7-9 человек составьте программу проведения экспертного опроса и другие необходимые для его проведения методические документы по одной выбранной Вами теме исследования. В ходе подготовки можно использовать те разработки, которые были Вами составлены при выполнении предыдущих заданий. В случае если у Вас нет возможности провести экспертизу в реальных условиях, Вы можете подготовить сценарий и провести её в Вашей группе в форме «деловой игры». Согласуйте сценарий и программу экспертизы с руководителем занятия. Проведите экспертизу с регистрацией данных в подготовленных Вами документах сбора информации.

18. Проанализируйте ход проведенной Вашей группой экспертизы. Какие отклонения от заданных требований разработанной Вами программы и сценария были допущены? В чем их причины? Постройте выводы по анализу показателей Вашего исследования. Какие рекомендации Вы можете дать на основе этих выводов?

19. В применении экспертного опроса случаются типичные ошибки. Укажите: из-за чего они возникают. К каким последствиям может привести каждая из ошибок? В каких видах экспертного опроса чаще всего они возникают? Возможно ли их исправить на следующих этапах работы и как именно?

Библиографический список

1. Давыдов, А.А. Экспертные оценки даёт респондент / А.А. Давыдов // Социологические исследования. - 1989. - № 3.- С. 78-84.

2. Докторов, Б.З. Экспертный опрос как метод изучения общественного мнения / Б.З. Докторов //Социологические исследования. - 1985. - № 4.-С.54-61.

3. Коробов, В.Б. Организация проведения экспертных опросов при разработке классификационных моделей / В.Б. Коробов//Социологические исследования. - 2003. - № 11.-С. 60-66.

4. Литвак, Б.Г. Экспертные оценки в принятии решений / Б.Г. Литвак.- М.:Наука, 1996.-286 с.

5. Масленников, Е.В. Экспертное знание: Интеграционный подход и его приложение в социологическом исследовании / Е.В. Масленников.- М.:Наука, 2001.-189 с.

6. Экспертные оценки в социологических исследованиях / Ред. Крымский С.Б., Жилин Б.Б., Паниотто В.И. – Киев: Наукова думка, 1990.- 248 с.