Тема 9. Экспертный опрос

Э к с п е р т н ы й о п р о с - разновидность опроса, в ходе которого респондентами являются эксперты – специалисты в определенной области деятельности. Отличительная особенность этого метода состоит в том, что он предполагает компетентное участие экспертов (экспертизу) в анализе и решении проблем исследования. В опросе экспертов достаточно широко используются процедуры других методов, в частности, методы анализа информации и принятия решений.

О с н о в н о е н а з н а ч е н и е м е т о д а: выявление наиболее существенных, важных аспектов исследуемой проблемы, повышение надёжности, достоверности, обоснованности информации, выводов и практических рекомендаций благодаря использованию знаний и опыта специалистов.

О б л а с т ь п р и м е н е н и я экспертного опроса: может быть использован при изучении всех сфер деятельности, в диагностике, прогнозировании, программировании, нормировании, в проектировании, в оценке состояний социального объекта, в принятии решений. Разновидности экспертного опроса достаточно эффективно применяются на всех этапах социологического исследования: в определении целей и задач, в выявлении проблемных ситуаций, в построении гипотез, в ходе эмпирической интерпретации понятий и выделении показателей, в обосновании надежности инструментария и исходной информации, в проверке гипотез, обосновании выводов, в выработке рекомендаций.

О с н о в н ы е н о р м а т и в н ы е т р е б о в а н и я по использованию экспертного опроса в социологическом исследовании: четкое обоснование необходимости применения соответствующей методики экспертного опроса. Тщательность подбора экспертов: оценка надёжности и точности представленной ими информации. Учёт факторов, влияющих на суждения экспертов. Создание условий для наиболее продуктивного использования экспертов в ходе исследования. Сохранение информации экспертов без искажения на всех этапах исследования.

О г р а н и ч е н и я в п р и м е н е н и и: данные экспертного опроса нуждаются в сопоставлении с объективной информацией, полученной другими методами.

П р о г р а м м а применения экспертного опроса включает в себя все основные структурные элементы программы социологического исследования. Ведущими задачами в составлении программы экспертного опроса являются: выделение целей опроса, построение критериев подбора, правил организации экспертов и критериев оценки данной ими информации.

Э к с п е р т - компетентное лицо, имеющее специальные знания и опыт в области, непосредственно связанной с объектом исследования. Функции эксперта в социологическом исследовании достаточно универсальны. Он может выполнять роль источника неизвестной исследователю информации об объекте, которая служит в качестве исходной информации для дальнейшего анализа. Достаточно распространено использование эксперта в функции оценки имеющихся данных, характеристик, показателей объекта. Эксперт может выступать и в качестве источника идей, гипотез, предложений как в предметной области, так и в процессе достижения цели исследования.

Э к с п е р т и з а - процедура получения информации от экспертов; самостоятельное решение экспертами поставленных перед ними задач в ходе исследования.

Э к с п е р т н ы е о ц е н к и - суждения экспертов о различных сферах человеческой деятельности, предполагающих процедуру сравнения объектов, их свойств по выделенным критериям.

М е т о д э к с п е р т н ы х о ц е н о к - один из видов экспертного опроса, предполагающий использование экспертных оценок. Основное содержание метода заключается в рациональной организации экспертами анализа проблемы с последующей оценкой выделенных исследователем суждений и обработкой полученных данных.

Ф о н о в ы е с у ж д е н и я - суждения о факторах, влияющих на состояние изучаемого объекта. В процедуре опроса эксперт выделяет среди них наиболее важные, существенные для объекта, даёт им оценку.

Этапы и процедуры экспертного опроса

1. П о д г о т о в и т е л ь н ы й э т а п .

1.1. Разработка программы экспертного опроса.

1.1.1. Определение целей и задач исследования.

1.1.2. Уточнение объекта, предмета и гипотез исследования.

1.1.3. Описание объекта в виде факторов, свойств, событий, проблемных ситуаций. Определение состава возможных функций привлечения экспертов к анализу проблемных ситуаций, в оценке характера действия факторов, в обосновании гипотез исследования, в других исследовательских целях.

1.1.4. Определение требований, выдвигаемых к качествам эксперта. Сопоставление состава требуемых от эксперта качеств с возможным составом экспертов. Установление заданий к процедурам подбора экспертов и формам их участия в экспертизе.

1.1.5. Установление состава категорий анализа, задач исследования, подлежащих экспертизе и разработка заданий к проектированию инструментария.

1.2. Составление плана и сетевого графика выполнения работ.

1.3. Формирование группы экспертов в соответствии с заданной методикой подбора.

1.4. Выбор метода организации работы экспертов, построение программы, сценария экспертизы. Формулирование правил участия в экспертизе.

1.5. Проектирование инструментария экспертного опроса (протоколов, анкет, карточек, бланков). Пилотаж инструментария и его размножение. Разработка инструкции участникам экспертного опроса.

1.6. Разработка программ анализа данных экспертизы.

1.7. Подготовка технических средств, их апробация.

1.8. Подготовка интервьюеров, анкетеров, организаторов экспертного опроса и группы экспертов. Инструктаж, обучение, репетиция процедур экспертизы.

2. О п е р а т и в н ы й э т а п с б о р а и н ф о р м а ц и и - э к с п е р т и з а

2.1. Организация условий работы экспертов.

2.2. Опрос экспертов в соответствии с заданной методикой экспертизы. Регистрация данных опроса в учётных документах.

2.3. Контроль за работой осуществляющих экспертизу.

2.4. Первичная обработка и уточнение данных экспертизы.

3. Р е з у л ь т и р у ю щ и й э т а п о б р а б о т к и и а н а ли з а д а нн ы х.

3.1. Сбор учётных документов, их полная проверка и обработка.

3.2. Ручная обработка данных, перевод данных на машинные носители и их машинная обработка по заданным программам.

3.3. Статистический анализ.

3.3.1. Группировка, интегрирование признаков.

3.3.2. Оценка степени согласованности ответов экспертов по каждому признаку в отдельности и по всему набору.

3.3.3. Выделение групп экспертов с «близким» мнением относительно порядка признаков в случае наличия существенных расхождений в ответах.

3.3.4. Выявление причин разброса мнений, определение влияния компетентности и других качеств экспертов на содержание ответов.

3.3.5. Выделение общих показателей, выводов, решений группы экспертов.

3.4. Сопоставление данных экспертизы с объективными данными, полученными с помощью других методов.

3.5. Обобщение результатов экспертизы, доказательство гипотез, построение выводов, разработка рекомендаций исследования.

3.6. Анализ и оценка эффективности использования экспертизы в исследовании. Выявление ошибок, новаций, их объяснение, рекомендации по совершенствованию экспертного опроса.

3.7. Подготовка отчёта по проведению экспертизы.

Этапы проектирования анкеты балльной экспертной оценки

1. Уточнение заданий к проектированию анкеты. Определение структуры блоков анкеты.

2. Описание объекта исследования в выделенных категориях анализа, выделение тематических блоков суждений, подлежащих балльной оценке.

3. Построение блока данных об эксперте («паспортички»).

4. Построение блока суждений, подлежащих балльной оценке.

4.1. Выделение тематических разделов, соответствующих классификационной схеме анализа объекта (структуре факторов, определяющих состояние исследуемого объекта, определяющих решение исследовательской проблемы).

4.2. Проектирование состава суждений по каждому блоку. Обоснование самостоятельности каждого блока (полноты факторов решения проблемы).

4.3. Логический и семантический анализ суждений с точки зрения их соответствия языку, используемому экспертами.

Требования к построению суждений:

а) суждение формулируется в утвердительной форме;

б) суждения должны быть выражены как можно более кратко, но так, чтобы смысл высказывания оставался очевиден;

в) суждения должны представлять собой одну вполне определенную идею, а не несколько;

г) целесообразно включение в шкалу суждений, по которым у большинства экспертов нет реального представления относительно их содержания;

д) каждое суждение, включенное в шкалу, должно быть четко связано с предметом исследования;

е) суждения не должны быть неопределенными или двусмысленными;

ж) характер суждений не должен быть лишь фактическим, он должен выражать пути решения определенных проблем;

з) анкета должна предусматривать возможность включения в состав суждений других, по мнению эксперта, важных суждений.

5. Отработка шкалы балльных суждений, размеров шкалы, её позиций.

6. Апробация блока суждений экспертов, уточнение, корректировка суждений, их последовательности.

7. Разработка инструкции эксперту по заполнению анкеты.

8. Общая компоновка анкеты, её графическое оформление. Пилотаж. Утверждение проекта анкеты. Размножение.

Макет анкеты балльной экспертной оценки

(Общие сведения о целях, задачах исследования, об организации, ведущей исследование, о характере участия эксперта в исследовании)

Инструкция по технике заполнения анкеты: в анкете приводятся факторы, влияющие на развитие познавательных потребностей молодёжи до 2010 года. Вам следует дать оценку значимости каждого из выделенных факторов по пятибалльной шкале. Высший балл (оказывает самое высокое влияние) – 5; низший балл – (влияние практически отсутствует) – 1. Для того чтобы указать свою оценку фактора - обведите кружочком соответствующую цифру против оцениваемого суждения.

Каждый раздел (фон) состоит из группы факторов, которые могут оказывать влияние на развитие познавательных интересов молодёжи. Наряду с выделенными в анкете факторами, Вы можете указать и другие, оказывающие влияние на развитие познавательных потребностей молодёжи до 2010 года, и дать им оценку по пятибалльной шкале. Если такие факторы не могут быть приведены в каком-либо из выделенных разделов, Вы можете записать их в конце анкеты. Если Вы затрудняетесь дать оценку фактору, то без отметки индекса переходите к оценке следующего суждения. Если у Вас есть предложения, направленные на развитие познавательных интересов молодёжи, пожалуйста, запишите их в конце анкеты.

Укажите, пожалуйста, дату и время заполнения анкеты.

I. Демографический фон

1. Изменение демографической структуры населения,

уменьшение доли молодёжи 1 2 3 4 5

2. Выравнивание поло-возрастной структуры населения 1 2 3 4 5

Другие факторы:

II. Научно-технический фон.

1. Значительное увеличение доли автоматизации и

механизации труда 1 2 3 4 5

2. Развитие и внедрение в повседневную практику

технических средств обучения 1 2 3 4 5

Другие факторы:

III. Экономический фон

1. Общий подъём жизненного уровня трудящихся 1 2 3 4 5

2. Увеличение ассигнований на развитие образования 1 2 3 4 5

Другие факторы:

IV. Социально-культурный фон

1. Увеличение свободного времени 1 2 3 4 5

2. Увеличение числа культурных учреждений и их

обеспечение квалифицированными кадрами 1 2 3 4 5

Другие факторы:

V. Социально-политический фон

1. Рост политической информированности трудящихся 1 2 3 4 5

2. Дальнейшее развитие демократии,

участие народа в управлении 1 2 3 4 5

Другие факторы:

VI. Международный фон

1. Расширение международного научного и культурного

обмена и сотрудничества 1 2 3 4 5

2. Усиление движения борьбы за мир 1 2 3 4 5

Другие факторы:

VII. Факторы, оказывающие негативное влияние на развитие

познавательных интересов молодёжи

1. Территориальная неравномерность распределения

научных и культурно-просветительских учреждений 1 2 3 4 5

2. Недостаточное развитие методов обучения 1 2 3 4 5

Другие факторы:

Эксперт: Фамилия, имя, отчество.

Место работы, должность_______________________________________

Стаж работы по специальности__________________________________

Стаж работы на предприятии, в учреждении_______________________

Возраст________________ Пол__________________________________

(Могут быть указаны и другие сведения, которые определены методикой опроса)

Укажите время окончания заполнения анкеты______________________

Благодарим за участие в исследовании.

Знания, умения, качества эксперта

Т е о р е т и ч е с к а я п о д г о т о в к а , позволяющая на основе имеющейся информации, создавать модель анализируемого явления (проблемы) и творчески участвовать в его обсуждении.

К о м п е т е н т н о с т ь - опыт и квалификация в исследуемой сфере деятельности.

Э р у д и ц и я в смежных областях изучаемой деятельности.

П р и н ц и п и а л ь н о с т ь - способность быть достаточно объективным в оценке, следовать определенным критериям.

К р е а т и в н о с т ь - способность решать творческие задачи, метод решения которых полностью или частично неизвестен.

Э в р и с т и ч н о с т ь - способность видеть или создавать неочевидные проблемы.

И н т у и ц и я - способность делать заключения об исследуемом объекте без осознания логического пути движения мысли к этому заключению.

П р е д и к а т и в н о с т ь - умение предсказать возможные будущее состояния объекта.

Н е з а в и с и м о т ь - умение противопоставлять предубеждениям и массовым мнениям своё собственное.

В с е с т о р о н н о с т ь - умение анализировать проблемы с различных точек зрения.

К о н с т р у к т и в н о с т ь - умение находить реальные возможности решения проблем.

П р а к т и ч н о с т ь - умение исходить в оценке из запросов непосредственной практической деятельности.

К о л л е к т и в и з м особенно важен в методиках коллективной организации экспертизы.

С а м о к р и т и ч н о с т ь , взыскательность в самооценке своих действий.