Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Эмпирические социологические исследования социальной реальности. Монография
.pdf
Глава 4
111
найден в другом кластере, очевидно, что корреляция между установками
будет иметь место на совокупном уровне [Gilbert 1997: 11–12].
3. Искусственный интеллект. Моделирование этого метода исследу-
ет, как люди распределяют свои доходы между основными статьями
расходов, такими как аренда, еда и отдых, по данным опросов потребителей. Опрашиваемые – это люди, которые, скорее всего, явно распределяют свой бюджет – недавно вышедшие на пенсию, большинство из которых испытывают значительные изменения в своей экономической
ситуации и, следовательно, нуждаются в корректировке своих покупок,
а также аспиранты, которые часто испытывают трудности «свести концы с концами».
Исследователи приглашают респондентов предоставить подробную
информацию об их основных источниках доходов и расходов, используя
свои собственные категории. Последние объясняют, как они обрабатывают регулярные арендные платежи, как они будут обрабатывать
непредвиденные расходы, и какие категории они считают фиксированными или договорными. Их ответы оформлены в виде набора правил
для моделирования.
Модель обеспечивает формальную запись для выражения правил того, как респонденты управляют своими бюджетами. Это позволяет проверять эти правила на последовательность и полноту.
Решения о том, как тратить деньги, принимаются не только индивидуально, исходя из строгой экономии. Напротив, следует предполагать,
что решения о расходах принимаются из-за социального обучения и социальной имитации. Другими словами, люди делают выбор в пользу
расходов или образа жизни из целого ряда вариантов, предоставленных
им друзьями, близкими или семьей. Затем они приспосабливаются к обстоятельствам посредством процесса проб и ошибок или эволюции.
В симуляции, разработанной английскими авторами, организации развивают свои правила составления бюджета с ограничением, что они
должны жить только на свой собственный доход, как они делают в жизни. В этом моделировании развитые правила сравниваются с описанными респондентами [Gilbert 1997: 13–16].
Глава 4
112
4. Компьютерное моделирование также было проведено И. Парчевым,
приведенным выше, в последнем приведенном им примере. «По результатам ... выборов... данные гипотетического опроса были смоделированы следующим образом. Около 900 опрошенных были распределены по
31 избирательным округам пропорционально количеству зарегистрированных избирателей. Для каждого региона было сделано соответствующее количество попыток Бернулли с вероятностью, равной относительной доле голосов за Кандидата1 и Кандидата2 в регионе ... Относительные доли весьма неточны ... Для страны в целом опрос неплохой:
он прогнозирует, что 54,5% проголосуют за Кандидата1 и Кандидата2 с
истинным результатом 52,8%» [Парчев 2001: 83–84].
4.8. Заключительные положения
Все перечисленные методы позволяют нам изучать не только состояния – группировки, классификации, наличие зависимостей (статики),
но и процессы – изменения состояний и их последствия (динамика). Эта
возможность значительно увеличивает возможности социологического
анализа и синтеза.
Также важно, что эти методы не требуют стохастической репрезентативности выборки, а только «теоретического» моделирования – априорного или апостериорного.
Численные примеры, представленные в этой главе, иллюстрирующие возможности обсуждаемых методов, получены только из доступной
литературы. Более того, наша подборка примеров, связанных с поведением избирателей, не случайна. Это вытекает из наших впечатлений от
наблюдения за деятельностью наших социологических избирательных
агентств, особенно избирательного поведения людей со всеми хорошими и плохими сторонами этой деятельности. На фоне так называемых
«опасностей» социологов, прискорбно только то, что они не знают старых книг, из которых можно получить знания о методологии и приложениях, которые могли бы предотвратить некоторые из «восприятий», а
также углубить и «социологизировать» анализ данных и полученные
Глава 4
113
результаты. Мы надеемся, что в скором времени появятся примеры
применения этих методологий к данным наших социологических исследований.
Нелегко внедрить эти методы в нашу работу. Более того, как ранее
писал французский писатель Жан-Пьер Обен: «Чтобы выучить язык теории, ее основы и основные результаты, требуется много времени, и даже
элементарные утверждения требуют исследований, которые могут продолжаться десятки лет, чтобы собрать много событий, и на самом деле
понимание математической теории никогда не заканчивается» [Обен
1988: 257].
Однако изменения в методах регистрации и организации эмпирических исследований также требуют применения математических методов
в этих и других сходствах. Разумеется, применение этих методов зависит
от задач исследовательской работы, особенно в пояснительных, прогностических и предписывающих исследованиях. Однако, если исследователи решат остаться на уровне описания, предпринятые усилия не стоят
хлопот.
Глава 5
❖
ЭКСПЕРТНЫЕ ОЦЕНКИ И ИХ ПРИМЕНЕНИЕ
В СОЦИАЛЬНЫХ ИССЛЕДОВАНИЯХ
5.1. Этапы экспертной оценки
Экспертная оценка – это хорошо известный метод, который во многих формах и по-разному присутствует во многих исследованиях, имея
свое конкретное значение и в социологических исследованиях.
Экспертные оценки выполняют две основные функции:
а) формируют объекты (набор показателей, целей, решений, альтернативных ситуаций);
б) измеряют характеристики (вероятность события, оценки качества, коэффициенты значимости целей, предпочтения решений), эксперты выполняют эту работу на основе интуиции, знаний, логического
мышления, достижений математической статистики, теории измерения,
теории группового выбора.
При использовании экспертных оценок основным источником информации является эксперт – его суждения, качественные и количественные оценки. Характер информации, получаемой от эксперта, различен, поэтому методы анализа и обработки также различны. «Догадки»
эксперта во многих случаях основаны на его прошлом опыте, его неявных знаниях, его «интуиции», они позволяют решать проблемы на высоком уровне, во многих случаях и на очень высоком уровне. Объем знаний специалиста в данной области может быть очень большим. Трудности возникают в отношении способа приобретения знаний, т. е. эксперт
знает много, но это знание является специфическим, основанным на его
прошлом опыте, наборе практических примеров. В то же время его работа должна включать в себя «аналитический навык», который не обязательно означает, что он исходит из практических случаев, а скорее основан на его теоретических знаниях. Для выполнения работы эксперт
Глава 5
115
должен иметь некоторую структуру знаний, которую он / она навязывает при оценке.
Поведение эксперта во многом зависит от особенностей его (человеческого) характера. Эксперта не следует рассматривать как безошибочный источник информации, даже самые опытные люди допускают
ошибки в своих действиях. Поэтому современные процедуры экспертизы предполагают довольно тщательный процесс извлечения научной
информации у специалистов.
Техника рецензирования проходит различные этапы, каждый со своими
особенностями, подэтапами, и одно рецензирование проходит все этапы.
Этапы экспертной оценки:
1. Формирование экспертной группы.
2. Формирование руководящей группы.
3. Организация экспертной оценки.
4. Проведение экспертизы.
5. Анализ результатов.
Под формированием экспертных групп понимается задача ряда специа-
листов (кандидатов на экспертизу) отделить наиболее компетентные из
рассматриваемых вопросов и сформировать экспертные группы из них.
Управляющая группа. Правильное и ритмичное проведение научного
исследования требует, чтобы вся деятельность осуществлялась подразделением, выполняющим функции организатора и руководителя. Он
может состоять из самих исследователей или может состоять из людей,
специально отобранных для проведения экспертных оценок.
Формирование управляющей группы должно учитывать функции, которые она будет выполнять. Этап завершен, когда его иерархия минимизирована. Обязательным требованием для всех членов правящей
группы является то, что они не присваивают себе функцию консультантов своим экспертам. Размер руководящей группы должен позволять
участникам делиться, обсуждать и принимать текущие решения как исследователи, а не как администраторы. Она должна быть обеспечена
вспомогательным персоналом.
Формирование экспертной группы. В процессе формирования экспертной группы необходимо ответить на две группы вопросов: где ис-
Глава 5
116
кать специалистов и кого из специалистов включить в список экспертной группы, т. е. это вопросы, связанные с выделением круга специалистов – будущих экспертов.
Экспертные группы формируются из специалистов, уровень компетентности которых достаточно высок и удовлетворяет исследователя.
В некоторых случаях даются рекомендации по точному количеству экспертов в группе. Характерно, что диапазон этих рекомендаций довольно
широк, но ни одна из этих рекомендаций не имеет строгого обоснования.
Одним из наиболее важных факторов эффективности экспертизы и,
следовательно, научного исследования, является правильное формирование группы экспертов, как по качеству, так и по количеству. Формирование экспертной группы основано на анализе объема проблем, связанных с объектом исследования, достоверности оценок, качества каждого
эксперта и финансовых ресурсов.
Характеристики эксперта. Необходимость формирования экспертных групп связана с реализацией процесса экспертной оценки. В социологии экспертные оценки выделяют два основных типа экспертов. Первый тип – это специалисты в конкретном регионе – настоящие эксперты. Такие специалисты понимаются в цитируемой литературе. Второй
тип – это эксперты в конкретной ситуации экспертного исследования,
где они не подозревают, что их выбрали в качестве экспертов. Это люди,
которые вовлечены в работу, непосредственно связанную с проблемой.
Основными характеристиками, используемыми для оценки качества
эксперта, являются:
• компетентность – степень квалификации в определенной области
знаний;
• креативность – умение решать творческие задачи. Помимо каче-
ственных оценок, другие оценки для этой характеристики не известны;
• конформизм – эта характеристика проявляется в нестабильности к
собственному мнению эксперта, особенно сильно в открытых дискуссиях;
• отношение к экспертизе – важная особенность принятия решений
для привлечения специалиста в качестве эксперта;
• аналитическое и объемное (широкое) мышление – специалист с глу-
бокими знаниями, но обладающий «профессиональной слепотой», не
Глава 5
117
может качественно решить сложные проблемы, требующие выхода за
рамки простых идей;
• конструктивное мышление – это прагматический аспект мышления;
• коллективизм – качество, которое необходимо учитывать при про-
ведении открытых дискуссий. Этика поведения человека в команде экспертов существенно влияет на создание позитивного психологического
климата и успешное решение проблемы;
• самокритичность эксперта проявляется в самооценке степени его
компетенции, а также в принятии решений по рассматриваемой проблеме;
• противоречивое мышление – опыт предоставленной экспертизы
показывает, что эксперты не всегда последовательны в своих оценках;
• независимость – важная характеристика специалиста, особенно при
проведении экспертизы, которая вряд ли упоминается в методической литературе. Чтобы считаться независимым, эксперт не должен быть представителем той или иной заинтересованной социальной группы, а его социально-профессиональный статус не может быть изменен в зависимости
от того или иного результата экспертизы [Кржижановский 1992: 9–10].
5.2. Оценка компетентности специалиста
Эта центральная задача отбора экспертов вызывает наибольшие
разногласия среди исследователей. Два подхода к этой задаче были описаны в литературе.
Первый – априорный – состоит в оценке компетенции до начала экспертизы и направлен на отбор экспертов и формирование экспертных
групп.
Второй – апостериорный – это определение компетентности по резуль-
татам экспертизы, которое направлено на учет компетентности в обработке данных экспертизы и отбор экспертов для будущих исследований.
Объем проблем, связанных с предметом исследования, определяет
необходимость привлечения специалистов разных профессий. Поэтому
минимальное количество экспертов определяется количеством разли-
Глава 5
118
чий в аспекте и направлениях, которые по необходимости участвуют в
изучении объекта.
Оценка согласованности в мнениях экспертов. Существуют различные
типы оценок согласованности. Следует подчеркнуть, что полное несогласие является важным результатом со значительными последствиями.
Табличное представление вопросов, где это возможно, является одной из форм опрометчивого опроса экспертов. Табличная производительность фокусирует и подталкивает к анализу экспертов. При разработке таблиц необходимо обеспечить выполнение некоторых требований. Сначала вопросы должны быть написаны по какой-то
иерархической схеме, т. е. сначала нужно сформулировать более общие
вопросы, а затем конкретизировать детали.
Одной из целей проведения экспертизы является получение групповой оценки объекта при высокой согласованности в мнениях экспертов.
Экспертная когерентность оценивается с использованием ранговой
корреляции и коэффициента согласованности, коэффициента вариации
и уравнения когерентности.
Коэффициент ранговой корреляции характеризует согласованность
между двумя ранжированиями и
данных объектов.
Коэффициент конкордации оценивает согласованность мнений всех
экспертов в группе.
Коэффициент вариации используется, когда эксперты дают числовые оценки. Затем для оценки их согласованности можно использовать
статистические величины – дисперсию, среднее квадратичное отклонение, коэффициент вариации.
Уравнение согласованности применяется в тех случаях, когда оценки
Х(А), данные экспертами
для объекта A, не всегда одинаковы, и мы
можем предположить, что они изменяются случайным образом, т. е. мы
можем рассматривать Х(А) как случайную величину с математическим
ожиданием и средним квадратичным отклонением .
После завершения консультации с экспертом следует этап обработки
результатов. Цель консультации – получить мнение специалистов, которое должно быть максимально свободным от случайных факторов.
Глава 5
119
Обработка экспертной информации. Результатом обработки являются
количественные данные и их обоснование. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертной информации. На основании результатов обработки
сформулированы альтернативные решения об определении объекта научного исследования. Доступность числовых данных для предметного обоснования экспертов требует использования методов обработки как количественной, так и качественной информации. С другой стороны, при решении
проблем, для которых знания и опыт имеют необходимый информационный потенциал, эксперты рассматриваются как хорошие «ориентиры». Затем оценки, данные экспертами, группируются близко к истинному значению, поэтому можно использовать методы математической статистики, основанные на усреднении данных для обобщенной групповой оценки.
Групповая экспертная оценка. Групповая оценка означает результат
обобщения отдельных оценок экспертов. Предполагается, что логические процедуры и математический и статистический аппарат, используемые для количественной оценки мнений экспертов, обеспечивают
групповую оценку в ситуации желаемой согласованности. Качество экспертизы группы зависит от многих факторов, таких как: количество
экспертов в группе; процентный состав разных специалистов; характеристик экспертов.
5.3. Виды экспертных оценок в социологии
После формирования экспертной группы начинается фактическое про-
ведение экспертных оценок. Его можно разделить на этапы, например:
1. Назначение задачи:
– работают ли эксперты вместе или индивидуально.
2. Экспертная работа:
– единовременное проведение экспертных оценок;
– повторно – с обратной связью или без нее. Экспертные оценки различаются по тому, как они заканчиваются – отчетом, цифрами или их
совокупностью.
Глава 5
120
Экспертные оценки заканчиваются двумя основными способами:
первый – получение числовых результатов; второй получение отчета.
Следовательно, экспертные оценки можно разделить на два основ-
ных типа: нечисловые экспертные оценки – это оценки, конечным результатом которых является отчет. Обычно в нем содержатся мнения,
предложения, прогнозы, сценарии будущих действий, выраженных неформально. Числовые экспертные оценки – это те, конечный результат
которых определяется числами.
5.4. Количественные числовые экспертные оценки
1. Непосредственная числовая оценка альтернатив. Это один из
наиболее распространенных методов в практике получения экспертной
информации. Специалисту предоставляется набор альтернатив
.
Если целью экспертизы является оценка их сравнительного предпочтения, то эксперт должен, в соответствии с каждой альтернативой сопо-
ставить число , характеризующее ее предпочтение. Зная численную
оценку каждой альтернативы, можно получить сравнительную оценку
предпочтения каждой пары альтернатив, т. е. можно определить, сколько элементов или сколько раз одна альтернатива превосходит другую.
Если цель экспертизы состоит в том, чтобы разбить альтернативы на
классы, то для каждой пары альтернатив эксперт показывает численную оценку степени их сходства.
Следует отметить, что для числовых оценок предпочтения каждая
пара альтернатив сопоставима и не возникает ни одного случая нетран-
зитивности: если числовая оценка альтернативы
больше, чем число-
вая оценка альтернативы
, и числовая оценка альтер-
нативы больше, чем альтернатива или
, то очевидно,
что
.
Довольно часто используется оценка альтернатив в баллах. Каждой
альтернативе в выбранной системе баллов назначается балл, соответствующий ее оценке. Желательно дать альтернативе более высокий
балл. Иногда экспертам разрешается уточнить оценку, указав числа
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]