Методы социологического исследования. Учебное пособие

2.Из числа потенциальных респондентов случайным образом отобрать несколько «арбитров» (50 и более человек).

3.Каждому из отобранных респондентов объясняется 11-балльная шкала, где 11 — «одобрительное отношение», 1 — «неодобрительное отношение» и дается стопка карточек с утверждениями, которые нужно оценить по этой шкале. В результате каждый арбитр раскладывает карточки по 11 стопкам.

4.Социолог систематизирует информацию, полученную от разных арбитров: для каждого значения определяется медианное значение. Те утверждения, которые получили у разных арбитров разные значения (т. е. разброс составляет более 5–6 пунктов шкалы), удаляются из списка (как неоднозначно трактуемые). В результате остается 15–20 утверждений, мнения арбитров по которым схожи. Эти утверждения обязательно должны покрывать весь диапазон оценок.

5.Затем респонденту в ходе опроса предлагается сказать, с какими из утверждений он согласен (какие пункты (2–3) наиболее близки к его мнению). Для выбранных респондентом пунктов определяет­ ся медианное значение, которое и рассматривается как мнение респондента об изучаемом объекте. Если респондент демонстрирует разброс оценок (т. е. выбирает суждения, характеризующие разное отношение к объекту), то делается вывод о несформированности мнения у респондента или об отличие его мнения от того, которое заложено в логике построения данного измерения. Если же ответы респондента группируются в одном участке шкалы, измерение можно считать надежным и валидным.

Как модификацию интервальной шкалы можно рассматривать семантический дифференциал. Данный вид шкал может использоваться для формирования или оценивания определений (характеристик) тех или иных понятий. Семантический дифференциал позволяет и сравнивать объекты между собой (т. е. выяснить, одинаково ли оценивают разные респонденты сходные объекты?).

Суть измерения с помощью семантического дифференциала сводится к следующему: респонденту предъявляется набор парных характеристик, с помощью которых его просят оценить какой-либо объект по шкале (обычно 5 или 7-балльной).

21

Пример:

К какому типу людей вы бы отнесли своего научного руководителя?

Другой способ формулирования крайних позиций шкалы, который можно рекомендовать, — это выбор «наименьшего из двух зол». Тогда шкала представляет собой выбор из двух нежелательных вариантов, один из которых все же более предпочтителен.

Пример:

Вы являетесь подписчиком нашей интернет-рассылки. Какой из предложенных вариантов является для вас более приемлемым («3» — наиболее приемлемый вариант, «2» — более-менее приемлемый вариант, «1» — не очень приемлемый вариант, «0» — затрудняюсь сделать выбор):

22

2. Валидность и надежность измерения. Ошибки измерения

Независимо от типа шкалы, социолог должен проверить ее по 3-м критериям:

–валидность,

–полнота,

–чувствительность.

Валидность шкалы — это свойство измерять именно то, что задумано исследователем.

Полнота шкалы характеризуется подбором всех возможных значений измеряемого признака. Например, выявляя сферу занятости респондентов, социолог забыл указать такие позиции, как «пенсионер», «домохозяйка», «безработный», соответственно, такая шкала является неполной; респондент, относящийся к одной из перечисленных выше категорий, не сможет ею воспользоваться.

Чувствительность шкалы определяется тем, насколько чутко данная шкала «настроена» по отношению к нюансам проявления того или иного признака у объекта исследования. Чаще всего данная характеристика существенна для шкал, отражающих отношение респондента к чему-либо или кому-либо. Начинающий социолог часто совершает такую ошибку: он предполагает, что чем длиннее шкала, тем она чувствительней. На самом деле, если шкала будет слишком длинной (например, 15–19 позиций), респондент не сможет точно оценить разницу между ближайшими позициями шкалы. В таком случае респондент чаще всего выбирает крайние позиции шкалы. Оптимальное количество позиций шкалы зависит от измеряемого признака. Можно посоветовать использовать шкалы, содержащие от 5 до 7–11 позиций.

Как и при каждом измерении, при измерении в социологии могут возникать ошибки. Такие ошибки могут носить как случайный, так и систематический характер.

Систематические ошибки возникают из-за путаницы переменных в реальном мире или из-за особенностей самого инструмента. Такие ошибки делают измерения невалидными (валидность будет рассмотрена далее).

23

Случайные ошибки появляются вследствие ситуационных различий в применении измерительного инструмента (например, респондент торопится, поэтому не слишком подробно отвечает на вопросы), ошибками в проведении измерения и обработке данных (например, ошибки кодировщика при обработке данных), изменчивостью самого объекта исследования. Случайные ошибки делают измерения невалидными и ненадежными.

Основные источники ошибок измерения

1.Различия в распределении между объектами других относительно постоянных характеристик, которые были непреднамеренно выявлены нашими измерениями. Например, для понимания вопросов, предназначенных для измерения политической идеологии,

иответа на них может понадобиться определенный уровень интеллекта. Если это так, то ответы на вопросы будут отражать не только политико-идеологические, но и интеллектуальные различия между людьми. Не всегда эти возмущающие воздействия можно выявить

иизмерить.

2.Различия в распределении между объектами временных характеристик, которые отражаются в наших измерениях. Характер ответов на вопросы анкеты может определяться настроением или состоянием здоровья респондента. Недавние события в политической жизни города могут создавать временные, но систематические различия в том, как жители этих городов отвечают на вопросы исследования. Способ уберечься от воздействия такого рода — внимательно относиться к сигналам, предупреждающим о том, что отдельные объекты находятся под влиянием таких преходящих факторов.

3.Различия, проявляющиеся при интерпретации измерительного инструмента разными людьми. Если вопросы сформулированы неоднозначно, то респонденты дадут им разные интерпретации, которые могут привести к различиям в оценках по измерениям, составленным на основании этих вопросов. Например, вопрос: «Вы принимали участие в последних выборах?»: респондент может быть не знает, что недавно проводились выборы, например в органы МСУ

24

(местное самоуправление), поэтому ответит утвердительно, имея

ввиду последние федеральные выборы.

4.Различия в условиях проведения измерения. Точно установлено, что на характер ответов респондента оказывают влияние пол, возраст, раса (национальность) интервьюера. Кроме того, такие ошибки встречаются и при проведении исследований, не включающих опрос респондентов. Например, контент-анализ выпусков новостей: неправомерно измерять выпуски новостей, предназначенные для внутреннего вещания, и передачи новостей, предназначенные для зарубежного вещания. То есть мы будем применять один и тот же инструмент к различным условиям. Избежать этой ошибки можно путем стандартизации ситуаций, в которых мы проводим измерения.

5.Различия в процессе применения измерительных инструментов. Приписываемые объектам оценки могут различаться в результате разнообразных ошибок, возникающих при сборе и записи информации (ошибки кодировщиков, анкетеров, усталость респондентов, технические неполадки в записывающих устройствах и т. п.).

6.Различия в обработке и анализе данных. Прежде чем информация анализируется, она подвергается тщательной обработке. В ходе этой обработки информация несколько раз меняет форму, например, превращение слов в цифры (коды). На каждом из этапов анализ данных становится все проще, однако, с каждым этапом увеличивается возможность ошибок.

7.Различия в характере реакции индивидуумов на форму измерительных инструментов (интервью требует от респондента умения свободно говорить, анкета — читать и писать; некоторые респонденты стесняются включенного диктофона и т. п.).

Подр. см.: Мангейм Дж. Б., Рич Р. К. Политология. Методы исследования. М.: Издательство «Весь Мир», 1997. С. 95–98.

Систематические ошибки измерения менее заметны, но поэтому более коварны. Исследователи предлагают ряд мер против их возникновения:

25

1)Прогнозировать возможное воздействие факторов внешней (социальная реальность) и внутренней (процесс организации и реализации исследования) среды с точки зрения возникновения систематических ошибок.

2)Обращаться к опыту коллег (анализ публикаций, презентаций, обмен опытом в ходе профессионального общения); проведение внешних экспертиз.

3)Закладывать контрольные инструменты и процедуры при планировании исследования для выявления смещения данных.

4)Обязательно проводить пилотаж с последующим обсуждением его результатов с сотрудниками, работающими «в поле».

5)В отчетах и публикациях по результатам исследования представлять выявленные ошибки, возможные причины их появления, оценивать возможность их устранения в последующих исследованиях.

Расширенный перечень мер см.: Методология и методы социологического исследования: учебник / под ред. В. И. Дудиной,

Е.Э. Смирновой; С.-Петерб. гос. ун-т. СПб.: Изд-во СПбГУ, 2014. С. 106.

Вкачестве рабочего определения валидности можно предложить следующий принцип: действительно ли мы измеряем то, что предполагали измерять.

Более точно валидность можно определить как «степень, в которой различия оценок измерения отражают только различия в распределении значений переменной, которую мы собираемся измерять. Так как мы, вероятно, никогда не сможем достичь полной и всеобщей валидности, наша цель должна заключаться в выборе измерений, которые были бы минимально чувствительны к воздействию всех иных различий, кроме различий, обусловленных интересующей нас переменной» (Мангейм Дж. Б., Рич Р. К. Политология. Методы исследования. М.: Издательство «Весь Мир», 1997. С. 101).

Процесс оценки валидности измерений называется валидизацией.

Существует 4 основных подхода к валидизации.

1. Прагматическая валидизация. Данный тип валидизации возможен лишь при наличии какого-либо альтернативного показателя,

26

который является валидным по отношению к данной переменной. Например, точность сообщения о наличии той или иной болезни у респондента проверяем по его медкарте. Понятно, что наличие таких альтернативных показателей, которым можно доверять, достаточно редкое явление в социологических исследованиях, поэтому обычно приходится использовать конструктную валидизацию.

2. Конструктную валидизацию можно проводить в двух формах — внешней и внутренней.

Внешняя конструктная валидизация. О валидности измерения судим по тому, в какой степени использование данного измерения в качестве показателя переменной создает те же типы отношений между данной переменной и другими переменными, которые мы ожидаем в соответствии с нашей теорией. Таким образом, модель построения внешней конструктной валидизации напоминает «черный ящик»: мы не можем забраться внутрь (т. е. рассмотреть, измерить наше понятие), но можем сказать, что от него ожидать (т. е. как это понятие связано с другими в теории, отражено ли это в наших измерениях).

Внутренняя (конвергентная) конструктная валидизация. Данный тип валидизации включает разработку нескольких измерений для одной и той же переменной и сравнение между собой этих разных измерений. Данный тип валидизации напоминает взвешивание одного и того же предмета на трех различных весах. Если все измерения одинаковы, значит можно говорить о валидности.

3.Дискриминантная валидизация. Достаточно часто, проводя измерение одного признака, мы непроизвольно измеряем и другой признак. Например, если мы измеряем понятие «хороший учитель»

спомощью ряда вопросов, выявляющих понятие «хороший человек», то полученные результаты (особенно если при их сравнении выясняется, что нет принципиальных различий в результатах измерения этих двух признаков) нельзя трактовать как измерение признаков понятия «хороший учитель». То есть данное понятие не обладает дискриминантной валидностью, поскольку не позволяет отличить понятие «хороший учитель» от понятия «хороший человек».

4.Очевидная валидность. Есть целый ряд измерений, которые

можно определить как валидные «по внешнему виду». Например, если в ходе исследования необходимо установить наличие определенного вида товара в магазине, целесообразно просто обучить людей,

27

собирающих первичную информацию по данному исследованию, отмечать позицию наличия/отсутствия товара в кодировочных листах и разработать для них маршруты, а не прибегать к телефонному опросу сотрудников магазинов.

Так как проблема валидизации относится к числу наиболее сложных вопросов, суммируем сказанное выше в форме таблицы:

Типы валидизации

Источник: Мангейм Дж. Б., Рич Р. К. Политология. Методы исследования. М.: Издательство «Весь Мир», 1997. С. 109.

Несколько по-другому проблему валидности рассматривает И. Ф. Девятко (см.: Девятко И. Ф. Методы социологического исследования. Екатеринбург: Изд-во Урал. ун-та, 1998. С. 116–123).

28

Следует различать валидность и надежность измерения. Измерение обладает валидностью, если оно измеряет именно тот параметр, который мы предполагаем измерить. Под надежностью понимают устойчивость получаемых с помощью измерения значений. Важно помнить, что:

Измерение может быть надежным, не будучи валидным, но не может быть валидным, не будучи надежным. В то время как валидность уязвима и со стороны систематической, и со стороны случайной ошибки, надежность подвергается опасности лишь со стороны последней.

То есть можно получать устойчивые значения измерений, но измерять не то, что нам нужно (надежное, но невалидное измерение), но нельзя считать валидным измерение, которое не обладает устойчивостью (т. е. при каждом замере одного и того же объекта, его свойств или признаков дает разные результаты).

ВОПРОСЫ ДЛЯ САМОПРОВЕРКИ

1.Что такое измерение?

2.В чем заключаются различия номинативной, порядковой, интервальной и относительной шкалами?

3.К какому типу шкалы относится шкала Терстоуна? Обоснуйте почему.

4.Как строится шкала Лайкерта?

5.Какие виды ошибок измерения вы знаете?

6.Что такое валидность и надежность измерения?

7.Какие вы знаете типы валидизации?

8.Каковы основные источники ошибок измерения?

ЛИТЕРАТУРА

1.Андреев Э. П., Осипов Г. В. Методы измерения в социологии. М., 1977.

2.Девятко И. Ф. Методы социологического исследования. Екатеринбург: Изд-во Урал. ун-та, 1998.

3.Мангейм Дж. Б., Рич Р. К. Политология. Методы исследования. М.: Издательство «Весь Мир», 1997.

29

Гл а в а 3

ВЫБОРКА

Основные понятия:

Выборка; генеральная совокупность; выборочная совокупность; целенаправленный отбор; вероятностный отбор; метод собственно случайного отбора; механическая выборка; шаг выборки; стратифицированная серийная выборка; кластерная (гнездовая) выборка; многофазная выборка; квотная выборка; метод «снежного кома»; стихийная выборка; метод основного массива; размер выборки, ошибка выборки.

Проблема выборки, пожалуй, одна из самых сложных в прикладной социологии.

Во-первых, необходимо иметь сведения о генеральной совокупности. Генеральная совокупность представляет собой массив, из которого осуществляется отбор единиц наблюдения. В теории генеральная совокупность совпадает с эмпирическим объектом исследования, который, в свою очередь, является носителем проблемной ситуации. Параметры генеральной совокупности должны быть четко заданы, обоснованию параметров уделяется внимание в первом разделе программы социологического исследования (методологическом), затем в отчете по результатам исследования оценивается следование параметрам генеральной совокупности при формировании выборочной. Как правило, генеральная совокупность не совсем тождественна эмпирическому объекту исследования, но она должна быть согласована с ним, иначе мы не сможем говорить о том, что был исследован именно тот объект, который определен изначально. Типичная ошибка социологов — смещение в описании границ генеральной совокупности, обычно в сторону их расширения: например, опросив студентов вузов региона, трактовать их мнения, как мнение всей молодежи региона. В качестве источников информации о генеральной совокупности

(иначе говоря, основы выборки) чаще всего используют:

– данные переписи;

30