sotsiologia

Показатели некачественной анкеты. Пилотажное исследование

В реальной практике социологов зачастую складывается такая - си туация, когда в зале собирают 50–100 человек, раздают им анкеты и предлагают заполнить. Собранные анкеты просматривают и анализируют. При этом могут возникать определенные сигналы о том, что те или иные вопросы плохо срабатывают. К числу таких сигналов относятся:

–низкая заполняемость некоторых вопросов либо высокий процент ответов типа «не знаю», «затрудняюсь ответить». Это, пожалуй, один из основных сигналов о том, что вопрос либо непонятен, либо затрагивает «закрытые зоны» в сознании респондента, либо предъявляет слишком высокие требования к памяти респондента, либо страдает иными аналогичными пороками;

–в полузакрытых, а порой и закрытых вопросах респонденты вписывают свои варианты ответов, не совпадающие ни с одним из закрытий. Если число таких ответов превышает5–7 %, то это безусловный сигнал к тому, чтобы доработать список закрытий;

–некоторые респонденты пишут свои пояснения на полях анкеты, порой весьма пространные. Такие записи могут служить источником включения в анкету дополнительных вопросов, изменения ее структуры;

–некоторые респонденты подходят к проводящим опрос социологам и беседуют с ними. Иногда эти беседы относятся к отдельным вызвавшим затруднения вопросам анкеты, иногда превращаются в обсуждение всей затронутой в анкете проблематики. Беседы такого рода часто оказываются полезными для социологов и влияют на окончательную отработку инструментария, однако сложившаяся практика такова, что эти беседы не являются специально запланированным методическим этапом, проходят без разработанного заранее методического плана и строго не протоколируются.

Таким образом, можно сделать вывод, что не всегда, казалось бы, идеальная анкета является таковой. Чтобы избежать разочарования от проведения исследования по некачественному инструментарию, всегда рекомендуется провести пилотажное исследование. Посредством пилотажного исследования осуществляется проверка содержания анкеты, формулировок

ипоследовательности вопросов, вариантов ответов и т. п. Пилотаж проводится на малой выборке(до 100 человек) опытным социологом в форме интервью с фиксацией ответов респондента, его реакций на содержание вопросов, их понимание и восприятие, а также с обязательной фиксацией времени, затраченного на опрос. Все это позволяет выявить недостатки инструментария, откорректировать их и адаптировать анкету к массовой работе.

Следует отметить, что должно существовать несколько типов пилотажных исследований. Для социологов должно стать привычным, что отработка, или «доводка», анкет – сложный и многоэтапный процесс, со-

140

стоящий, как правило, из 3–5, а то и большего числа разных«пилотажей». В частности, пилотироваться может не только вопросник, но и, например, выборка (то есть проверяется доступность респондентов, реалистичность избранной процедуры их поиска и т. п.), процедура опроса (время, место и способ организации опроса, продолжительность заполнения анкеты) и ряд других параметров обследования. При пилотировании собственно вопросника предметом пилотажа могут быть сами вопросы, структура и композиция анкеты, а также проблематика исследования.

Наиболее приемлемым для пилотажного исследования считается часто используемый психологами метод, когда респондент заполняет тест или вопросник, «рассуждая при этом вслух». Иными словами, респонденту следует предложить ознакомиться с готовым вариантом анкеты и- за полнить ее, сообщая при этом интервьюеру все мысли, ассоциации и затруднения, которые приходят в голову. В хорошо отработанной анкете таких сопутствующих мыслей и затруднений будет немного. Вопросы, логическое членение которых доведено до конца и которые понятны респонденту, обычно заполняются сразу и не вызывают никаких устных комментариев. Иначе обстоит дело с разного рода«неадекватными» вопросами. Ответом на один такой вопрос вполне может стать длительное интервью, которое покажет полное несоответствие анкеты изучаемой проблематике.

Основные принципы композиции анкеты

1.Автору анкеты надо помнить о том, что не следует смешивать программную логику вопросов с логикой построения анкеты. Вопросник должен строиться под углом зрения психологии опрашиваемых.

Кпримеру, при изучении отношения потребителей к какой-то определенной марке товара, казалось бы, логично вначале выявить тех респондентов, которые отдают явное предпочтение этой марке, затем перейти к их направленному опросу, а после – к опросу тех, кого данная марка не привлекает. Однако учитывая, что в общей массе населения последних, скорее всего, больше, можно поступить несколько иначе: вначале сформулировать вопросы, предназначенные для всех, затем только для потребителей данной марки товара, затем – для тех, кто от нее отказывается, и в заключение – снова для всех респондентов.

2.Еще один принцип вытекает из того, что одни и те же вопросы, если расположить их в разной последовательности, могут дать неодинаковую информацию. Например, если сначала поставить общий вопрос о степени удовлетворенности работой какого-то магазина и условиями обслуживания в нем, а затем – вопросы по оценке отдельных сторон этой работы, то общие оценки могут оказать влияние на частные, завышая/занижая их, причем независимо от специфики того или иного аспекта общей ситуации. Это связано, с одной стороны, со стремлением респондента оправдать

141

данную им выше общую оценку, а, с другой – с действием так называемого «эффекта эха», то есть многократного повторения одной и той же оценки, отнесенной к общей группе проблем. В этом случае целесообразно первыми разместить именно частные вопросы, а обобщающий поставить в конце данного блока, предварив его фразой: «А теперь мы попросили бы Вас оценить в целом, в какой мере Вы удовлетворены работой магазина и тем, как Вас здесь обслуживают». Оценка частных случаев, когда она предваряет общую, заставит респондента более ответственно подойти к итоговой оценке, позволит ему разобраться в собственных настроениях.

3.Следующий принцип касается распределения ответов по степени их трудности. Его можно сформулировать так: от простого к сложному. В начале анкеты должны идти самые легкие вопросы, это придаст респонденту уверенности в своих силах и позволит расслабиться.

Первые вопросы особенно важны. Если респондент не сможет легко ответить на них или найдет их неинтересными или пугающими, он может отказаться отвечать на остальную часть анкеты.

Далее следуют более сложные вопросы(желательно – относящие не

коценкам, а к событиям, фактам). Два-три наиболее сложных вопроса, требующих размышлений и работы памяти, размещаются «на пике», в середине.

4.При определении числа вопросов следует руководствоваться правилом: чем их меньше, тем больше шансов получить на них ответы.

5.Серьезное внимание необходимо обращать на графическое оформление анкеты: четкий шрифт, достаточное место для записи свободных ответов, стрелки-указатели переходов от вопроса-фильтра к другим вопросам и т. п.

6.Существенную роль играют иллюстративные материалы. Вопро- сы-иллюстрации помимо своей основной познавательной функции решают еще и методическую задачу: разнообразят технику заполнения анкеты, снижают монотонность, уменьшают психологическую нагрузку.

Контрольные вопросы

1.Что такое «социологическая анкета»?

2.Из каких частей состоит социологическая анкета?

3.В каких случаях необходимо провести проверку инструментария в виде пилотажного исследования?

4.Что такое принцип «воронки»?

5.Как Вы думаете, о чем свидетельствует низкая заполняемость некоторых вопросов анкеты?

142

6.Какое время считается оптимальным для заполнения анкеты? Целесообразно ли делать большие анкеты?

7.Что такое техника «омнибус»?

8. В каких исследованиях особенно приветствуются -вопросы иллюстрации?

9.С какой целью социолог в начале опроса должен подробно остановиться на моменте конфиденциальности и сферы приложения полученной информации в ходе исследования?

10.Существует ли разница в композиции анкеты с учетом метода сбора социологической информации: интервью и анкетирования?

143

РАЗДЕЛ IV. ОБЩИЕ ПРИНЦИПЫ АНАЛИЗА И ПРЕДСТАВЛЕНИЯ ДАННЫХ

Лекция 16

ОБРАБОТКА ИНФОРМАЦИИ, АНАЛИЗ И ПРЕДСТАВЛЕНИЕ ДАННЫХ

1.Методы обработки и анализа данных.

2.Анализ одномерных распределений.

3.Анализ двумерных распределений.

Методы обработки и анализа данных

Анализ данных представляет собою своеобразную«вершину» всей процедуры социологического исследования, ее результат, ради которого все, собственно, и проделывается. По мнению известного российского социолога В. А. Ядова, «анализ собранной информации – самый увлекательный этап исследования»1, именно здесь исследователь может определенно выяснить, насколько верными оказались выдвинутые им в самом начале рабочие гипотезы.

Это основной вид работ социологического исследования, направленный на выявление устойчивых, существенных свойств, тенденций изучаемого объекта; включает в себя выделение и расчет показателей, обоснование и доказательство гипотез, построение выводов исследования. На его основе поддерживается логическая стройность, последовательность, обоснованность всех процедур исследования.

________________________________________________________________

Анализ данных представляет собой комплекс процедур, составляющих стадии преобразования данных.

________________________________________________________________

В зависимости от программных целей исследования анализ полученных данных может быть более или менее глубоким и основательным.

С полученными социологическими данными можно производить следующие операции:

–подготавливать их для обработки; шифровать, кодировать и т. д.;

–обрабатывать (вручную или с помощью компьютера); табулировать, рассчитывать многомерные распределения признаков, классифицировать и т. д.;

–анализировать;

–интерпретировать.

1 Ядов В. А. Стратегия … С. 287.

144

Прежде чем перейти к описанию конкретных методов обработки и анализа данных, следует кратко остановиться на общих принципах, служащих основанием для любого анализа. Сущность процесса обработки первичной информации состоит в ее обобщении. Собранная в ходе полевого этапа первичная социологическая информация представляет собою массив «сырых» данных (например, пачку заполненных анкет). Эта информация не структурирована, она недоступна обозрению и не поддается непосредственному изучению. Поэтому самым первым шагом, который предстоит сделать в направлении анализа, является ее упорядочивание, уплотнение и компактное описание. Этот процесс осуществляется с помощью статистической группировки данных.

Предварительно осуществляется общий контроль качества полученной информации: мы выявляем ошибки и пропуски, допущенные при сборе данных, бракуем какие-то «единицы» выборочной совокупности, не отвечающие модели выборки (коррекция выборки), отсеиваем некомпетентных респондентов, производим другие контрольные действия, которые на социологическом арго называют «чисткой массива».

Дальше следует собственно описание: мы используем аппарат дескриптивной (описательной) статистики для упорядочивания всех данных по отдельным признакам (единицам). Изучаются простые распределения, рассчитываются показатели средней тенденции, вариации распределений.

Особую сложность при обработке данных представляют полузакрытые и открытые вопросы. Они требуют создания кодификатора. Процедуру кодирования этого типа вопросов можно разбить на несколько этапов:

–сначала на отдельный лист бумаги нужно выписать все суждения респондентов по какому-либо вопросу;

–затем постараться классифицировать эти суждения, разбив их на несколько групп и присвоив каждой группе определенный код;

–наконец, закодировать каждую анкету кодификатора, подготовив тем самым информацию к машинной обработке.

Например, школьников спрашивают: «Назовите Ваши любимые предметы». Они самостоятельно указывают: математика, русский язык, химия, история, физика и т. д. Предположим, для исследователей достаточно знать, какому блоку дисциплин отдают предпочтение респонденты (гуманитарным, естественно-научным, точным). Поэтому весь перечень дисциплин разбивают на 3 группы: код «1» – гуманитарные дисциплины, «2» – естественно-научные дисциплины и «3» – точные дисциплины. Затем

взаполненных анкетах, где, отвечая на данный открытый вопрос. школьники перечислили свои любимые предметы, необходимо проставить соответствующие коды.

Кодирование полузакрытых вопросов осуществляется точно таким же образом. Так, например, на полузакрытый вопрос абитуриентам: «Ка-

145

ковы причины Вашего поступления в вуз?» с приведенными вариантами ответов:

1)интерес к профессии,

2)престижность вуза,

3)желание получить высшее образование,

4)советы родителей, родственников,

5)рекомендации учителей,

6)желание иметь диплом вуза,

7)возможность учиться с друзьями,

8)что еще? (укажите)

входе опроса мы получили следующие дополнительные ответы: «престижность профессии», «так хотели родители», «кошу» от армии», «такая профессия пригодится всегда, а получить ее можно только в вузе», «люблю учиться», «вуз находится рядом с домом», «здесь есть военная кафедра», «хотел уехать поступать в другой город, но родители не отпустили», «в вузе учиться интересно».

Итак, дополнительный ответ «так хотели родители» практически совпадает по смыслу с данным нами изначально вариантом ответа под номером 4 – «советы родителей и родственников», поэтому в кодификаторе мы его дополнительно не учитываем, а отмечаем пункт 4 в самом вопросе. Остальные ответы классифицируем, разбив на четыре группы:

1)престижность и востребованность выбранной профессии(сюда попали ответы «престижность профессии» и «такая профессия пригодится всегда, а получить ее можно только в вузе»);

2)вуз дает отсрочку от службы в армии(ответы «кошу» от армии» и «здесь есть военная кафедра»);

3)учебное заведение близко к дому(ответы «вуз находится рядом с домом» и «хотел уехать поступать в другой город, но родители не отпустили»);

4)любовь к учебе как виду деятельности (ответы «люблю учиться» и «в вузе учиться интересно»).

Теперь для создания кодификатора мы присваиваем каждой классификационной группе код, продолжая нумерацию ответов на вопрос о причинах поступления в вуз.

Завершая разговор о кодировании, необходимо отметить, что существуют определенные требования к составлению кодификатора:

–в кодификаторе социолог учитывает только те суждения респондентов, которые соответствуют целям и задачам исследования. Замечания не по теме не вносятся, но учитываются при анализе, поскольку характеризуют отношение респондентов к процедуре опроса;

–при составлении кодификатора необходимо четко разграничивать группы по смыслу. Любое суждение должно быть однозначно отнесено только к одной группе.

146

Кодирование информации позволяет перейти к ее обработке(ручной или машинной). Вопрос о способе обработки данных зависит от количества анкет. Если их больше 100 штук, то целесообразна машинная обработка, в противном случае можно обойтись ручной.

Методы, применяемые социологами для анализа данных, многообразны. Выбор конкретного метода зависит, в первую очередь, от характера исследовательских гипотез, то есть от того, на какие вопросы мы хотим получить ответы. Если целью является описание одной характеристики выборки в определенный момент времени, разумно ограничиться одномерным анализом, то есть описанием распределения наблюдений(случаев) вдоль оси интересующего нас признака. Разнообразные техники многомерного анализа позволяют одновременно исследовать взаимоотношения двух и более переменных и в той или иной форме проверять гипотезы о причинных связях между ними.

Помимо характера исследовательских гипотез на выбор метода статистического анализа влияет и природа полученных данных. Разные уровни измерения социологических переменных определяют возможности и ограничения анализа. Для того чтобы охарактеризовать распределение в выборке такого номинального признака, как «пол», мы не можем воспользоваться его среднеарифметическим значением и, следовательно, нам потребуются какие-то другие приемы компактного и точного представления полученной информации.

Методы, используемые для анализа связи между двумя номинальными переменными, также будут отличаться от методов анализа связи между номинальной переменной и переменной, измеренной на интервальном уровне. Таким образом, выбор той или иной статистики будет зависеть и от целей анализа, и от уровня измерения исследуемых переменных.

В этой лекции мы уделим внимание использованию дескриптивной статистики в анализе социологических данных. Нашей задачей является качественное, содержательное понимание сути этих методов, основанное на самых элементарных математических представлениях и понимании смысла статистических моделей. Это будет служить фундаментом для более глубокого изучения прикладной статистики.

Анализ одномерных распределений (линейных распределений)

Главная цель эмпирических наблюдений состоит в том, чтобы проверить гипотезы относительно интересующих нас общественных явлений или закономерностей поведения людей. Однако перед тем как исследователи начинают проверять гипотезы, они обычно бросают предварительный общий взгляд на полученные данные и пытаются резюмировать или описать их по каждой из переменных. Для этого используется так называемая описательная статистика. Результаты измерения любой переменной мо-

147

гут быть представлены с помощью распределения наблюдений(случаев) по отдельным категориям данной переменной, и на каждый вопрос анкеты соответственно составляется таблица распределения. Эти таблицы назы-

вают линейными, или одномерными, распределениями (часто в профессио-

нальной речи социологов можно услышать просто «линейка»).

Категория, в которую попадают одинаковые наблюдения, может быть номинальной либо иметь числовые значения. В любом случае результатом такого упорядочивания наблюдений будет их группировка. Работать с упорядоченными данными значительно проще, чем с исходным «сырым» массивом. Если данные сгруппированы, достаточно посмотреть, какова абсолютная частота, то есть число наблюдений в данной выборке, попадающих в интересующую нас категорию. Но, как правило, исследователи руководствуются относительными величинами, выражающими соотношение между количественными характеристиками наблюдений. Другой наи-

более распространенной формой статистических показателей являются средние величины, коэффициенты вариации и т. д.

Таким образом, описательные статистические данные– это не что иное, как способы математического суммирования многочисленных -на блюдений в ясной и осмысленной форме.

При обработке эмпирических данных и анализе полученных результатов мы должны, разумеется, принимать во внимание шкалу, с помощью которой производилось измерение той или иной переменной. Способы измерения различаются по своей сложности и по объему тех математических действий, которые можно производить с полученными значениями переменной.

Данные, полученные по номинальной шкале, обычно резюмируются с помощью простого частотного распределения, как показано в табл. 1 и 2.

Один из способов анализа таблицы – это расчет процентов к общему числу ответивших на этот вопрос респондентов. Мы видим, что в таблицах, помимо указания частоты в абсолютных числах, приведены данные в процентах, что указывает на удельный вес каждого из значений определяемой переменной.

148

В табл. 1 представлено распределение ответов респондентов на альтернативный вопрос, когда можно выбрать только один вариант ответа, в табл. 2 – на неальтернативный вопрос (вопрос-меню), когда предлагается выбрать несколько ответов. Поскольку на вопрос ответили все респонденты, то итоговое количество процентов, рассчитанных к числу ответивших (N = 600 человек), превышает 100 %.

! Как правило, альтернативы в таблицах выстраиваются по рангам (от большего к меньшему), и так везде за исключением порядковых шкал.

Иногда в таблице распределения указывают лишь относительные частоты, опуская абсолютные (пропорции и процентные доли в процессе анализа предпочтительнее частотных распределений вследствие того, что облегчают процесс сравнения). Но и в этом случае желательно приводить общее число наблюдений и тем самым давать возможность читателю в случае необходимости вычислить соответствующее частотное распределение.

Помимо табличного представления нередко удобным средством анализа служит графическое отображение рядов распределения. На рис. 1 в виде гистограммы (столбиковой диаграммы) изображено распределение респондентов по уровню образования.

149