Глубокое интервью при разработке социологических анкет

Проблемы повышения адекватности количественного инструментария

Социологам, привыкшим работать с формализованными анкетами, глубокое интервью может помочь в двух отношениях. Во-первых, его применение поможет социологу осознать грани­цы применимости и ограниченность возможностей анкетного метода. Во-вторых, глубокое интервью является эффективным средством проверки качества анкет и одновременно средством их доработки. Часто после проведения первых же интервью исследователю становится ясна необходимость радикальной пе­реработки созданной им анкеты.

Применение глубокого интервью при отработке социоло­гических анкет является одной из форм пилотажного опроса. В связи с этим целесообразно сделать ряд замечаний относитель­но пилотажных опросов вообще. В отечественных методических источниках, как правило, указывается на необходимость прове­дения пилотажных исследований при отработке социологичес­кого инструментария, однако данному вопросу обычно уделя­ется очень мало места и методические особенности проведения этого важного этапа, как правило, раскрываются недостаточно.

Типичное описание пилотажного исследования в отече­ственной литературе выглядит так: “Пилотажное исследование в социологии — это пробное исследование преимущественно методической направленности, цель которого — проверка ка­чества инструмента для сбора социологической информации. В процессе пилотажа вырабатывается проект (макет) методи­ки, который затем опробуется в условиях, близких к условиям массового полевого исследования. При этом выясняется мера потерь и искажений информации из-за наличия языкового, пси­хологического и других барьеров и тех обстоятельств в ситуации опроса, которые не были учтены при разработке программы и методик исследования. Обычно при пилотаже считается до­статочным опрос 50-100 человек, подобранных так, чтобы в вы­борку были включены все значимые для целей исследования группы респондентов”.

Приведенное выше описание процитировано не только по­тому, что оно типично, но и потому, что оно соответствует реально сложившейся в отечественной социологии практике. Эта реальная практика такова. В зале собирают указанные выше 50-100 человек, раздают им проект анкеты и предлагают запол­нить. Собранные анкеты просматривают и анализируют. При этом, действительно, возникают определенные сигналы о том, что те или иные вопросы плохо срабатывают. К числу таких сигналов относятся:

а) низкая заполняемость некоторых вопросов либо высо­кий процент ответов типа “не знаю”, “затрудняюсь ответить”. Это, пожалуй, один из основных сигналов о том, что вопрос либо непонятен, либо затрагивает “закрытые зоны” в сознании респондента, либо предъявляет слишком высокие требования к памяти респондента, либо страдает иными аналогичными пороками;

б) в полузакрытых, а порой и закрытых вопросах респон­денты вписывают свои варианты ответов, не совпадающие ни с одним из закрытий. Если число таких ответов превышает 5-7 %, то это безусловный сигнал к тому, чтобы доработать список закрытий;

в) некоторые респонденты пишут свои пояснения на полях анкеты, порой весьма пространные. Такие записи могут служить источником включения в анкету дополнительных вопросов, из­менения ее структуры;

г) некоторые респонденты подходят к проводящим опрос социологам и беседуют с ними. Иногда эти беседы относятся к отдельным вызвавшим затруднения вопросам анкеты, ино­гда превращаются в обсуждение всей затронутой в анкете проблематики. Беседы такого рода часто оказываются полез­ными для социологов и влияют на окончательную отработку инструментария, однако сложившаяся практика такова, что эти беседы не являются специально запланированным методичес­ким этапом, проходят без разработанного заранее методического плана и строго не протоколируются.

Таким образом, можно отметить, что сложившаяся практика проведения пилотажных опросов в принципе дает социологам определенные сигналы о том, как следует доработать анкету. Вместе с тем, реальная ценность этих сигналов, в общем, не­велика. Дело в том, что практически работающий социолог, знакомый с имеющейся методической литературой и лично принимавший участие в проведении нескольких опросов, при­обретает навык избегать грубых ошибок при составлении анкет. Заполнение анкет респондентами при пилотажных обследова­ниях часто проходит “гладко”, в том смысле, что особых за­труднений респонденты не испытывают, и анкета в результате такого пилотажа претерпевает лишь незначительные изменения. Вместе с тем, как будет показано ниже, “гладкость” заполнения отнюдь не означает высокого качества анкеты.

Прежде чем приступить к описанию наших рекомендаций по проведению пилотажных исследований, следует отметить, что существует или, по крайней мере, должно существовать несколь­ко типов пилотажных исследований. Для социологов должно стать привычным, что отработка или “доводка” анкет — слож­ный и многоэтапный процесс, состоящий, как правило, из 3-5. а то и большего числа разных “пилотажей”. В частности, пило­тироваться может не только вопросник, но и, например, выборка (т. е. проверяться доступность респондентов, реалистичность из­бранной процедуры их поиска и т. п.), процедура опроса (время, место и способ организации опроса, продолжительность запол­нения анкеты) и ряд других параметров обследования. При пи­лотировании собственно вопросника предметом пилотажа могут быть сами вопросы, структура и композиция анкеты, а также проблематика исследования. Рассмотрение всего комплекса этих проблем, т. е. описание различных видов пилотажных исследова­ний, представляется важным, но не это входит в задачу данного параграфа. Его задачей является описание лишь некоторых ви­дов пилотажа, связанных с применением глубокого интервью.

Наиболее приемлемым для пилотажного исследования мы считаем часто используемый психологами метод заполнения ре­спондентом теста или вопросника, “рассуждая при этом вслух”. Иными словами, респонденту следует предложить ознакомиться с готовым вариантом анкеты и заполнить ее, сообщая при этом интервьюеру все мысли, ассоциации и затруднения, которые приходят в голову. В хорошо отработанной анкете таких со­путствующих мыслей и затруднений будет немного. Вопросы, логическое членение которых доведено до конца и которые по­нятны респонденту, обычно заполняются сразу и не вызывают никаких устных комментариев. Иначе обстоит дело с разного рода “неадекватными” вопросами. Ответом на один такой во­прос вполне может стать длительное интервью, которое покажет полное несоответствие анкеты изучаемой проблематике.

Следует отметить, что многие проблемы неадекватности во­просов и вопросников освещены в отечественной литературе. В частности, довольно часто говорится об ограничениях, связан­ных с памятью респондентов, об узости их языковых возможно­стей (по причине, например, невысокого уровня образования), о личном или интимном характере вопросов^ и о ряде дру­гих факторов. Не отрицая важности этих аспектов, мы хотим сосредоточить внимание на главном, с нашей точки зрения, недостатке отечественных анкет, а именно — на своего рода “когнитивных” затруднениях, вызываемых у респондентов не­правильно поставленными вопросами. Под “неправильными” вопросами мы, в частности, понимаем;

— сложные вопросы большого логического объема, не “вмеща­ющиеся” в список закрытий, даже если последний содержит 10-15 и более пунктов;

— вопросы, содержащие разного рода логические пороки (“двойной” вопрос, противоречиво сформулированный во­прос, неоднозначный по смыслу и т. п.);

— вопросы, содержащие презумпции, противоречащие знани­ям или представлениям респондента;

— вопросы, знания или представления о которых вообще от­сутствуют в сознании респондента;

— вопросы, в которых респондент не находит того типологи­ческого случая, к которому относится он сам (к примеру, если спросить в анкете, кто в основном занимается ребенком, отец или мать, а реально ребенок живет у бабушки, то респондент, строго говоря, не может ответить на такой вопрос, хотя в действительности он обычно как-то на него отвечает).

Для иллюстрации того, что такое неадекватный вопрос и как он работает, приведем следующую сцену, взятую из реальной социологической жизни (опрашивался директор животноводче­ской фермы):

“Интервьюер (читает вопрос анкеты): Приходилось ли Вам за последние два месяца внедрять какие-либо инновации?

Респондент (думает, затем спрашивает): А что такое инновации?

Интервьюер: Ну, это если Вы внедрили у себя что-то новое...

Респондент (думает, затем спрашивает): Вот две недели назад я две проржавевшие оцинкованные ванны выбросил и заменил пластмассовыми. Это инновация?

Интервьюер (думает, затем отвечает): Да, пожалуй, это инновация.

Респондент (думает, затем спрашивает): А еще я в про­шлом месяце двух пьяниц уволил. Это инновация?

Интервьюер (думает, затем отвечает); Нет, это не инно­вация.

Респондент (думает, затем спрашивает): Я сказал, что заменил две ванны. Это одна инновация или две?

Интервьюер (думает, затем отвечает): По-видимому, одна.

Респондент: Ну, тогда пишите, что одна.

Интервьюер: Понятно. Переходим к следующему вопросу...”.

Интервью, проводимые по анкете, обычно выявляют не­сколько уровней ее недостатков. Таких уровней можно выделить, как минимум, три. Первый уровень — это возможная неаде­кватность анкеты всей изучаемой проблематике или самой изу­чаемой действительности. В этом случае требуется радикальная замена всей анкеты, а также рассмотрение вопроса о том, приме­ним ли вообще метод анкетного опроса к данной (уточненной) проблематике. Пример, иллюстрирующий необходимость такой радикальной замены приведен в приложении к данному па­раграфу. Второй уровень — это состав вопросов и логическая композиция анкеты. В отечественных учебниках, рассматривая проблему композиции анкеты, много пишут о том, что поря­док следования вопросов может сильно повлиять на результаты опроса. Это верно, но в данном случае речь идет о другом. Го­воря об ошибках композиции, мы имеем в виду следующее. Во-первых, в анкете могут обнаружиться как “лишние” (нерелевант­ные) блоки вопросов, так и, что еще важнее, отсутствующие, но содержательно необходимые (релевантные) блоки вопросов.

Во-вторых, как уже отмечалось в главе второй, анкеты, со­ставленные отечественными социологами, почти всегда грешат недостаточной логической разветвленностью, упуская многие широко распространенные в действительности типологические случаи. Следует подчеркнуть, что первые же несколько интер­вью, проведенные по априорно составленной анкете, выявляют большое количество “недостающих” вопросов как первого, так и второго типа.

Наконец, третий уровень — это уровень самих вопросов и содержащихся в них подсказок-закрытий. Этот уровень мож­но охарактеризовать как “тонкую” или окончательную доводку анкеты. Перечень возможных пороков формулировок вопросов и закрытий, в общем, описан в отечественной литературе, но, несмотря на это, недостатки такого рода постоянно воспроиз­водятся в составляемых отечественными социологами анкетах.

Сопоставление результатов анкетных опросов (как пило­тажных, так и массовых) с результатами глубокого интервью по этим анкетам демонстрирует, что “гладкость” или “легкость” заполнения анкет сидящими в зале респондентами часто бывает кажущейся. Практика показывает, что респонденты в подавляю­щем большинстве случаев как-то отвечают даже на те вопросы, которые содержат в себе грубые методические пороки. Этот эффект становится понятным, если учесть, что с психоэнергетической точки зрения респонденту легче ответить на вызыва­ющий сомнение вопрос, чем идти и выяснять по этому поводу отношения с лицами, проводящими анкетирование. Лишь сво­бодное интервью, в котором респондента просят сообщать обо всех испытываемых им затруднениях и сопутствующих мыслях, может выявить, насколько неадекватным может быть такой “гладко” заполняемый вопрос.

В качестве примера приведем выдержку из методического интервью, проведенного по просьбе автора Галиной Вохмен-цевоЙ. Респондент — молодой рабочий, прошедший службу в армии, со средним образованием.

“Респондент (зачитывает вопрос анкеты): ЧТО ТАКОЕ ХО­РОШАЯ РАБОТА? ЧТО ОНА ДОЛЖНА ДАВАТЬ ЛЮДЯМ?

Интервьюер: Понятен вопрос?

Респондент: Да, понятен.

Интервьюер: Читайте дальше.

Респондент (читает первый вариант закрытия):

1. Постоянно совершенствоваться.

После прочтения респондентом этой подсказки диктофон за­фиксировал 40-секундную паузу. Затем респондент трижды пы­тался начать какую-то фразу, отражающую его мнение по поводу данной формулировки, но эта фраза у него не складывалась. Наконец он сказал: "Что значит “постоянно совершенствоваться?” Я этого не понимаю. Это квалификацию повышать, что ли? Но то­гда так и надо было написать. А так это бессодержательно..."”.

В завершение данного параграфа следует рассмотреть во­прос о выборке в пилотажных исследованиях. В отечественных источниках указывается, что объем выборки должен составлять от 50 до 100 человек. По нашему мнению, существуют разные ти­пы пилотажей, и объем выборки при их проведении должен быть различным. В целом при проведении пилотажных исследований сохраняет силу принцип, согласно которому меньшей степени формализации опроса должен соответствовать и меньший объем выборки. Можно, конечно, провести по анкете и 100 свободных интервью, однако целесообразнее двигаться поэтапно, осуще­ствляя, как уже было сказано, 3-5 пилотажных исследований, и проводя после каждого этапа доработку и коррекцию инстру­ментария. Думается, что по ни разу не пилотировавшейся анкете достаточно провести свободное интервью с 5-10 респондентами. Как показывает практика, этого числа бесед оказывается более чем достаточно для осознания необходимости существенной ее переработки. Следующие этапы пилотажа могут потребовать опроса большего числа респондентов с целью выявления различ­ных неучтенных анкетой типологических случаев, уже сравни­тельно редких, но возможно составляющих 10-15 % в выборке. Степень формализации вопросника может при этом, навер­ное, возрастать, но отрефлексированным методическим опытом по данному вопросу мы не располагаем. С целью снижения трудоемкости исследования по увеличенной выборке может пи­лотироваться уже не вся анкета, а лишь отдельные ее блоки или вопросы. Выборки для пилотажей должны составляться по типу квотных, чтобы при опросе были учтены различия в ролевых позициях и, по возможности, в типах личности респондентов.