Процедура тестирования

Из приведенных выше восемнадцати шагов, необходимых при проектировании вопросника, только первые шесть подробно обсуждались в этой книге. Научные представления о конструк­ции вопросника составляют лишь часть всей работы. На конеч­ном этапе каждый вопросник должен быть протестирован и от­редактирован применительно к реальным условиям.

Даже при наличии многолетнего опыта ни один эксперт не может создать вопросник, совершенный во всех отношениях. Наш опыт проектирования вопросников превышает пятьдесят лет, и тем не менее нам ни разу не удавалось составить хороший вопросник с первого раза. Мы думаем, что сказанное относится и к другим социальным исследователям, хотя они иногда заявля­ют, что могут написать вопросник, не требующий никаких ис­правлений. Мы знаем многих начинающих социологов, истра-

276

С. Садмен, Н. Брэдбери

С самого начала и до конца

277

тивших все свои ресурсы после рассылки первого чернового ва­рианта вопросника и оказавшихся перед фактом, что некоторые ключевые вопросы понимаются неверно. Для исследователей с ограниченными ресурсами очень важно успеть провести пилотаж до того, как они их израсходуют. Если у вас нет средств на про­ведение пилотажного исследования вашего вопросника, не прово­дите опрос.

Последовательность действий при проектировании вопросни­ка направлена на минимизацию затрат, связанных с последую­щим его корректированием. Так, при опросе друзей и сотрудни­ков тестирование и получение относительных оценок исправленного вопросника не может потребовать значительных затрат. Поэтому этот вариант всегда реален для проектировщика вопросника и работающего с ним персонала. Исследователю по­лезно сыграть роль респондента и ответить на все предлагаемые вопросы. Зачастую авторы вопросов обнаруживают, что не могут ответить на них в том виде, как они написаны.

И в НЦИОМ, и в СИЛ нередко используется то, что называ­ется «коллективным разумом». Коллеги проектировщика вопро­сника, заранее получив черновой вариант, собираются для об­суждения текста. Для автора - это всегда горький опыт, но в то же время - быстрый и эффективный метод усовершенствования вопросника.

На стадии тестирования обнаруживаются и корректируются многие изъяны, но не все. Поскольку первичное апробирование проводится на людях, близких к автору по образу мышления, знаниям и др., при тестировании на выборке, близкой к реаль­ным респондентам предстоящего исследования, выясняются новые проблемы. Кроме того, если проводится неписьменный опрос, требуются интервьюеры. Поэтому необходимо подгото­вить инструкции и провести инструктаж интервьюеров. На этой стадии исследователь часто обнаруживает неясные места, кото­рые следует устранить, прежде чем продолжится инструктаж.

Пилотаж отличается от основного исследования. Выборка со­стоит из людей, которые, как правило, легче высказывают свое мнение, чем основная группа респондентов, и интервьюер имеет возможность вести себя более свободно. Если же в основном ис­следовании должны принимать участие лица с низким уровнем образования, не понимающие отдельных слов или смысла вопро­сов, их обязательно следует включать в выборку для тестирова­ния. После пилотажа интервьюеры обычно обсуждают с респон­дентами, какие из вопросов были недостаточно ясными или трудными для понимания. Очень полезно также авторам вопро­сников или инспекторам полевых отделов следить за ходом не­которых пилотажных интервью, чтобы можно было обнаружить вопросы, которые неверно интерпретируются интервьюерами

и/или респондентами. При проведении сложных исследований имеет смысл встретиться с интервьюерами после тестирования, чтобы выяснить проблемы, с которыми им пришлось столкнуть­ся. При проведении более простых исследований обычно доста­точно ознакомиться с отчетами интервьюеров и комментариями, записанными в вопроснике.