Эмпирическая проверка вопросника.

Для каждого вопроса, ко­торый вызывает предположения о возможных несоответствиях ка­ким-либо критериям из предложенной схемы анализа, должна быть разработана процедура эмпирической проверки в пробном иссле­довании.

Возможны несколько вариантов такой проверки.

Интервью об интервью. Данные о том, как респонденты понима­ют смысл отдельных заданий, содержащихся в вопросе, о том, как они интерпретируют значения отдельных слов, терминов, выраже­ний, могут быть получены с помощью дополнительных вопросов, которые интервьюер задает респонденту, только получив ответ на вопрос анкеты. Например: респондент назвал некоторую сумму в ответ на вопрос о том, сколько примерно нужно денег для того, чтобы содержать семью из четырех человек — родители и двое детей школьного возраста. После этого интервьюер задает дополни­тельный уточняющий вопрос о том, какие расходы имел в виду респондент, учитывал ли он при этом квартплату, расходы на одежду, питание или что-либо еще? Оказывается, что некоторый из респондентов понимают выражение «содержать семью», как прокормить семью», и после уточняющего вопроса называют сум­му вдвое большую. Если подобные случаи встречаются часто, не­обходимо уточнить содержание данного термина, раскрыв его в формулировке вопроса.

Вопросы подобного рода, выясняющие систему соотнесения оп­рашиваемых, продумываются заранее при составлении программы пробного исследования и включаются в текст пилотажной анкеты вслед за вопросами, понимание которых они должны уточнить.

Таким, образом, структура пилотажного варианта вопросника как бы удваивается: кроме содержательных вопросов, она включает своеобразное «интервью об интервью», цель которого — сбор мето­дической информации.

«Интервью об интервью» можно оформлять в виде отдельного документа, в который включены только те вопросы, о которых нужен дополнительный разговор с респондентами.

«Интервью об интервью» должно включать такие методические вопросы, как «время начала беседы» (в начале вопросника) и «вре­мя окончания беседы» (в конце вопросника), вопросы об утомляе­мости респондента, о том, приходилось ли респонденту раньше уча­ствовать в опросах, о согласии участвовать в подобных опросах в дальнейшем, и традиционный вопрос о пожеланиях и критических замечаниях по поводу содержания анкеты и организации опроса.

Методический эксперимент. Программа пробного исследования* может включать специальные методические процедуры, имеющие целью выяснение структуры представлений, языка опрашиваемых, их аналитических возможностей². Например, возможно применение специальных тестов на проверку понимания отдельных слов, тер­минов, выражений, которые содержатся в формулировках вопросов. Например, в пробном исследовании, где испытывалась методика опроса, предназначенная для всесоюзного исследования аудитории газеты «Правда»², респондентам предлагался тест на понимание, ряда слов, содержащихся в плане интервью для читателя, куда включались такие понятия и словосочетания, как «оперативность_N информации», «рубрика в газете», «передовая статья», «полнота ин­формации», «статьи по экономике и народному хозяйству» и др.

По поводу вопросов, формулировки которых, в предварительном анализе были оценены как ненадежные, может быть спланирован специальный методический эксперимент. Вопрос формулируется в двух вариантах; для каждого варианта разрабатываются методиче­ские гипотезы об их пригодности для получения искомой информа­ции; определяются те эмпирические факты (поведение или ответы респондентов) по которым можно будет судить о том, какие гипо­тезы подтвердились. В пробном исследовании испытываются оба ва­рианта, полученные данные анализируются и служат основанием для выбора наиболее работоспособного варианта вопроса.

Наблюдение. Большая часть пробных исследований основана именно на этом методе, в частности на неструктурированном на­блюдении. Интервьюер в процессе опроса накапливает впечатления о том, как относятся респонденты к теме опроса, нет ли проявлений непонимания вопросов, какова компетентность опрашиваемых по поводу отдельных вопросов, нет ли признаков утомляемости и т.д.

Обычно впечатления интервьюеров во время пилотажного исследования обсуждаются на методических совещаниях по свежим следам: на следующий день после опроса проводится совещание с обменом впечатлениями, и замечаниями, их обсуждение с под­робным протоколом. После окончания пилотажа, где записи ана­лизируются и вопросник дорабатывается.

Результаты неструктурированного наблюдения можно систематизировать с помощью специальной «Анкеты интервьюера», кото­рую интервьюер может заполнять в конце пилотажа, обобщая впе­чатления от всех проведенных им бесед с респондентами.

Возможен другой вариант, когда единицей наблюдения становится не анкета в целом, а каждая отдельная ситуация опроса. Тогда «Анкета интервьюера» заполняется на каждое проведенное интервью, а анализ данных, содержащихся в анкетах, позволяет выяснить особенности восприятия и понимания вопросов различ­ными возрастными, образовательными и другими социально-демографическими группами респондентов.

Разделение функций наблюдателя и интервьюера. Применение метода наблюдения в пробном исследовании будет более эффектив­ным, если проведение опроса и наблюдение за ситуацией взаимо­действия его участников поручить разным исполнителям: интервью­еру и наблюдателю.

Интервьюер ведет беседу по предметной части опросника, за­дает дополнительные вопросы, связанные с анализом методиче­ского качества опросного инструментария, фиксирует полученные ответы.

Наблюдатель следит за ходом интервью и фиксирует все до­ступные наблюдению события, явления, признаки, составляющие социально-психологический контекст беседы. При этом появляется возможность использовать структурированное наблюдение по зара­нее разработанному плану. Разработка плана структурированного наблюдения ведется в соответствии с общепринятыми требования­ми к этой методической процедуре.

Например, при апробации плана интервью, разработанного для уже упоминавшегося исследования аудитории газеты «Правда», применялся метод неструктурированного наблюдения с разделением функций интервьюера и наблюдателя. Во время инструктажа ин­тервьюеров и наблюдателей определялись общие направления на­блюдений, связанные с методическими характеристиками ситуации опроса. Учитывались признаки: а) ситуационного характера опро­са — продолжительность интервью, утомляемость респондента, влия­ние третьих лиц, отношение к опросу; б) психологические особен­ности восприятия вопросов анкеты: понимание смысла вопросов, понимание отдельных терминов, употребляемых в анкете, способ­ность к анализу собственного читательского поведения, способность к анализу деятельности газеты как основа формирования чита­тельских оценок и мнений о газете, выяснялась также взаимная информированность членов семьи об отношении к газете и читательских интересах друг друга.

Для получения искомой информации использовались формали­зованные вопросы методического характера, которые задавались респондентам в процессе интервью дополнительно к основным во­просам анкеты. Каждое интервью проводилось двумя социологами (мужчиной и женщиной) — интервьюер и наблюдатель, которые по­очередно менялись ролями. Наблюдатель записывал в «Дневнике наблюдений» все виды наблюдаемых реакций респондента, сопут­ствующие его ответам на отдельные вопросы анкеты (реплики, уточ­нения, отступления от предмета интервью, недоуменные вопросы и разъяснения интервьюера, проявления поспешности, утомляемости и т.д.).

Записи в дневниках наблюдателей при последующей обработке систематизировались: на каждый вопрос анкеты составлялась методическая характеристика в зависимости от зафиксированных на­блюдателями реакций респондентов.

Апробация структуры анкеты и методических инструкций по ее заполнению. Анализ и эмпирическая апробация отдельных вопро­сов анкеты не исчерпывают задач, связанных с пробным исследо­ванием. Анкета, как уже указывалось, не просто совокупность во­просов, а целостный инструмент, предназначенный для получения комплекса взаимосвязанных данных, образующих эмпирическое описание изучаемого объекта. Знакомясь с вопросами анкеты, респон­дент воспринимает их во взаимосвязи, формирует целостный образ темы опроса, причём в процессе опроса мотивация сотрудничества с интервьюером может меняться от положительно активной до фор­мально безразличной или негативной, ведущей к отказу. Функция создания и поддержания положительного отношения к опросу связана со специальными методическими частями вопросника: планом (или примерным текстом) вводной беседы, контактными вопросами, переходами от одного блока вопросов к другому, с вопросами, пред­назначенными для снятия напряжения, отвлечения, и с другими приемами, объединяющими вопросы анкеты в целостную беседу.

Все виды реакций респондентов на эти специальные методиче­ские приемы фиксируются в пробном исследовании методом на­блюдения, выявляются с помощью специальных вопросов а «интер­вью об интервью», а контролируются в «Анкете интервьюера».

Важной задачей, входящей в апробацию структуры анкеты является обнаружение возможного влияния предшествующих ответов на последующие. Предположения о таком влиянии формируются на этапе предварительного анализа логики построения блока во­просов в пилотаже эти предположения проверяются путем применения двух вариантов с разной последовательностью вопросов.

Указания по технике заполнения вопросника могут быть адре­сованы либо респондентам (если вопросник рассчитан на проведе­ние анкетирования), либо/интервьюерам, если в основном опросе будет использоваться метод интервью. Независимо от варианта, планируемого для основного исследования, пилотаж всегда проводится методом интервью. Однако если проверяется пригодность инструкций, адресованных респондентам, то интервьюер предлагает опрашиваемому самостоятельно прочитать вопрос и указания по его заполнению по тексту анкеты и сообщить интервьюеру выбран­ный вариант ответа. При этом фиксируются все случаи обращения респондента за разъяснениями по поводу техники заполнения вопроса.

Если проверяется инструкция по технике заполнения, адресо­ванная интервьюеру, то вопросы, вызвавшие затруднения в технике заполнения, оставляются незаполненными, а формулировка ответа, вызвавшего затруднения при регистрации, записывается дословно. Анализ подобных ситуаций, зафиксированных в пилотаже, является основой для доработки инструкций интервьюеру.