2. 2. Критерий качества данных опроса.

 

Качество, социологических данных, которые будут получены в]результате исследования, в значительной мере зависит от качества ' применявшейся методики опроса. При этом ошибки, допущенные при проектировании методики опроса или на этапе его проведения, как правило, не поддаются исправлению на последующих этапах исследования, т. е. данные, собранные ненадежным инструмента­рием, не станут более доброкачественными от применения изощрен­ных методов математического анализа, а их интерпретация практически лишена смысла. Опросник, как инструмент, предназначенный для сбора первичных социологических данных, считается надежней втом случае, если он а) обоснован относительно целей его использования, т. е. обеспечивает получение искомой информации; б) дает достоверную, т. е. адекватно отражающую изучаемые аспекты социальной реаль­ности, информацию и в) дает устойчивые данные, т. е. данные, вос­производимые при повторении исследования в аналогичных условиях.

Достоверность информации — это свойство метода давать информацию, адекватно отражающую изучаемую реальность по измеряемым характеристикам. Перед любым социологом, проводящим опрос, стоит задача такой организации условий сбора информации, что- бы полученные данные обладали достаточно высокой достоверностью.

Прежде чем разрабатывать вопросник, подбирать интервьюеров, у исследователю необходимо разобраться, каким должно быть поведе­ние респондента при ответе на вопросы и при каких условиях мож­но получить достоверные данные. И только после этого исследователь приступает к разработке вопросника, отбору интервьюеров, обеспечению условий, которые необходимо создать в процессе опроca, чтобы получить достоверные данные.

Поведение опрашиваемого при заполнении вопросника можно представить в виде некоторой условной схемы:

 

Для получения достоверных данных необходимо, чтобы опраши­ваемый 1) воспринял нужную информацию; 2) правильно понял ее; 3) смог вспомнить, если это требуется, о каких-то событиях прош­лого; 4) выбрал или сформулировал ответ, соответствующий его мнению или фактическому положению дел; 5) смог адекватно вы­разить в словах выбранный им ответ. Понятно, что этого недостаточ­но для получения достоверных данных. Необходимо, чтобы опраши­ваемый не только мог, но и хотел искренне ответить на вопросы. Таким образом, исследователь должен так организовать опрос, чтобы в процессе его осуществлялась актуализация возможностей респондентов и формировалась мотивация к участию в исследова­нии. Качество первичной информации зависит от качества методики, применяемой для ее получения. Поэтому оценку качества первич­ных данных правомерно производить в зависимости от качества измерительного инструмента.

Назначение социологического вопросника (бланка интервью или анкеты) в том, чтобы с его помощью замерить определенные пере­менные, имеющие отношение к предмету исследования, например, мнения или установки респондента по интересующему исследовате­ля вопросу, некоторые социально-демографические характеристики респондентов и пр.

Под устойчивостью инструмента измерения понимают степень воспроизводимости результатов измерения при повторном использовании этого инструмента на той же группе и при тех же условиях.

Численными характеристиками устойчивости могут Служить по­казатели устойчивости, в роли которых выступает обычно величины расхождений между результатами нескольких измерений одной и той же переменной с помощью одной и той же процедуры при сох­ранении условий измерения. Устойчивость инструмента в целом мож­но проверить путем повторного опроса.

Под обоснованностью измерительного инструмента понимают степень соответствия между регистрируемыми в процессе измере­ния характеристиками и теми характеристиками, которые планиро­валось измерить.

Обоснованный инструмент измерения должен быть устойчивым. Действительно, низкая корреляция результатов повторных измере­ний через сравнительно небольшие промежутки времени характери­зует либо неустойчивость измеряемой характеристики, либо то, что инструмент измеряет целый ряд сопутствующих факторов, напри­мер, связанных со временем и местом измерения. Поскольку боль­шинство измеряемых при опросе факторов (интересующих социоло­га), как правило, сравнительно устойчивы на протяжении опреде­ленных временных интервалов, единственным выводом из низкой воспроизводимости результатов измерения является утверждение о том, что применяемый инструмент измерения не является адекват­ным исследовательской задаче, т. е. его применение не обоснованно.

Выбор того или иного доказательства обоснованности конкретного инструмента определяется как типом исследуемых характеристик, так и целями исследования.

Всю систему доказательств можно условно разбить на две группы.

В первую группу входят доказательства того, что конструкция вопросов (респонденту и т. д.), вошедших в измерительный инстру­мент, адекватно отражает измеряемые характеристики, дает именно ту информацию; которую планировал получить исследователь при построении вопроса.

Среди них можно выделить следующие.

Релевантность. Определяется тем, насколько разумно выбрана данная форма инструмента для измерения данной характеристики. Понятие релевантности связано с вопросом о том, можно ли на ос­новании результатов измерения судить о наличии у респондентов определенных знаний, личностных характеристик, мнений и устано­вок. Весьма распространенная ошибка, связанная с нарушением этого требования, допускается, например, в тех случаях, когда для полу­чения информации о знаниях респондента применяется в качестве единственного и достаточного инструмента анкетный вопрос, выяс­няющий самооценку респондентом своих знаний. Например, при планировании бесед, лекций, семинаров на международные темы организаторам политического просвещения необходимы данные об информированности аудитории по конкретным, проблемам междуна­родной обстановки. В связи с этим авторы анкет нередко обраща­ются к респондентам с вопросами типа: «Насколько Вы информи­рованы по поводу проблемы А, вопроса Б, события В?» Отвечая на них, респондент обычно отмечает одну из предложенных оценок; «xopoшo», «средне» или «слабо».

При таком построении вопроса происходит не всегда осознавае­мая исследователем подмена информации о знаниях информацией о том, как человек оценивает эти знания. Критерии оценки знаний у разных людей зачастую не совпадают с теми, которые подразу­меваются исследователем, когда он задает вопрос. Малоинформиро­ванный слушатель может быть вполне доволен имеющимся у пе­го запасом знаний и оценит свою информированность как хорошую. В то же время человек, обладающий более высоким уровнем знания, но испытывающий дефицит интересующей его информации, выберет оценку «средне» или «слабо». Между тем довольно часто авторы по­добных вопросов интерпретируют ответы на них как данные о фак­тическом уровне знаний респондентов, хотя в действительности речь идет только об их самооценках.

Достоверную информацию о знаниях можно получить с помощью вопросов экзаменационного типа, содержащих задания, эксперимен­тальные ситуации, решение которых требует от респондента исполь­зования определенных сведений, навыков, а также знакомства с конкретными событиями, именами. Вопросы такого типа напо­минают психологические тесты. Например, одним из индикаторов информированности слушателей о международном положении может быть знакомство с именами политических деятелей зарубежных стран. Для выяснения информированности можно предложить спи­сок имен, включающий не только политиков, но и деятелей искус­ства, науки, спорта. Задача заполняющего анкету состоит в том, чтобы указать, «кто есть кто», или поставить прочерк рядом с име­нами ему неизвестными⁶.

Другим необходимым показателем информированности аудито­рии по международным проблемам может стать степень знакомства слушателей с терминами, широко употребляющимися во время политических занятий, в газетных; текстах и т. д.

Для получения таких данных анкету включается вопрос с пе­речнем терминов, значение которых респонденты объясняют в пись­менной форме. Полученные ответы исследователь анализирует и оценивает по следующим критериям: высокая степень знания тер­мина, совпадающая с его широким аналитическим толкованием (оп­ределением в словарях, справочниках, энциклопедиях средняя сте­пень знания термина, совпадающая с одним из значений, характер­ных для конкретного текста; незнание термина или его ошибочное толкование.

Опрос взрослого населения в г. Таганроге, проведенный с исполь­зованием подобного теста, включавшего 50 политических и международных терминов, взятых из газет, доказал, что только 2% опро­шенных, знают значения не менее 44 терминов, т. е. почти весь пе­речень. Большая часть ответивших —164 % — знакомы со значениями 26;—37 слов, 25% понимают смысл 38—43. слов и 9% участни­ков опроса располагают информацией о значении 25 слов, т. е. вла­деют половиной предложенного списка⁷.

Совокупность данных подобного рода дает исследователю объек­тивную картину, характеризующую информированность аудитории, в отличие от вопросов о том, как люди оценивают собственный за-. пас знаний.

Таким образом, для решения данной исследовательской задачи вопросы экзаменационного типа должны быть признаны релевант­ными, а вопросы о самооценках — нерелевантными. Релевантность может быть доказана как логическим путем, так и с помощью ме­тодического эксперимента.

Нейтральность. Степень нейтральности инструмента, определяющаяся ответом на вопрос о том, зависит ли оценка данной характеристики, получаемой при помощи данного инструмента, только от степени ее выраженности, или же на ее значение влияют какие-то дополнительные факторы. Обеспечение этого требования при конструировании вопросов анкеты связано с учетом различных социально-психологических факторов, влияющих на фор­мирование ответа респондента. Например, вопросы о знаниях, ка­жущиеся исследователю совершенно нейтральными, могут в опре­деленных ситуациях вызывать сильное воздействие фактора прести­жа, самоуважения респондента. Это происходит в том случае, Когда речь идет, например, о выяснении уровня необходимых профессио­нальных знаний. Множество явлений, интересующих социолога, свя­зано с авторитетом, престижем, материальными интересами опрашиваемых. Получение данных о престижных и социально не одобряе­мых видах поведения, данных об источниках косвенных доходов, исполнении родительских обязанностей и т. п. требует от исследова­теля обеспечения нейтральных формулировок вопросов и экспери­ментальной проверки их нейтральности в пробном исследовании.

Доступность. Смысл этого норматива состоит в том, чтобы все респонденты могли понять содержание заданий или вопросов. Со­ответствие вопроса анкеты этому требованию требует эмпирической проверки в пробном исследовании.

Различающая способность.Инструмент должен быть сконструирован таким образом, чтобы мог фиксировать с необходимой степенью дробности различия среди респондентов относительно измеряемых характеристик. Однако, начиная с некоторой пороговой величины увеличение различающей способности измерительного ин­струмента ведет к уменьшению его надежности.

Ко второй группе относятся доказательства обоснованности, связанные с решением вопроса о том, насколько результаты, получен­ные при применении данного инструмента, согласуются с информа­цией об измеряемых характеристиках, полученной другими спосо­бами.

Среди доказательств этого типа выделяются следующие

«Тест по известной группе». В этом случае сконструированный инструмент проверяется на группе лиц, относительно которых точно известно распределение измеряемых характеристик.

Обоснованность по совпадению. Достаточно часто доказательст­вом обоснованности разработанного инструмента измерения может служить высокий коэффициент корреляции результатов, полученных при применении данного инструмента и другого (готового) инстру­мента, известного своей обоснованностью.

Проверка надежности и обоснованности измерительного инстру­мента является сложной и трудоемкой процедурой. Но такая про­верка необходима, иначе трудно говорить о научном значении ре­зультатов, полученных при применении метода опроса,