Стабильность результатов измерений

Далее описанными выше методами проверяется стабильность результатов опроса.

Если она оказывается низкой, то следует выяснить различаемость пунктов используемой шкалы. Каждый возможный ответ должен быть строго отделен от соседних. Тогда респонденты будут более четко повторять свои оценки.

Главная проблема заключается в том, сколько пунктов должно быть в ответе. Если их только два (например, да , нет ), а респондент не уверен в ответе, то он будет давать разные ответы при повторных опросах. В данном случае количество ответов недостаточно. Если же, например, на вопрос о ежемесячных расходах на продовольственный товары предложить ответы в диапазоне от100до20000рублей с градацией10рублей, то их будет слишком много. Во-первых, респондент может запутаться в них, а во-вторых, такая точность просто не нужна. Оценка респондента все равно будет грубой.

Чувствительность шкалы – это количество делений, приходящихся на единицу измеряемой величины.

Задача состоит в том, чтобы выбрать наилучше соотношение между чувствительностью и стабильностью.

Для примера с вопросом о расходах обычно специальным исследованием или методом экспертных оценок определяют точность, с которой респондент дает ответ. Количество градаций выбирают таким, чтобы разность между соседними значениями составляла половину этой точности. Тогда стабильность ответов будет наибольшей.

Если оказывается, что градации ответов смешиваются респондентами, то возможны два варианта дальнейших действий.

• Уменьшить число градаций в окончательном варианте анкеты (например, вместо 10вариантов ответа предлагать5).

• Оставить число градаций прежним, но при обработке «загрублять» ответы, объединяя в один ответ несколько градаций. Из 10вариантах ответа в анкете выделять5вариантов, объединяя в один ответ значения10и9, 8и7 и т.д.

Второй способ предпочтительнее, так как стимулирует респондента давать более взвешенные ответы.

Если предыдущие шаги сразу дали положительный результат, или выявленные ошибки были устранены, можно переходить к более сложной и трудоемкой работе – проверке валидности содержания.

Валидность содержания

На этом этапе проверяется соответствие того, что измерено, тому, что должно быть измерено.

Существует подход, называемый наличной обоснованностью. Согласно этому подходу считается, что отношение к курению это ответ на вопрос

Как Вы относитесь к курению?

Если так, то можно проверить соответствие ответов, полученных с помощью специально разработанной анкеты, выявляющей отношение к курению, и ответов на данный вопрос.

Однако ранее было показано, что ответы на подобные вопросы не выявляют истинного отношения. Так что такой подход неприемлем для серьезных исследований.

Более полезным является подход, при котором используют ряд вопросов, связанных общей темой. Это, по сути дела, тест. Как его проектировать, было рассказано в разделе «Проектирование тестов», а здесь следует напомнить, что вопросы должны подбираться так, чтобы они освещали общую тему с различных сторон.

Еще одним способом проверки валидности содержания является использование двух или более инструментов для измерения одного и того же признака.

Этот способ, при всей его концептуальной ясности, имеет ряд недостатков.

• Он довольно сложен, так как требует разработки по крайней мере двух инструментов измерения.

• Если получено различие в оценках, то неясно, какой из инструментов более правильный.

• Даже если различия между результатами незначительны, все равно остается неясным, измерялась ли одна характеристика или две различных, но имеющих высокую корреляцию. Необходима дополнительная проверка того, что эти инструменты измеряют одну и ту же характеристику.

• Если разрабатывается два инструмента (две шкалы измерения некоторого признака) и они включаются в одну анкету для взаимоконтроля, то часто оказывается, что ответы получаются различными и даже противоречивыми. Это объясняется тем, что респонденты хуже отвечают на длинные анкеты и понимают вопросы по-разному²⁴⁰.

Поэтому можно рекомендовать просто сверять полученные данные с данными предыдущих исследований или опубликованными данными.

Для проверки валидности могут привлекаться судьи. Это определенная группа людей (непрофессионалов!), которые высказывают свое мнение. Обычно это представители той совокупности, которая будет исследоваться.

Судьям предлагается, например, оценить правильность выбора признаков, используемых для оценки психологической характеристики или изучаемого явления. Если имеется единогласное или почти единогласное мнение, что данный признак полезен для данного опроса, то он сохраняется. Именно на этом принципе основан метод Турстоуна для разработки анкет (см. раздел «Метод равных интервалов Турстоуна и Чейва197»).

Достоинство данного метода заключается в том, что он основывается не на формальной обработке данных, а имеет дело с их смыслом. В настоящее время оперировать со смыслом исследования, выдвигать и оценивать гипотезы могут только люди.