Последовательность проверки инструмента измерения

При проектировании эксперимента, анкеты или теста и обработке полученных результатов исследователь обычно учитывает поддающиеся учету ошибки по их типам и источникам. В данном разделе изучается надежность и валидность всего инструмента измерения в целом.

Конечно, всегда существует опасность того, что респондент сам не имеет четкого мнения и от этого его ответы будут недостоверны. Но, во-первых, на респондента нельзя повлиять и исследователю остается только проверить сам инструмент, а во-вторых, надо так разработать инструмент исследования, чтобы он мог выявить эту нечеткость мнений. Как было показано выше, введение пункта нет мнения– лишь очень примитивная мера для этого. Поэтому здесь рассматриваются меры по проверке и улучшению свойств самого инструмента исследования – анкеты или теста.

Первым шагом является кабинетный анализ анкеты. Лучше, если, кроме автора, его выполнят один-два опытных рецензента.

Затем целесообразно провести обсуждение в фокус-группе (оно может предваряться докладом автора анкеты и рецензентов). При этом обычно выявляется большое число неточностей, а опыт коллег поможет избежать типовых ошибок.

Но эти шаги не могут являться окончательной проверкой. Необходимо пробное исследование нового инструмента. Оно может охватывать от 30до100респондентов. По результатам такого пробного опроса можно сделать окончательные выводы о пригодности разработанного инструмента. Анализ рекомендуется проводить согласно схеме, предложенной в [8]. При этом вначале используются более простые формальные методы, а затем, при положительном результате – более сложные, эвристические и экспертные.

Дифференцирующая способность анкеты

Вначале проверяется общая приемлемость данного способа измерения. Если она не обеспечивается, то дальнейшая разработка данного инструмента и его проверка просто не нужны. Необходимо разрабатывать новый инструмент или радикально переделывать имеющийся. Существует ряд недостатков анкеты, снижающих валидность. Наиболее легко выявляются недостатки, снижающие дифференцирующую способность анкеты (возможность различать респондентов по результатам анкетирования).

1. Отсутствие разброса ответов. Это бывает, если выбраны неудачные варианты ответов, не соответствующие имеющимся мнениям по данному вопросу, или если респонденты отвечают на вопрос, выражая общепринятое мнение. Такой вопрос полностью непригоден для анкетирования.

Аналогичная ситуация может возникнуть, если для проверочного опроса были выбраны респонденты с похожими характеристиками²³⁹. Если, например, тест предназначен для проверки знаний студентов, то его следует проверять на респондентах, имеющих различную успеваемость, чтобы убедиться в его дифференцирующей способности. В данном случае, так как размер выборки сравнительно невелик, более пригодна детерминированная выборка по квотам.

2. Использование части шкалы ответов. Пусть для ответа на некоторый вопрос была предложена шкала

Очень плохо , плохо , удовлетворительно , хорошо , очень хорошо .

Часто оказывается, что респонденты используют только ее часть. Например, в пробном исследовании встречаются только последние три ответа. В этом случае респонденты не считают, что дело обстоит плохо.

Такой вопрос нуждается в перепроектировании, так как разница во мнениях становится не столь заметной, если используются только три градации из пяти. Обычно те градации, на которые падает менее 5%ответов, удаляются (конечно, если нет особых соображений по их сохранению).

То же относится и к количественным оценкам. Например, в анкете о курении может быть вопрос:

Сколько сигарет Вы выкуриваете в день? Одну , две , три…пять , шесть…десять , более .

Может оказаться, что большинство респондентов ответило более, лишь часть –шесть… десять, два человека –три…пять, а остальные ответы не выбрал никто. В данном случае шкала ответов была выбрана неправильно. Ее следует перепроектировать.

Не стоит поддаваться соблазну дать полный набор ответов, охватывающих весь мыслимый диапазон значений. Во-первых, нереальные ответы подорвут доверие к опросу, а во-вторых, большое число вариантов ответа затруднит его. Для выбора диапазона ответов рекомендуется предварительное исследование, например, по вторичным данным или по литературным источникам.

3. Неравномерное использование отдельных пунктов шкалы. Если предлагается десятибалльная шкала ответов, то многие респонденты считают ее вариантом пятибалльной и предполагают, что 10это5,8это4и т. д. При обработке ответов окажется, что ответы10, 8, 6, 4, 2встречаются значительно чаще.

Существует и другой тревожный симптом. Пусть предлагаются пять вариантов ответа, выраженных словесно, но имеющих порядковую природу. Например,

Данная модель – одна из лучших ; данная модель не хуже многих; данная модель не хуже и не лучше других; есть много моделей лучше этой; данная модель хуже многих других.

Если оказывается, что третий ответ используется значительно реже других, в то время как имеется много как лучших, так и худших мнений, то это говорит о неудачной формулировке данного ваиранта ответа. Действительно, в понятие «другие» модели можно включить и хорошие, и плохие. Тогда становится непонятной суть третьего ответа. Для таких ситуаций существует рекомендация: ответ считается плохим, если его значения сильно отличаются от соседних.

4. Решение по обработке выбросов. Выбросы вносят большие искажения в результаты анализа. Хотя в принципе большие отклонения от средних значений могут быть обусловлены и действительными различиями мнений респондентов, их обычно исключают из рассмотрения. Пороговое значение для выброса устанавливается в соответствии с некоторым уровнем значимости. В дальнейшем можно исследовать исключенные значения отдельно. Часто оказывается, что они наиболее интересны. Например, единственный покупатель очень большой партии товара может стать постоянным и выгодным партнером.