8. Проверка предыдущих стадий и их корректировка

Выполнив рассмотренные выше стадии, исследователь имеет перед собою макет анкеты, который еще раз он должен перепроверить и убедиться в его корректности.

9. Предварительное тестирование анкеты и устранение недостатков

Хорошую анкету трудно составить даже профессионалу. Поэтому необходимы не только предварительные исследования (до составления анкеты), но и тесты (после ее составления).

Как бы тщательно не была проведена проверка, утверждать, что анкета готова к применению, нельзя.

Дело в том, что проверку осуществляют люди, глубоко вовлеченные в исследование, хорошо знающие его задачи и цели. Реакция респондентов на анкету может оказаться несколько иной.

Поэтому заключительной стадией подготовки анкеты является ее предварительное тестирование, цель которого – устранение недостатков по результатам пробного анкетирования.

Тестирование помогает выявить:

• неясные вопросы,

• вопросы, на которые по тем или иным причинам получен низкий процент ответов,

• недостатки в оформлении, мешающие респондентам,

• не опущены ли важные вопросы или, напротив, не слишком ли велико их общее число,

• не утомляет ли респондентов объем анкеты.

Результаты, полученные после пробного анкетирования, подлежат анализу, после которого в анкету вносятся последние корректировки.

При объемных исследованиях пробное анкетирование может производиться несколько раз для выяснения теперь уже корректности изменений. После последней корректировки исследователь имеет готовый инструмент для своего исследования.

При проведении экспертного опроса предварительное тестирование анкеты обычно не производится, что связано с тем, что в качестве респондентов выступают специалисты, оперирующие теми же терминами, что и составители анкет.

Этапы тестирования анкеты

1. Внутреннее тестирование анкеты (тестирование анкеты усилиями специалистов компании, проводящей исследование).

В процессе такой проверки обращают внимание:

• на полноту (но не избыточность) анкеты;

• четкость формулировок, отсутствие двусмысленностей и соответствие типу требуемой информации;

• легкость восприятия и наличие четкой организации анкеты.

2. Предварительное (пилотажное) тестирование.

Предварительное (пилотажное) тестирование – это проверка анкет на выборке малого объема для определения и устранения ошибок в разработке и тиражировании анкет. Характеристики пилотажной выборки должны соответствовать исследуемой выборочной совокупности, а ее размер не превышает 20-30 человек.

Способы проведения предварительного тестирования

1. Тестирование производится путем личного интервью, так как в этом случае интервьюер может составить личное впечатление об отношении респондентов к анкете.

2. Если анкетировать потребителей предполагается с использованием анкеты почтой, телефонного опроса или современных информационных технологий, то рекомендуется проводить повторное тестирование для локализации проблем, связанных с методом сбора данных.

Процедура предварительного тестирования

1. В предварительном тестировании обычно участвует много интервьюеров, как опытных, так и начинающих, ведь они могут получить разную информацию о качестве инструментария.

2. Для проведения предварительного тестирования используют методы протокольного анализа и собеседования.

Протокольный анализ заключается в фиксации (например, путем записи на магнитную ленту) процесса анкетирования и в последующем анализе полученной информации. Обычно протокольный анализ выявляет пустоты в модели анкеты.

3. Исследователь может тестировать как отдельные вопросы в анкете, так и всю анкету.

Тестирование отдельных вопросов необходимо по ряду причин.

– выявляется разброс мнений (он должен быть незначительным);

– проверяется соответствие смысла, заложенного в вопрос, интерпретации этого вопроса респондентом (свободная интерпретация вопроса респондентам не допускается);

– исследователь ставит слишком сложную задачу, с которой респондент не сможет справиться, а в результате не отвечает на вопрос или дает неточный ответ;

– вопросы должны быть интересны респонденту. Поэтому в процессе тестирования следует выявлять перечень интересных и скучных вопросов.

Вопросы, требующие прояснения при проведении пилотажного опроса

1. Выдержаны ли требования к языку опрашиваемого, не получилось ли так, что для части респондентов язык слишком труден, для другой – примитивен?

2. Все ли вопросы и варианты ответов понятны?

3. Понятны ли респонденту единицы измерения, имеющиеся в анкете?

4. Компетентны ли опрашиваемые для ответов на вопросы, не следует ли включать «фильтры» на компетентность?

5. Нет ли опасности получения «угодных» или стереотипных ответов?

6. Не слишком ли многочисленны варианты ответов на вопросы, смогут ли респонденты справиться с их обилием, как сократить количество вариантов или расчленить их на блоки?

7. Нет ли опасений вызвать недоверие или какие-либо отрицательные эмоции у опрашиваемых?

8. Не слишком ли задевается самолюбие или личные стороны жизни респондентов?

9. Логично ли построена анкета?

10. Удовлетворяет ли требованиям респондентов длина анкеты?

Слишком пространные анкеты «пугают» респондентов и они отказываются участвовать в опросе на том основании, что на заполнение анкеты нужно будет потратить много времени.

11. Интересна ли анкета и способна ли она привлечь внимание участников опроса?