4.Подсказки разной длины.

Учитывая, что более длинные варианты ответа дочитываются до конца реже, то и понимаются / выбираются они также реже

Скорректировать подсказки так, чтобы они имели примерно одинаковую длину

5.Отсутствие возможности уйти от ответа.

Отсутствие возможности уйти от ответа. Если среди вариантов ответа не предусмотрена позиция «не знаю», «нет мнения», «затрудняюсь ответить» и т.п., то велики шансы получить смещенные данные

Метод: добавить вариант «не могу оценить» (или «затрудняюсь ответить»). Предварительно задать вопрос-фильтр об информированности по данной теме.

14. Основные принципы и виды пилотажного исследования. Методики проведения. Оценка результатов пилотажа.

Основной целью пилотажа является не сбор данных, а проверка процедур сбора информации и вопросника, т.е. функция пилотажного исследования методическая, а не содержательная.

Цель пилотажа состоит в оценке вопросов и процедур сбора информации, идентификации того, что затрудняет интервьюеру работу или респонденту ответы

Виды пилотажных исследований:

1. Комплексный пилотаж .

Комплексное пилотажное исследование (в англоязычной традиции pilot test/study/work) включает проверку всех элементов исследования, по сути, оно отличается от итогового исследования только меньшими масштабами.

Комплексный пилотаж предполагает:

•тестирование методов сбора информации;

•методику построения и реализацию выборки;

•апробирование вопросника;

•проверку возможности влияния пола, возраста и стиля интервьюера;

•пилотаж инструкций, писем, обращений;

•проверку схемы обработки данных;

•тестирование структуры шаблона отчета по исследованию и достаточность собранных данных для ответа на задачи исследования

2.Дифференцированный пилотаж: Пилотажное исследование (pretest) предполагает тестирование отдельных методик, фрагментов исследовательского проекта, например:

• процедуры построения выборки;

• инструментария (анкеты);

• схемы обработки данных;

• принципов подготовки отчета по результатам исследования.

Комплексный пилотаж довольно затратен с точки зрения финансовых, временных и человеческих ресурсов. исследователи ограничиваются дифференцированным пилотажем. В первую очередь – пилотажем инструментария (анкеты)

Пилотаж анкеты: Делится на теоретический и эмпирический

Теоретический пилотаж анкеты - это предварительное обсуждение с коллегами на предмет:

• адекватности вопросника поставленным исследовательским задачам,

• соблюдения общей логики драматургии анкеты;

• отсутствию грубых методических ошибок при формулировке вопросов и вариантов ответа;

• адекватности графического оформления анкеты;

• достаточности вспомогательных, буферных, контактных вопросов, достаточность контрольных вопросов.

Эмпирический пилотаж анкеты

Это небольшое пробное исследование, которое может помочь выявить недостатки вопросника, проявляющиеся только на практике.

Например:

• несоответствие языку респондентов определенной целевой группы;

• затянутость, неполноту предлагаемого списка вариантов ответа;

• логические перескоки, вызывающие недоумение опрашиваемых;

• непроизносимость текста;

• неясность инструкций;

• сложность переходов и т.п.

Основные способы эмпирического тестирования анкеты:

• фокус-группа;

• интенсивное когнитивное интервью;

• полевой пре-тест.

Основные методики пилотирования формулировок вопросов:

• Двойное интервью;

• Размышления вслух;

• Пересказ вопроса.

Оценка результатов пилотажа. Критерии:

• Равномерность наполняемости альтернатив

• Доля пропущенных ответов

• Распределение доли отсутствующих ответов по вопросам всей анкеты

• Количество дополнительных комментариев

• Количество многозначных ответов на открытые вопросы

• Соотнесение субъективного и объективного времени заполнения анкеты (интервью).