3.8. Начните пилотажное исследование и оцените результаты

Пилотажное исследование является генеральной репетицией ос­новного эксперимента. Оно включает все экспериментальные проце­дуры и сбор данных именно так, как это планируется в основном экс­перименте, но только не на полноценной выборке, а на небольшом количестве участников. Обычно пять-шесть человек вполне достаточ­но для этой процедуры, но минимальную проверку можно провести достаточно успешно и на одном участнике.

Цель пилотажа — проверка того, что эксперимент настолько бли­зок к совершенству, насколько это возможно. Пилотажная проверка включает три аспекта.

Во-первых, при этом можно проверить все процедуры экспери­мента в «реальной», но не «критической» ситуации, что позволяет выявить любые обстоятельства, препятствующие успешному протека­нию эксперимента.

Во-вторых, можно получить информацию о значениях ЗП, кото­рые можно ожидать в основном эксперименте. Если эти данные дале­ки от прогнозируемых, то это повод для еще одной серьезной провер­ки дизайна эксперимента и всех его процедур.

В-третьих, пилотаж обеспечивает важную возможность посмотреть на эксперимент глазами участника. Здесь исследователю важно выяс­нить, как отсутствие (или наличие) гладкости в протекании экспери­мента, так и общее впечатление от участия в эксперименте. Речь идет о такого рода информации, которой участник может поделиться лишь в том случае, когда его спрашивают об этом. Ниже в списке приведены основные вопросы, на которые нужно ответить Исследователю с по­мощью участников, прошедших пилотаж. Естественно, что это очень общий и примерный список, который нуждается в уточнении в каж­дом конкретном случае.

Вопросы для пилотажного эксперимента

Процедура

1. Проходил ли эксперимент гладко?

2. Где в процедуре возникают задержки и разрывы, вызванные не удачной подготовкой материалов или неудачным прогнозиро­ванием?

3. Если ряд исследователей будет задействован в эксперименте, то легко ли это будет делать любому из них?

4. Легко ли понимаются все инструкции участниками?

5. Просит ли кто-нибудь их повторить или как-либо еще выражает то, что инструкции были недостаточно ясны?

6. Удавалось ли завершить выполнение экспериментального зада­ния в предполагаемое время? Если нет, то не стоит ли изменить дизайн для сокращения или удлинения времени выполнения эк­сперимента?

Данные

1. Легко ли использовать протокол данных?

2. Располагаются ли значения данных равномерно внутри ожида­емого диапазона? Если нет, то можно ли указать обычную при­чину этого, например, что экспериментальное задание слишком простое или слишком сложное для большинства участников?

Участники

1. Как себя чувствуют участники в процессе эксперимента?

2. Приятен ли им опыт участия?

3. Отдавали ли они себе отчет в том, что имеют право выйти из эксперимента в любой момент?

4. Имеются ли какие-либо аспекты процедуры, которые бы участ­ники хотели изменить? Что это за аспекты?

5. Считают ли участники, что задания эксперимента являются слишком простыми или слишком сложными для них?

После проведения пилотажа необходимо просмотреть полученную информацию и внести необходимые коррективы в дизайн и процедуру до начала основного эксперимента. Понятно, что данные, получен­ные в пилотаже, не должны учитываться при анализе данных основ­ного эксперимента.

В заключение этого раздела предлагаем вам еще один список, кото­рый содержит ряд вопросов, позволяющий оценить весь процесс под­готовки дизайна эксперимента. Он может использоваться как руковод­ство к созданию дизайна ваших собственных экспериментов, а в даль­нейшем — как средство проверки полноты и адекватности дизайна.