12. План с предварительным и итоговым

тестированием на различных выборках

При изучении больших популяций, таких, как города, предприятия,

школы, воинские подразделения и т. д., часто может оказаться, что, хотя

рандомизированное выделение подгрупп для дифференцированного

экспериментального воздействия и невозможно, все же удается

осуществить нечто вроде полного контроля над тем, когда и на ком

производить тестирование, применяя процедуры рандомизированного

распределения испытуемых по группам. Такой контроль позволяет

реализовать план 12:

К О (X)

К Х О.

В этой схеме строки представляют случайным образом выделен-

ные эквивалентные подгруппы, а скобки при Х означают, что

результаты предъявления Х по данной группе не используются. Одна

выборка проходит тестирование до X, а другая - после X. Этот план не

относится к числу сильных, на что указывает его графа в табл. 2. Тем

не менее часто это единственная возможность, и ею стоит воспользо-

ваться. План 12 применялся в социальных исследованиях, которые

остаются лучшими в своей области (см., например, 81аг, НиЬез [118]).

Хотя его называли <имитацией плана с начальным и конечным

тестированием> (Зе11иг, ]аЬоаа, Оеи15сЬ, СооЬ [99, с. 116]), он на самом

деле имеет преимущество по сравнению с обычным планом с пред-

варительным и последующим тестированием (то есть планом 2), пос-

кольку обеспечивает контроль над главным эффектом тестирования и

взаимодействием этого фактора с X. Главным недостатком этого плана

является неконтролируемость фактора фона (см. 81аг, НиЬез [118]).

В этой работе мы стремимся повысить у читателя интерес к

<лоскутным> схемам, в которых средства контроля отдельных

факторов вводятся более или менее постепенно (в отличие от более

изящных <истинных> экспериментов, в которых контроль всех

факторов риска для внутренней валидности обеспечивается одной

контрольной группой). Повторное применение плана 12 в различных

условиях и в разное время, как в плане 12а (см. табл. 2), обеспечивает

144 Дональд кэмпбелл

контроль фонового фактора: если эффект обнаруживается снова,

вероятность того, что он является результатом действия сопут-

ствующих фоновых событий, снижается. Но неконтролируемыми

конкурентными объяснениями все еще остаются сезонные циклы и

некоторые другие фоновые изменения. Повторение эффекта в других

условиях может снизить вероятность того, что он свойствен лишь

первоначально взятой популяции. Однако если условия исследования

допускают применение плана 12а, то применим также и план 13,

которому в целом следует отдать предпочтение.

Ссылка на естественное развитие вряд ли может быть конку-

рентным объяснением даже в продолжающемся несколько месяцев

исследовании общественного мнения. Но при выборочном иссле-

довании общественного мнения или даже в некоторых студенческих

аудиториях выборки достаточно велики и в возрастном отношении

достаточно разнородны, чтобы группу, которая подвергается предвари-

тельному тестированию, можно было разделить на подвыборки,

различающиеся по фактору естественного развития (по признаку

возраста, курса и т. д.) и сравнивать эти подвыборки. Фактор

естественного развития и, вероятно, более серьезная угроза медленных

и сезонных изменений могут также контролироваться в плане 12б, где

вводится дополнительная группа, которая подвергается более раннему

предварительному тестированию. Это сближает данный план с планом

временных серий, хотя и без повторного тестирования. Для популяций,

подобных упомянутым в примере с пациентами психотерапевтического

кабинета, где возможна спонтанная ремиссия, может оказаться

несостоятельным имплицитное предположение о линейности естест-

венного развития. Скорее, оно будет представлять собой постепенно

замедляющийся процесс, так что естественное увеличение от О к 0

будет большим, чем от 0 к Оз, что препятствует выявлению эффекта X.

Инструментальная погрешность представляет опасность, если

план 12 применяется в массовом обследовании. Если одни и те же

интервьюеры проводят предварительное и итоговое тестирование,

обычно оказывается, что для многих из них начальное интервью было

первым в их жизни, а к конечному они набираются некоторого опыта и,

пожалуй, цинизма. Если каждая волна опросов проводится разными,

145

причем немногими, людьми, происходит смешивание личных особен-

ностей интервьюеров с экспериментальной переменной. Если

интервьюерам известна гипотеза, то независимо от наличия или

отсутствия воздействия Х их ожидания могут породить различия, как

это экспериментально показали Стэнтон и Бейкер [117], а также Смит

и Хаймен [102]. Идеальным было бы использовать в каждой волне

опросов различные эквивалентные случайные выборки интервьюеров

и держать их в неведении относительно замысла эксперимента. Кроме

того, состав интервьюеров может зависеть от времени года, например

вследствие того, что в летние месяцы можно использовать студентов.

Летом число отказов меньше и интервью длится дольше, чем зимой.

В случаях, когда респонденты сами заполняют анкеты в классе или

аудитории, подобная инструментальная погрешность менее вероятна,

хотя изменение установки в отношении анкеты может оказаться таким,

что его будет правильнее считать инструментальной погрешностью, чем

влияниями Х на О.

Если между предварительным и итоговым тестированием

проходит несколько месяцев, то в эксперименте типа 12 возникает

проблема выбывания. Если обе выборки составлены одновременно

(этап К), популяция со временем может меняться: на различных этапах

исследования утрачивается доступ ко все большему числу респондентов

и из популяции выбывают наиболее мобильные. Сигналом такой

опасности служит различие между группами по числу лиц, с которыми

интервьюерам не удалось встретиться.

По-видимому, в длительном исследовании выборки, на которых

проводятся предварительное и итоговое тестирования, должны

составляться независимо друг от друга и в разное время, хотя это в

свою очередь служит источником систематической погрешности

вследствие возможных изменений в данной части генеральной

совокупности. В условиях, например, школы учет посещаемости

позволяет из результатов предварительного тестирования изъять те,

которые принадлежат отсутствовавшим при итоговом тестировании

ученикам. Это облегчает сравнение результатов обоих тестирований.

Чтобы сделать возможной такую коррекцию в массовом обследовании,

равно как и для дополнительного подтверждения наличия эффекта, на