62 Дональд кэмпбелл

эквивалентности обозначается на схеме пунктирной линией, разде-

ляющей две группы, и говорит о том, что необходим контроль за

фактором отбора, или состава группы. Если 0\ и О 2 различны, это

различие может быть обусловлено различием способов отбора испы-

туемых в группы: группы могли бы так или иначе отличаться и при

отсутствии X. Как будет показано ниже (при анализе плана ех роз!.

гас1о), попарное уравнивание на основе характеристик, отличных от О,

не дает желательных результатов, оно обычно неэффективно и вводит в

заблуждение, особенно в тех случаях, когда испытуемые <экспери-

ментальной группы> стремятся подвергнуться воздействию X.

Последняя соперничающая переменная может быть обозначена

как выбывание. Она связана с возникновением различий 0\ - 0 в

группах в результате различного выбывания испытуемых из сравни-

ваемых групп. Так, даже если бы в плане 3 две группы и были когда-

то эквивалентны, к моменту проведения сравнения они могут отличаться,

но не по причине каких-либо изменений, происшедших с членами

групп, а по причине селективного выбывания испытуемых из одной

группы. В педагогических исследованиях с этой проблемой чаще

всего сталкиваются в работах, цель которых - установить влияние

обучения в колледже путем сравнения характеристик новичков, не

подвергавшихся воздействию X, и выпускников, подвергавшихся такому

воздействию. Если в подобных исследованиях устанавливается, что, к

примеру, вновь поступившие девушки более красивы, чем выпускницы,

то мы воздержимся от вывода, что наш суровый способ обучения

пагубно влияет на красоту, а скорее осмелимся утверждать, что

красивые девушки чаще выбывают из колледжа до завершения

обучения в связи с замужеством. Это явление обозначается здесь как

экспериментальное выбывание. (Конечно, если бы мы сравнивали тех

же самых девушек, когда они поступили и когда они окончили кол-

ледж, такая проблема не возникла бы, и мы имели бы дело с планом 2.)

ТРИ ИСТИННЫХ ЭКСПЕРИМЕНТАЛЬНЫХ ПЛАНА

Три основных плана, которые будут рассматриваться в данном

разделе, обычно и рекомендуются в методологической литературе. Мы

также рекомендуем использовать в первую очередь именно эти планы,

63

хотя это связано со многими конкретными ограничениями, налагае-

мыми обычной практикой, и хотя эти планы не всегда обеспечивают

внешнюю валидность (см. табл. 1). Чаще всего используется план 4,

поэтому ему и уделено наибольшее внимание. Надо отметить, что все

три плана представлены так, как будто отдельное воздействие Х

сравнивается с отсутствием X. Планы, которые в соответствии с

фишеоовской традицией многофакторного планирования эксперимента

предполагают несколько независимых переменных, не имеют прямого

отношения к основной теме данного рздела и будут обсуждаться в

конце раздела после рассмотрения плана 6. Но в связи с этим

необходимо отметить здесь, что сравнение Х с без Х является очень

сильным упрощением. Фактически всегда проводится сравнение

экспериментальной группы, которая подвергается воздействию X, с

контрольной группой, которая в это время осуществляет какую-то

конкретную деятельность. А это значит, что можно говорить скорее о

сравнении Х и Хс, или X) и Хо, или Х и Х. Такая деятельность

контрольной группы часто является не установленным точно

дополнением и создает неопределенность при интерпретации

воздействия X. Имея это в виду, мы тем не менее и в дальнейшем

изложении будем пользоваться обозначением без Х для контрольной

группы.

4. План с предварительным

и итоговым тестированием

и контрольной группой

Средства контроля <внутренней валидностн>

По тем или иным из приведенных выше соображений между 1900

и 1920 гг. исследователи в области психологии и педагогики начали

добавлять к плану 2 контрольную группу, создав тем самым

современный ортодоксальный план с контрольной группой. В работах

Мак-Кола [74], Соломона [104] и Боринга [5] излагается история

этого плана, а просмотр <ТеасЬега Со11е(!;е Кесога> за этот период

показывает, что уже к 1912 г. контрольные группы использовались как

64

Дональд КЭМПБЕЛЛ

нечто само собой разумеющееся (см., например, Реагзоп [88]). Эти

планы вводятся в данной работе под двумя рубриками: в плане 4

уравнивание групп достигается путем рандомизации, в квазиэкспери-

ментальном плане 10 используются реально существующие группы без

уверенности в том, что они эквивалентны. План 4 имеет следующий

вид:

К 01 Х О;

К Оз 04.

Поскольку применение этого плана дает возможность осуществить

почти полный контроль за всеми семью рассмотренными до сих пор

конкурентными гипотезами, необходимость контроля при его

использовании обычно не эксплицируется. В традиционных

исследованиях научения к признанию необходимости контрольных

групп привело выявление эффектов тестирования. В педагогических

исследованиях главной проблемой было естественное развитие,

как в детской психологии - проблема <врожденное - приоб-

ретенное>. В исследованиях изменения установок, например в ранних

исследованиях влияния кино, наиболее важным является необходи-

мость контролировать фон. Во всяком случае, полезно, видимо, кратко

обсудить здесь, как или при каких условиях осуществляется контроль

за этими факторами.

Фон (<историям) контролируется в той мере, в какой общие

<исторические> события, которые могут привести к различию 0 - О,

способны привести также к различию Оз - 04. Однако отметим, что

во многих возможных применениях плана 4 (а также 5 или 6) не

контролируются специфические события, имевшие место в группе в

ходе обследования (<внутригрупповая история>). Если все испыту-

емые экспериментальной группы, сформированной на основе

рандомизации, подвергаются однократному экспериментальному

воздействию и контрольная группа также исследуется однократно, то

посторонние частные события, происходящие в каждой из этих групп

(шутка, вызвавшая оживление, пожар на улице, предварительные

замечания экспериментатора и т. д.), могут стать конкурентными

объяснениями отличия 0 - 0 от Оз - 0. Эксперименты такого

65

рода не являются истинными экспериментами, хотя они иногда и

приводятся в качестве примера, как в случае с экспериментом

Соломона [104] по обучению произношению. (Справедливости ради

необходимо сказать, что этот пример выбран с целью иллюстрации

других моментов.) Если рассматривать проблему, имея в виду наши

<лучшие образцы> экспериментального исследования, то может

пока .аться, что эксперименты по такому плану - простительный грех,

но наши <лучшие образцы> слишком часто невоспроизводимы, а

поэтому вполне возможно, что именно внутригрупповые события и есть

тот самый источник <значимых>, но посторонних различий, который

является дефектом нашей исследовательской практики. Кроме того, в

типичном эксперименте из публикуемых в <}оигпа1 ог Ехрептеп1а1

Р8усЬо1оу> работ контроль внутригрупповых событий обеспечивается

тем, что тестирование испытуемых проводится в индивидуальном

порядке и путем случайного распределения опытов и испытуемых по

экспериментальным или контрольным режимам. Тем не менее надо

отметить, что даже при индивидуальной работе фон может оказаться

неконтролируемым, если вся экспериментальная группа проходит

тестирование до контрольной и т. д. План 4 рассчитан на

одновременное проведение исследования в экспериментальной и

контрольной группах. Если же действительно проводить опыты

одновременно, то необходимо использовать различных экспери-

ментаторов, при этом различия между экспериментаторами в свою

очередь становятся одним из видов внутригрупповой истории,

смешиваемой с X.

Оптимальным решением является рандомизация отдельных

сеансов эксперимента с учетом тех ограничений, которые связаны с

необходимостью уравнивания таких важных источников смещений, как

экспериментатор, время дня, день недели, начало или конец семестра,

близость экзаменов и т. п. Общепринятый способ объединения испы-

туемых в группы вместо индивидуальной работы с каждым

неприемлем, если это группирование игнорируется при статистическом

анализе. (См. ниже раздел об экспериментировании с реальными

группами.) Все испытуемые, участвующие в одном сеансе, подвер-

гаются воздействию одних и тех же посторонних событий, что может

66

Дональд КЭМПБЕЛЛ

оказаться отличной от Х причиной сходства их реакций. Если такие

сеансы будут проводиться в случайном порядке, то корректными с

точки зрения статистики будут такие процедуры предъявления

воздействия, которые рассматриваются ниже при обсуждении того, как

проводить экспериментальные исследования с целыми классами. (Для

некоторых исследований, связанных с групповым тестированием,

можно распределить экспериментальные воздействия и предъявлять их

отдельным лицам внутри одной группы в случайном порядке, подобно

тому как это делается при использовании множественных форм теста,

когда изучается влияние порядка трудности отдельных заданий по

тесту. В таких случаях особенности <внутригрупповой истории> будут

общими для обоих видов процедур и при объяснении полученных

различий они не смогут стать правдоподобной конкурентной гипотезой,

смешиваемой с X.)

Естественное развитие и эффект тестирования контро-

лируются постольку, поскольку они одинаковым образом проявляются

в экспериментальной и контрольной группах. В тех случаях, когда

созданы условия для контроля <внутригрупповой истории>, легко

контролировать и инструментальную погрешность, особенно если

для О используются ответы испытуемых, полученные с помощью

фиксированной методики, такой, как напечатанный тест. Однако при

использовании наблюдателей или интервьюеров проблема становится

более сложной. В случае, когда число наблюдателей не позволяет

осуществлять их рандомизированное распределение по отдельным

сеансам, необходимо использовать каждого наблюдателя и в

экспериментальных, и в контрольных сеансах; кроме того, для

предупреждения искажения результатов наблюдений необходимо,

чтобы наблюдатели не знали, каким видам воздействий подвергается

каждый из испытуемых. То, что такие тенденции к смещению

результатов являются частыми источниками различий, подтверждается

необходимостью введения <двойного слепого эксперимента>1 в

медицинских исследованиях, как было показано в недавно проведен-

ных работах (КоаеШЬа! [94]) и в более ранних исследованиях

Эксперимент, при котором ни испытуемый, ни экспериментатор не знают,

имеет место воздействие или нет. - Прим. ред.

67

(например, Кеппес1у, ирЬогг [62], ЗгапЮп, Ва1(ег [117]). Регистрация

группового взаимодействия облегчит контроль инструментального

фактора и в исследованиях поведения и взаимодействия Р группах

учащихся, поскольку отдельные фрагменты записи, полученные при

предварительном и итоговом тестировании в экспериментальной и

контрольной группах, могут предъявляться <судьям> в случайном

пор гдке.

Эффект регрессии контролируется, когда речь идет о различиях

между средними, независимо от того, насколько экстремальными были

показатели группы при предварительном тестировании, если экспери-

ментальная и контрольная группы были составлены из некоторой

экстремальной совокупности на основе рандомизации. В этом случае

контрольная группа имеет такую же регрессию, что и экспери-

ментальная. Однако даже при использовании плана 4 часто

возникают ошибки интерпретации из-за регрессионных артефактов.

Экспериментатор может использовать контрольную гр ;пу для

подтверждения группового среднего эффекта X, а затем при определе-

нии того, какие предварительные показатели подгрупп испытуемых из

экспериментальной группы особенно подвергались влиянию X,

оставить результаты контрольной группы без внимания. Если у

экспериментальной группы в целом обнаружится улучшение результа-

тов, то экспериментатор столкнется с поразительным явлением,

состоящим в том, что у тех, кто вначале имел самые низкие показатели,

это улучшение было наибольшим, в то время как у тех, кто вначале имел

наивысшие показатели, не наблюдается никакого прогресса. В этих

условиях такие результаты достигаются за счет того, что регрессион-

ный артефакт способствует увеличению показателей у тех, кто имел

наихудшие предварительные показатели, и нейтрализует их у тех. кто имел

наилучшие предварительные показатели. (Если же в целом не наблюда-

ется улучшения результатов, то экспериментатор может ошибочно

<обнаружить>, что это произошло вследствие двух взаимно компенси-

рующих процессов: прироста у <низких> и потери у <высоких>.)

Одно из средств предупреждения такой ошибки интерпретации -

проведение параллельного анализа экстремальных показателей

предварительного тестирования в контрольной группе и использо-

68

Дональд КЭМПБЕЛЛ

вание этих данных при интерпретации увеличения показателей путем

сравнения результатов итогового тестирования соответствующих -

выделенных по данным предварительного тестирования - экспери-

ментальных и контрольных подгрупп. (Отметим, что асимметрия

распределений, получаемых при отборе подгрупп, ставит под сомнение

пригодность процедур, основанных на нормальной кривой.)

Действие фактора отбора, или состава групп, в качестве

объяснения различий исключается в той степени, в какой рандоми-

зация обеспечивает эквивалентность групп в момент К. Эта степень

определяется принятой нами выборочной статистикой. Поэтому

уверенность в равенстве выше для большого числа случайных

распределений, чем для малого. В пределах, определяемых величиной

ошибки, для гипотезы об отсутствии различий это утверждение иногда

оказывается неверным. В случае плана 4 это означает, что иногда

могут обнаруживаться явно <значимые> различия между результатами

предварительного тестирования. Поэтому, хотя простая, или стратифи-

цированная, рандомизация и обеспечивает несмещенное распределение

испытуемых по группам, она не дает абсолютной уверенности в

исходной эквивалентности таких групп. Тем не менее рандомизация -

единственный существенный способ решения. Это утверждение столь

категорично потому, что в течение последних 30 лет в педагогических

исследованиях наблюдается весьма распространенное ошибочное

предпочтение способа попарного уравнивания групп. Мак-Кол [74] и

другие способствовали этому недоразумению. Как будет более

детально показано ниже, при обсуждении плана 10 и анализа ех ров1

гас1о, попарное уравнивание фактически не способствует преодолению

исходных групповых различий. Это не исключает применения

попарного подбора в качестве дополнения к рандомизации, когда для

достижения статистической точности подбирают учащихся по парам, а

затем в случайном порядке одного члена каждой пары включают в

экспериментальную группу, а другого - в контрольную. В статисти-

ческой литературе этот прием известен как <образование блоков> (см.

более подробное обсуждение этого вопроса в: Сох [27], Ре1а1 [35],

1-лпаяш51 [68]). Но применение попарного уравнивания вместо

рандомизации недопустимо даже в квазиэкспериментальных планах,

использующих лишь две реально существующие группы: одну -

69

экспериментальную, другую - контрольную. Даже в этих <слабых

экспериментах> существуют лучшие, чем попарное уравнивание,

способы уменьшить исходные средние значения различия в этих двух

выборках.

Данные, которые можно получить с помощью плана 4, позволяют

установить, может ли выбывание объяснить прирост 0\ - 0. Потери,

выбывания и случаи, когда доступны лишь частичные данные,

представляют немалые трудности, и обычно о них не упоминают. Как

правило, эксперименты с методами обучения длятся в течение

нескольких дней, недель или месяцев. Если предварительное и

итоговое тестирования проводятся в классах, из которых составляются

экспериментальная и контрольная группы, и условия эксперимента

требуют присутствия испытуемых на занятиях, в то время как

испытуемые контрольной группы эти занятия не посещают, то

различная посещаемость на трех этапах - предварительное тестиро-

вание, экспериментальное воздействие, итоговое тестирование - ведет

к выбыванию. Этот фактор может вызвать неуловимые смещения

выборки. Если исключить из экспериментальной группы тех, кто

первоначально был намечен для участия в ней, но не смог посещать

экспериментальные занятия, это вызовет такое селективное сокра-

щение группы, которое сделает ее несопоставимой с контрольной

группой (в частности, экспериментальная группа оказывается <более

добросовестной>). По-видимому, более предпочтительным было бы -

хотя это редко наблюдается - использование результатов всех

испытуемых контрольной и экспериментальной групп, которые подвер-

гались предварительному и итоговому тестированию, включая в

экспериментальной группе и тех, кто не подвергался воздействию X.

Очевидно, при таком способе анализа эффект Х выглядит ослабленным,

но зато это позволяет избежать смещения выборки.

Такая процедура основывается на допущении, что нет более

простых смещений вследствие выбывания; такое допущение может

быть частично проверено путем анализа числа и предварительных

показателей тех лиц, кто проходил предварительное тестирование, но

отсутствовал при итоговом тестировании. Возможно, что некоторые Х

влияют скорее на степень выбывания, а не на изменение индивидуаль-