Валидность статистических выводов. Этот тип валидности соответствует проверке статистической значимости зависимости между двумя переменными. Такие выводы всегда являются вероятностными.

При этом можно совершить два типа ошибок: решить, что зависимость является значимой, в то время, когда это не так, или решить, что значимая зависимость между переменными отсутствует, когда, напротив, она имеется.

Существуют некоторые факторы, которые могут снижать валидность статистических выводов:

• слабая чувствительность исследований, которая проявляется при недостаточной по численности выборке или при большой изменчивости в сравниваемых группах, то есть испытуемые являются слишком разными и сильно отличаются друг от друга относительно некоторых переменных;

• низкая надежность методик измерения или процедур манипулирования переменными, которые используются в исследовании;

• факторы помех, присутствующие в условиях эксперимента;

• нарушение принятых правил проведения и обработки, которые установлены для различных статистических методов.

Стратегия повышения валидности статистических выводов состоит в уменьшении вариативности ошибки путем применения, например, схемы исследования с повторными пробами или использования однородных групп. Статистическая состоятельность исследования может быть оценена как на стадии проектирования исследования (например, проверка расчета величины выборки), так и после исследования.

Валидность процедур. Валидность процедур позволяет варьировать и измерять переменные. Даже необходимость определить в операциональных терминах концептуальные переменные, значимые для исследования, уже является источником риска. Действительно, "перевод" понятия на уровень конкретных операций может неадекватно отразить теоретические положения исследования.

Существуют так называемые "переменные-паразиты", которые могут активизировать изменения переменных. "Переменные-паразиты" бывают двух типов:

• "переменные-паразиты" особого типа, то есть переменные, связанные только с определенными операциями, производимыми в данном исследовании.

• "переменные-паразиты" общего типа, то есть переменные, связанные с экспериментальными условиями косвенно, например, с ожиданиями исследователя.

Часто исследователь неосознанно стимулирует ответ, который он ожидает получить. Избежать этого можно, используя стратегии невмешательства в исследования и соответствующие методы измерения. При этом испытуемые не должны знать, что за ними наблюдают, что позволяет снять нежелательную мотивировку по отношению к эксперименту.

Внутренняя и внешняя валидности эксперимента.

Внутренняя валидность связана с вопросом, действительно ли именно это эксперименталь­ное воздействие привело к изменениям в данном эксперименте?

Внутренняя валидность касается отношений между зависимыми переменными и независимыми переменными. Эта валидность связана с особыми процедурами, которые позволяют определить, насколько выводы, сделанные в данном исследовании, достоверны. После того, как установлено существование зависимости между переменной X и переменной Y, необходимо решить, какая из переменных является причиной, а какая следствием, то есть определить направление данной взаимосвязи. Если Y наблюдается после X, то можно сказать, что X является причиной Y.

Однако может оказаться, что отношение зависимости между X и Y вызвано третьей переменной С. Для установления внутренней валидности необходимо рассмотреть все возможности влияния третьей переменной С на переменные X и Y и исключить их. Считается, что исследование обладает внутренней валидностью, если доказано, что существует зависимость причинно-следственного типа между зависимыми переменными и независимыми переменными.

Внешняя валидность относится к возможно­сти обобщения вывода на популяции, ситуации, другие независимые переменные.

Эти два критерия являются важными, хотя часто они на­ходятся в противоречии друг с другом в том смысле, что увеличение валидности одного типа может угрожать валидности другого типа. Идеалом является выбор таких экспериментальных планов, кото­рые обеспечивают оба типа валидности. Это особенно важно для психолого-педагогических исследований, где весьма желательным является распространение данных на практические ситуации, определенного характера.

Есть восемь различных клас­сов внешних переменных, относящихся к внутренней валидности. Если эти переменные не контролируются в экспериментальном плане, то они могут дать эффекты, которые смешиваются с эффектом экспериментального воздействия. Эти переменные представляют влияние:

1) фона — конкретных событий, которые про­исходят между первым и вторым измерением наря­ду с экспериментальным воздействием;

2) естественного развития — изменений испытуемых, являющихся следствием течения вре­мени (не связанных с конкретными событиями), например взросление, усиление голода, усталости и т. п.;

3) эффекта тестирования — влияния выпол­нения заданий, применяемых для измерения, на резуль­таты повторного испытания;

4) инструментальной погрешности, нестабильности измерительного инструмента, при которой изменения в калибровке инструмента или изме­нения, характеризующие наблюдателя или оценочные показатели, могут вызвать изменения в результатах из­мерения;

5) статистической регрессии, имеющей место тогда, когда группы отбираются на основе крайних показателей и оценок;

6) отбора испытуемых — неэквивалент­ности групп по составу, вызывающей появление систе­матической ошибки в результатах;

7) отсева в ходе эксперимента — неравномерности выбывания испытуемых из сравниваемых групп;

8) взаимодействий фактора отбора с естественным развитием и др., которые в ряде квазиэкспериментальных планов с несколькими группами ошибочно принимаются за эффект эксперимен­тальной переменной.

К факторам, ставящим под угрозу внешнюю валидность, или репрезентативность эксперимента, относятся:

• реактивный эффект, или эффект взаимодействия тестирования,— возможное уменьшение или увеличе­ние восприимчивости испытуемых к экспериментальному воздействию под влиянием предва­рительного тестирования. Результаты лиц, прошедших предварительное тестирование, будут нерепрезентатив­ны по отношению к тем, кто не подвергался предвари­тельному тестированию, то есть тем, из кого состоит генеральная совокупность, из которых были отобраны испытуемые;

• эффекты взаимодействия фактора отбора и экс­периментального воздействия;

• условия организации эксперимента, вызывающие реакцию испытуемых на эксперимент, которая не поз­воляет распространить полученные данные о влиянии экспериментальной переменной на лиц, подвергающихся такому же воздействию в неэкспериментальных усло­виях;

• взаимная интерференция экспериментальных воздействий, нередко возникающая, когда одни и те же испытуемые подвергаются нескольким воздействиям, поскольку влияние более ранних воздействий, как пра­вило, не исчезает.

(См.: Хрестомат. 7.1.)