3.4. Безупречный эксперимент и валидность эксперимента

Безупречный эксперимент – это идеальная модель эксперимента, которая никогда не может быть реализована полностью, но может улучшать реальный эксперимент; нужен как эталон для выработки критериев оценки реальных экспериментов.

Свойства безупречного эксперимента: безупречный эксперимент является экспериментом полного соответствия реальности, идеальным и бесконечным.

1. Идеальность, чистота – в идеальном эксперименте изменяется только независимая переменная, зависимая контролируется, а остальные условия полностью стабилизированы (нет побочных переменных).

2. Бесконечность – в бесконечном эксперименте бесконечное количество проб и испытуемых, приводящее к идеальному усреднению.

3. Полное соответствие реальности.

Реальный эксперимент – это более или менее удачная часть безупречного эксперимента, в нем существуют пробелы по определенным свойствам.

Валидность – мера представленности безупречного эксперимента в реальном.

Внутренняя валидность – мера представленности в реальном эксперименте идеального и бесконечного эксперимента. Если эксперимент внутренне невалиден, он называется неудачным.

Нарушение внутренней валидности ведет к:

• Ненадежности выводов – неустойчивость результата при повторном эксперименте.

• Систематическому смешению – действие на зависимую переменную такой независимой, которая каждый раз сопровождается разной побочной переменной.

Внешняя валидность – мера представленности в реальном эксперименте эксперимента полного соответствия. Внешняя валидность решает проблему переноса выводов на генеральную совокупность. Если эксперимент внешне невалиден, он называется неадекватным.

Валидность эксперимента снижает экспериментальная погрешность.

Экспериментальная погрешность является результатом воздей­ствия на ЗП в эксперименте любого фактора или переменной, отлич­ных от НП.

В безупречном эксперименте нет места экспериментальной погрешности. В реальности экспериментальная погрешность в той или иной степени присутствует, поэтому ключевым моментом профессиональной компетент­ности исследователя является способность контролировать неизбежную погрешность.

Существуют две фундаментальные формы экспериментальной по­грешности – случайная и постоянная погрешность.

Случайная погрешность может влиять то на одно, то на другое усло­вие эксперимента, приводя то к преуменьшению, то к преувеличению значения ЗП (по сравнению с ее истинным значением) вполне случай­ным образом.

Постоянная погрешность носит однородный характер на протяже­нии всего эксперимента, вызывая одно и то же преувеличение или пре­уменьшение значения ЗП. Постоянная погрешность может влиять на одно или на несколько условий эксперимента. Эту погрешность также называют смещением.

Случайная погрешность влияет на чувствительность эксперимен­та, нарушая ясность истинной картины и затрудняя определение свя­зи между НП и ЗП. В свою очередь, постоянная погрешность может искажать информацию, получаемую в эксперименте.

Хорошую аналогию для погрешности приводит Бреслав Г.М. Случайная погрешность – это грязь на оконном стекле – она затрудняет видение, но не искажает общей картины. От нее легко избавиться. В свою очередь, постоянную по­грешность автор сравнивает с инкрустацией в оконное стекло цветного фильтра, призмы или витража; в этом случае истинную картину того, как выглядит пространство за окном, мы уже не получим.

Именно постоянная погрешность является главной проблемой экспериментатора, случайная погреш­ность лишь затрудняет выделение причинной связи между НП и ЗП (если таковая вообще имеется), постоянная погрешность может приводить к снятию вопроса о причинах изменений ЗП вообще, ибо становится неясным, что именно породило данные изменения. Основ­ная задача экспериментального дизайна заключается в попытке све­дения обеих погрешностей к величине, близкой к нулю.

Хотя невозможно определить все возможные источники погреш­ности без знания особенностей проводимого исследования, можно, тем не менее, обозначить некоторые принципиальные маршруты, по кото­рым случайная и постоянная погрешности могут проникнуть в экс­перимент.

Существуют стандартные факторы (погрешности), нарушающие внутреннюю валидность эксперимента:

1. Фактор (погрешность) времени – испытуемые непрерывно меняются. В каждую единицу времени испытуемые уже не такие, какими были в прошлую единицу времени.

2. Фактор (погрешность) заданий – возникает на основе неудачного контроля всех переменных экспериментальной ситуации, способных оказать искажающее влияние на выполнение заданий участниками, то есть на ЗП. Может происходить научение при выполнении деятельности, может влиять последовательность задач и т.д.

Способы контроля погрешности заданий:

• Случайное предъявление независимой переменной при многочисленных кратковременных пробах: хааххахааах…

• Стандартизация для обеспечения идентичности опыта всех участников в процессе экс­перимента настолько, насколько это возможно, за исключением раз­личия между экспериментальным и контрольным условиями. Такая стандартизация может включать:

• стандартизацию инструкции и объяснение эксперимента, с тем, чтобы задание предъявлялось предельно унифицированно;

• стандартизацию числа опытов, контрольных и эксперименталь­ных проб;

• стандартизацию интервалов между пробами;

• стандартизацию обратной связи для участников в процессе эк­сперимента, как и любой другой детали эксперимента, которая может влиять на ЗП, становясь тем самым источником погрешности.

• Однако, есть переменные, которые не могут контролироваться пу­тем стандартизации, не вызывая новых погрешностей. В этом случае путь минимизации погрешности – уравновешивание порядка предъявления заданий так, чтобы равное число участников выполня­ло задания в прямом и обратном порядке – так называемое позиционное уравнивание: в одной группе: АВВА, в другой группе: ВААВ. Или регулярное чередование переменных: хахахахаха...

3. Фактор (погрешность) экспериментатора – погрешность, неосознанно порождаемая экспери­ментатором (чаще своим невербальным поведением) в ситуации иссле­дования, а также влияние личностных особенностей экспериментатора на ход и результат эксперимента.

Способы контроля эффекта экспериментатора:

• «Эффект экспериментатора» может быть сокращен, но не может быть полнос­тью снят. Общей стратегией уменьшения этого эффекта является минимизация взаимодействия экспериментатора с участниками, а также максимальной стандартизацией и заведомой определенностью его ос­тавшихся форм.

• Тщательное протоколирование.

• Дублирование эксперимента.

• Иногда эффективной стратегией может стать замена истинного эк­спериментатора другим человеком, который не только не знает сути эксперимента, но даже не знаком с научной психологией.

• Также надо иметь в виду требования к внешнему виду исследовате­ля или замещающего его человека. Внешний облик не должен быть при­влекательным, вызывающим или отталкивающим.