1.2 Внешняя и внутрення валидность

Различают два типа валидности — внешнюю (external validity) и внутреннюю (internal validity). Внешняя валидность есть мера возможности распространения результатов тестирования на генеральную совокупность, т.е. внешняя валидность определяет то, в какой мере результаты, полученные в эксперименте, могут соответствовать тому типу жизненной ситуации, которая была исследована, и то, насколько возможно обобщить эти результаты на все подобные жизненные ситуации [3].

Как и в отношении любой другой валидности, о внешней валидности в исследовании, вероятно, невозможно сказать, что она абсолютно соблюдена, можно указать только на её нарушение. Абсолютным соблюдение внешней валидности считалось бы тогда, когда результаты исследования можно обобщить на любые популяции при любых условиях и в любое время, поэтому учёные говорят не о соблюдении либо несоблюдении внешней валидности, а о степени её соблюдения.

Чтобы исследование обладало наивысшей степенью валидности, должна существовать возможность генерализации его результатов на другие популяции, другие условия, другое время.

Примером нарушения внешней валидности послужило исследование Лоренса Колберга, посвящённое изучению нравственного развития детей. Оно было подвергнуто критике за низкую степень внешней валидности. В 1963 году Колберг предложил мальчикам-подросткам разрешить различные коротко сформулированные дилеммы. На основании полученных ответов он разработал теорию о шести стадиях морального развития. Критика внешней валидности этого исследования в частности состояла в том, что учёный не учитывал половых различий в особенностях мышления способах принятия моральных решений и, следовательно, неправомерно обобщил свою модель на представителей обоих полов. Колберг также исходил из предпосылки о том, что существуют некие «универсальные принципы справедливости и соблюдения прав личности», однако он не учёл межкультурных различий, следовательно, выводы, которые он сделал, не могут восприниматься как универсальные [4].

Чтобы увеличить степень внешней валидности, в исследованиях могут не ограничиваться лишь экспериментальным методом, но также использовать и другие — например, наблюдение, межкультурные исследования и т. д.

При современном научном подходе в психологии соблюдение внешней валидности в исследованиях играет ведущую роль, так как наиболее ценным считается создание общих теорий, моделей и алгоритмов, применимых к психике в целом, независимо от контекста, — то есть моделей, обладающих крайне широкими предсказательными возможностями; поэтому исследования, результаты, которых можно применить только к какой-то определённой ограниченной ситуации, обладают нисходящей ценностью.

Внешняя валидизация осуществляется путем расчета репрезентативности экспериментальной выборки при отработке теста и перекрестной валидизации, то есть определения валидности теста на выборке, отличающейся от той, на которой отрабатывался стимульный материал и задания к тесту.

Репрезентативность выборки — это представительность экспериментальной выборки, которая отражает основные свойства генеральной совокупности. Репрезентативность определяется путем сопоставления качественных и количественных характеристик экспериментальной выборки с характеристиками исследуемой популяции с целью определения их однородности.

Пример. Предположим, совокупность — это все учащиеся школы (600 человек из 20 классов, по 30 человек в каждом классе). Предмет изучения — отношение к курению. Выборка, состоящая из 60 учеников старших классов, гораздо хуже представляет совокупность, чем выборка из тех же 60 человек, в которую войдут по 3 ученика из каждого класса. Главной причиной тому — неравное возрастное распределение в классах. Следовательно, в первом случае репрезентативность выборки низкая, а во втором случае репрезентативность высокая (при прочих равных условиях).

К качественным характеристикам могут быть отнесены социально-демографические, видовые, интеллектуальные (образовательные), профессиональные и другие характеристики популяции (группы), которые являются предметом исследования или существенно влияют на него.

Количественная характеристика экспериментальной группы — это минимальная ее численность, которая сохраняет свойства генеральной совокупности. Формирование репрезентативной выборки по количественному признаку осуществляется при помощи теоремы П.А. Чебышева о вероятности ошибки репрезентативности, которая гласит: «С вероятностью сколь угодно близкой к единице можно утверждать, что при достаточно большом числе независимых наблюдений выборочная средняя будет сколь угодно мало отличаться от генеральной средней» и далее (следствие 1 из теоремы П.Л. Чебышева) «...что с вероятностью, как угодно близкой к единице («практически достоверно»), выборочная доля будет как угодно мало отличаться от генеральной доли, если объем выборки достаточно велик». Размер минимальной репрезентативной выборки рассчитывается по формуле:

n = [t2 – W (1 – W) N] / [d2 N + t2 W (1 – W)],

где n – численность экспериментальной выборки; t – коэффициент кратности ошибки, связанный с вероятностью Pt, с которой требуется гарантировать результаты выборочного наблюдения (величина t-критерия Стьюдента); d – размер допустимой ошибки выборки (0,05); W – доля данного признака (0,8); (1 – W) – доля противоположного признака (0,2); N – численность генеральной совокупности.

Перекрестная валидизация производится путем апробации теста на выборке, отличной от экспериментальной. Перекрестная валидизация осуществляется для того, чтобы определить границы применения методики по критерию "характеристика популяции" (для определения уровня развития свойства у детей, подростков, мужчин-женщин, определенной группы специалистов и т. д.). В ходе перекрестной валидизации рассчитываются коэффициенты корреляции между одними и теми же показателями, полученных в результате тестирования разных групп испытуемых. Вывод о возможности применения теста на данной популяции делается при помощи параметрических критериев (F- критерий Фишера, t - критерий Стъюдента, n - критерий Уэлша).

Внутренняя валидность — это мера соответствия тестовых оценок уровню развития измеряемого свойства. Внутренняя валидность тем выше, чем больше вероятность того, что изменение зависимой переменной вызвано изменением именно независимой переменной (а не чего-либо ещё) [5].

Данное понятие можно рассматривать как междисциплинарное: оно широко применяется в экспериментальной психологии, а также в других сферах науки. Внутренняя валидность - соответствие реального исследования идеальному.

При обладающем внутренней валидностью исследовании исследователь уверен, что результаты, полученные измерением зависимой переменой, непосредственно связаны с независимой переменной, а не с каким-нибудь другим неконтролируемым фактором [6].

Однако, фактически, в науке (особенно в психологии) невозможно со стопроцентной уверенностью утверждать, что внутренняя валидность соблюдена. Например, невозможно изучить какой-то психический процесс отдельно от психики в целом. Поэтому всегда при любом психологическом эксперименте учёный может лишь максимально (но не абсолютно) удалить или минимизировать разнообразные факторы, угрожающие внутренней валидности.

Существует много факторов, угрожающих внутренней валидности [7]:

1) Изменение во времени (зависимость субъектов и окружающей среды от времени суток, времён года, изменений в самом человеке — старение, усталость и рассеивание внимания при длительных исследованиях, изменение мотивированности испытуемых и экспериментатора и т. д.)

2) Эффект последовательности - влияние одного из условий эксперимента на следующее за ним.

3) Эффект Розенталя (Пигмалиона) - психологический феномен, заключающийся в том, что ожидания личностью реализации пророчества во многом определяют характер её действий и интерпретацию реакций окружающих, что и провоцирует самоосуществление пророчества. Может проявиться на любой стадии исследования и в любой науке: и при проведении процедуры эксперимента, и при обработке результатов, и при интерпретации результатов исследования, и т. д.

4) Эффект Хоторна - это условия, в которых новизна, интерес к эксперименту или повышенное внимание к данному вопросу приводят к искажённому, зачастую слишком благоприятному результату. Участники эксперимента действуют иначе, более усердно, чем обычно, только благодаря осознанию того, что они причастны к эксперименту.

Хоторнский эффект имеет двоякую трактовку: позитивные изменения в поведении людей, вызванные оказанным им вниманием, которое сами люди истолковывают как благожелательное участие, а в экспериментальной психологии — изменения в наблюдаемом явлении, происходящие вследствие самого факта наблюдения.

5) Эффект плацебо - вещество без явных лечебных свойств, используемое в качестве лекарственного средства, лечебный эффект которого связан с верой самого пациента в действенность препарата. Иногда капсулу или таблетку с плацебо называют пустышкой. В качестве вещества для плацебо часто используют лактозу.

Кроме того, термином эффект плацебо называют само явление улучшения здоровья человека благодаря тому, что он верит в эффективность некоторого воздействия, в действительности нейтрального. Кроме приёма препарата таким воздействием может быть, например, выполнение некоторых процедур или упражнений, прямой эффект которых не наблюдается. Степень проявления плацебо-эффекта зависит от внушаемости человека и внешних обстоятельств «лечения» — например, от размера и яркого цвета таблетки, степени доверия врачу, авторитета клиники.

6) Эффект аудитории (эффект Зайонца, эффект фасилитации) — влияние постороннего присутствия на поведение человека. Этот эффект необходимо учитывать при проведении психологических исследований.

7) Эффект первого впечатления — влияние мнения о человеке, которое сформировалось у субъекта в первые минуты при первой встрече, на дальнейшую оценку деятельности и личности этого человека.

Этот эффект позволяет выносить быстрое и обобщенное впечатление о вновь встреченном человеке и использовать это впечатление для построения дальнейшего общения. Первое впечатление может формироваться субъектом намеренно или непроизвольно. Факторами этого впечатления могут выступать особенности внешнего облика и поведения человека, о котором субъект формирует мнение. Первое впечатление зависит в большой степени и от личностных особенностей самого воспринимающего субъекта и поэтому может быть более обобщенным или конкретным, исчерпывающим или поверхностным, доброжелательным или негативным и т. д. [8].

8) Эффект Барнума (эффект Форера, эффект субъективного подтверждения) — общее наблюдение, что люди крайне высоко оценивают точность таких описаний их личности, которые, как они предполагают, созданы индивидуально для них, но которые на самом деле неопределённы и достаточно обобщены, чтобы их можно было с таким же успехом применить и ко многим другим людям. Эффектом Барнума многие учёные частично объясняют феномен широкой популярности астрологических гороскопов, хиромантии и других псевдонаук.

9) Сопутствующее смешение — на зависимую переменную обычно влияют различные нерелевантные стимулы, от которых принципиально невозможно избавиться. В задачи исследователя входит определение степени влияния этих стимулов на зависимую переменную, чтобы быть уверенным в том, какое влияние на неё оказывает изменение независимой переменной, интересующей экспериментатора [9].

10) Факторы выборки [10]:

- неправильная селекция (неэквивалентность групп по составу, вызывающая систематическую ошибку в результатах);

- статистическая регрессия (частный случай ошибки селекции, когда группы отбираются на основе крайних показателей);

- экспериментальный отсев (неравномерное выбывание испытуемых из сравниваемых групп, приводящее к неэквивалентности групп по составу);

- естественное развитие (общее свойство живых существ к изменению; ср. онтогенез)

И др.

Приведем пример нарушения внутренней валидности. Допустим, мы хотим проверить лекарство, от которого люди будут становиться выше. Допустим, для своих исследований мы отбираем в качестве испытуемых 13-летних подростков, измеряем их рост, и даём им лекарство. Два года спустя мы возвращаемся к теперь уже 15-летним детям и фиксируем их текущий рост. Несомненно то, что они стали выше, но без сомнения и то, что мы не можем сделать из этого вывод, что эффект роста был вызван лекарством, так как мы не учли в своём теоретическом эксперименте естественных процессов взросления. Здесь внутренняя валидность нарушена следующим образом: мы не учли побочного для нашего исследования влияния других (в данном случае — очевидных) факторов, тогда как надо было их учитывать.