6. Статистическая оценка валидности

Валидность представляет собой весьма широкое и сложное понятие. Этим и объясняется отсутствие специфических математических моделей или статистических методик для оценки валидности. Современная теория тестов вносит свой довольно скромный вклад в развитие понятия валидности (см. гл. 1) Для объяснения того, как даются ответы на отдельные задания теста или группу заданий, были разработаны одномерные модели изучаемых (латентных) харак-

112

пз

теристик. По мнению Гольдштейна и Уда (1987, р. 163— 164) в теории ответов на задания теста центральной проблемой является вероятностная природа ответов, а не то, почему люди дают правильные или неправильные ответы. По мнению авторов, часто недостатком нелинейных логистических моделей является их относительная математиче-ская сложность, поскольку она может заслонять исследуемое реальное содержание. Эта критика не умаляет вклада современной теории тестов в объяснение тестируемого поведения.

Поскольку существует множество различных значений валидности, при изучении валидности в психологии используется целая гамма способов анализа данных психологии. В связи с этим при обсуждении проблемы валидности в учебниках авторы делают это несколько по-разному. Дрене и Сийтсма (1990) ограничиваются такими методами анализа данных, как регрессионные анализ и прогноз, факторный анализ (без их дальнейшей разработки). Крокер и Альджина пошли на шаг дальше. Они описывают процедуры шкалирования, модели линейного прогноза (при рассмотрении прогностической валидности) и факторный анализ (для конструктной валидности). Наннелли и Берн-штейн (1994) пошли еще дальше в использовании статистических процедур. Кроме перечисленных методик они применяют дискриминантный анализ, многомерное шкалирование и др.

По мере разработки новых методов анализа данных они будут использоваться при исследовании валидности. Трудно найти специфические связи между исследованиями валидности и ограниченным набором специфических техник. Однако некоторое устойчивые связи все же сложились. Исследования прогностической валидности связаны главным образом с моделями линейного прогноза (корреляции и регрессия). В исследовании конструктной валидности общей линейной модели используются многометодная матрица свойств и факторный анализ. Кронбах и Миль еще в 1955 году составили перечень множества процедур конструктной валидизации.

• Изучение различий между группами.

Если существует теоретическое предположение о том, что между двумя группами имеются различия в отношении

определенной поведенческой характеристики, то можно попытаться оценить различия между средними показателями.

• Изучение матриц корреляции и факторного анализа.

Первоначально эти методы оптимистически рассматривались как средства выявления основных параметров мышления и характеристик личности (см. Cronbach & Meehl, 1955,стр.285).

• Изучение внутренней структуры тестовых заданий.

Это имеет отношение к многочисленным способам анализа заданий.

• Изучение изменений во времени.

Интерес сконцентрирован преимущественно на том, насколько характеристики остаются стабильными с течением времени.

• Изучение процесса.

По мнению авторов, внимание должно быть уделено анализу поведения во время работы с тестом, необходимо точное ведение протоколов и фиксация допущенных ошибок.

С 1955 г. репертуар статистических методов существенно расширился, помимо исследовательских методик стали использоваться и методы проверки гипотез.

Как показано в этом разделе, при оценке валидности используются все виды линейных и нелинейных методов анализа данных. Изучение валидизации сопровождается аналитическим «насилием» над полученными данными. Мессик говорит также о необходимости качественного анализа поведения (материалов протоколов).