3.2.6. Статистическая оценка валидности

Валидность представляет собой весьма широкое и сложное понятие. Этим и объясняется отсутствие специфических математических моделей или статистических методик для оценки валидности. Современная теория тестов вносит свой довольно скромный вклад в развитие понятия валидности (см. гл. 1) Для объяснения того, как даются ответы на отдельные задания теста или группу заданий, были разработаны одномерные модели изучаемых (латентных) характеристик. По мнению Гольдштейна и Уда (1987, р. 163-164), в теории ответов на задания теста центральной проблемой является вероятностная природа ответов, а не то, почему люди дают правильные или неправильные ответы. С точки зрения авторов, часто недостатком нелинейных логистических моделей является их относительная математическая сложность, поскольку она может заслонять исследуемое реальное содержание. Эта критика не умаляет вклада современной теории тестов в объяснение тестируемого поведения.

Поскольку существует множество различных значений валидности, при изучении валидности в психологии используется целая гамма способов анализа данных психологии. В связи с этим при обсуждении проблемы валидности в учебниках авторы делают это несколько по-разному. Дренс и Сиджсма (1990) ограничиваются такими методами анализа данных, как регрессионные анализ и прогноз, факторный анализ (без их последующей разработки). Крокер и Альджина пошли на шаг дальше. Они описывают процедуры шкалирования, модели линейного прогноза (при рассмотрении прогностической валидности) и факторный анализ (для конструктной валидности). Наннелли и Бернштейн (1994) продвинулись еще дальше в использовании статистических процедур. Кроме перечисленных методик они применяют дискриминантный анализ, многомерное шкалирование и др.

По мере разработки новых методов анализа данных они будут использоваться при исследовании валидности. Трудно найти специфические связи между исследованиями валидности и ограниченным набором специфических техник. Однако некоторое устойчивые связи все же сложились. Исследования прогностической валидности связаны главным образом с моделями линейного прогноза (корреляции и регрессия). В исследовании конструктной валидности общей линейной модели используются многометодная матрица свойств и факторный анализ. Кронбах и Миль еще в 1955 году составили перечень множества процедур конструктной валидизации.

Изучение различий между группами. Если существует теоретическое предположение о том, что между двумя группами имеются различия в отношении определенной поведенческой характеристики, то можно попытаться оценить различия между средними показателями.

Изучение матриц корреляции и факторного анализа. Первоначально эти методы оптимистически рассматривались как средства выявления основных параметров мышления и характеристик личности (см. Cronbach, Meehl, 1955, с. 285).

Изучение внутренней структуры тестовых заданий. Это имеет отношение к многочисленным способам анализа заданий.

Изучение изменений во времени. Интерес сконцентрирован преимущественно на том, насколько характеристики остаются стабильными с течением времени.

Изучение процесса. По мнению авторов, внимание должно быть уделено анализу поведения во время работы с тестом, необходимо точное ведение протоколов и фиксация допущенных ошибок.

С 1955 г. репертуар статистических методов существенно расширился: помимо исследовательских методик стали использоваться и методы проверки гипотез.

Как показано в этом разделе, при оценке валидности используются все виды линейных и нелинейных методов анализа данных. Изучение валидизации сопровождается аналитическим “насилием” над полученными данными. Мессик говорит также о необходимости качественного анализа поведения (материалов протоколов).