Экспертная эмпирическая валидиность. Особое значение имеет эмпирическая валидность, основанная на сравнении итоговых баллов по шкале опросника с оценками испытуемых экспертами.

Эмпирическое значение коэффициента валидности рассчитывается как линейная или ранговая корреляция между двумя рядами значений – тестовыми баллами и суммарными баллами экспертной оценки.

При этом глобальной мерой согласованности оценщиков может служить коэффициент надежности альфа Кронбаха, при помощи которого рассчитывается каждая оценка испытуемого (того или иного его психологического качества), данная экспертами. Если сама групповая оценка не обнаруживает надежности, то она не может использоваться в качестве критерия валидизации при проверке валидности опросника.

Для повышения достоверности экспертной оценки следует:

• описывать поведение в терминах наблюдаемого поведения, а не личностных качеств;

• проводить длительное наблюдение;

• использовать не менее десяти экспертов на одного испытуемого.

Установление адекватного критерия валидности, в действительности, является особой проблемой. Например, при измерении авторитаризма остается полагаться на рейтинги, поскольку нет никаких других внешних критериев (в отличие, например, от школьных экзаменов в случае диагностики способностей).

Но при этом надо иметь в виду, что не все личностные особенности могут быть оценены экспертами. В частности, многие пункты, как показано Р.Б.Кеттелом, хотя образуют определенные факторы, но не могут быть проинтерпретированы по своему содержанию внешними наблюдателями (интервал Q-факторов).

В любом случае, экспертные оценки следует дополнять исследованиями конструктной валидности, обычно основывающимися на анализе разрабатываемого теста по сравнению с другими переменными, а также исследованиями критериальных групп, имеющих по предположению контрольные показатели по рассматриваемой переменной.

Расчет валидности тестирования. Количественно валидность теста может выражаться через корреляции результатов, полученных с его помощью, с другими показателями, например, с прагматическим критерием, в частности, с успешностью выполнения соответствующей деятельности или экспертной оценкой. Соответственно, коэффициент валидности выражает собой согласованность результатов тестовых измерений и критерия. Он рассчитывается как коэффициент корреляции, линейной или ранговой, между двумя рядами значений: тестовыми баллами и баллами экспертной оценки.

6.3.10. Факторный анализ

В настоящее время большая часть тестов характеризуется тем, что их задания организованы в систему, для определения конструктной валидности которой используется факторный анализ, разработанный в первой половине XX в. прежде всего в трудах Ч.Спирмена, Л.Терстоуна, Р.Б.Кеттела.

Основные положения факторного анализа. В основе факторного анализа лежит гипотеза о том, что непосредственно наблюдаемые переменные (например, признаки поведения) лишь косвенно отражают сущность изучаемого явления. По Л.Терстоуну, существуют общие факторы, объясняющие вариации количественных оценок признаков объекта измерения, которые надо обнаруживать. В результате проведения факторного анализа то явление, которое исходно было описано избыточной системой признаков, будет описано меньшим числом других признаков, т.е. собственно факторами.

При разработке теста корреляции между заданиями подвергаются факторному анализу и группируются такие задания, которые нагружают общий фактор, т.е. коррелируют с ним. При этом переменные должны коррелировать прежде всего друг с другом. В факторном анализе на основе квадратной корреляционной матрицы всех исходных переменных друг с другом происходит поиск такой особой переменной (фактора), при исключении влияния которой обусловленные только этой переменной корреляции между исходными переменными станут равными 0. Если в матрице остаточных значений корреляции подобные корреляции оказались не равными 0, то тогда выдвигается предположение, что существует еще один фактор, обусловливающий эти остаточные корреляции и т.д. Таким образом, из матрицы корреляций всех исходных переменных последовательно вычитаются значения тех корреляций, которые приписываются влиянию вновь выделенного фактора, и работа по выделению факторов продолжается уже на основе матрицы остаточных значений корреляций исходных переменных. На каком этапе стоит остановить этот процесс, т.е. каким числом факторов ограничиться, определяется, прежде всего, возможностями хорошей содержательной интерпретации факторов.

При этом коэффициенты корреляции заданий с факторами выступают факторными нагрузками, которые определяют сам фактор. Квадрат каждой факторной нагрузки – это та часть дисперсии (в нашем случае вариантивности балла конкретного пункта опросника), которая объясняется данным фактором. (Это эквивалентно тому, что квадрат корреляции между двумя величинами выражает собой ту долю вариативности, которая является «общей» для этих величин, т.е. в соответствующем проценте случаев величины изменяются синхронно [Купер К., 2000. С. 336].) Так, если задание имеет нагрузку 0,83, то это означает, что приблизительно 68% (0,83²) его дисперсии отражается этим фактором. Рассмотренные совместно, квадраты нагрузок отдельных пунктов опросника на фактор показывают, какая часть дисперсии пунктов объясняется этим фактором. И если собственное значение фактора разделить на число пунктов, которые в него входит, то будет получена доля вариативности, объясняемая данным фактором [Купер К., 2000. С. 337].

При конструировании личностных опросников факторный анализ используют прежде всего для определения его внутренней согласованности – в оптимальном варианте пункты, образующие одну шкалу, должны образовывать один фактор.

Но факторный анализ часто используется как дополнение или даже замена для формулирования личностного конструкта самого опросника. Объединение различных, например поведенческих, признаков в единый фактор позволяет рассматривать предположение о том, что их объединяет какая-то внутренняя латентная черта.

По крайней мере, если в теоретическом анализе была выделена та или иная личностная черта, то всегда желательно проверить эмпирически ее с помощью факторного анализа.

Методы факторного анализа. Существует два основных метода факторного анализа: в одном из них выделяются коррелированные факторы (облическое решение, использованное, например Р.Б.Кеттелом для структурирования «16 PF»), в другом – не коррелированные (ортогональное решение). При этом, по мнению Дж.П.Гилфорда, наиболее простым является выделение не коррелированных факторов, когда появляются составные, но несвязанные друг с другом факторы, в отличие от того, когда появляются простые, но связанные.

В методе главных компонент, который используется для получения ортогонального решения, рассматриваются линейные модели, т.е. ответ на каждый пункт опросника представлен как линейная комбинация факторов, выступающих детерминантами этого ответа.

Факторных решений одного и того же массива данных может быть множество. Это объясняется тем, что в основной формуле факторного анализа величина a для j-задания представляет собой проекцию точки i на систему координат осей в q-мерном пространстве. При этом закреплено только начало координат, а сами оси могут свободно вращаться, не изменяя конфигурации точек.

Поэтому очень важная роль принадлежит процедуре вращения факторов (для чего чаще всего используют процедуру Varimax–вращения) таким образом, чтобы добиться наиболее высоких корреляций исходных заданий внутри каждого фактора, за счет чего возникает возможность содержательной интерпретации факторов. В результате этого получается «простая структура», которая характеризуется тем, что факторы, как оси n-мерного пространства, повернуты по отношению к пунктам, как точкам этого пространства, таким образом, что пункты опросника однозначно приписаны только к одному фактору (т.е. высоко коррелируют с ним и не коррелируют с другими факторами). Или, то же самое - пункты опросника, входящие в фактор, тесно связаны между собой и для них коэффициент парной корреляции достаточно высок (но не слишком, т.к. в этом случае какой-либо из пунктов будет, скорее всего, лишним), в то время как связи между пунктами, входящими в разные факторы, слабы или вовсе отсутствуют.

Соответственно, результаты применения факторного анализа можно считать успешными, если каждому фактору оказывается поставленной в соответствие группа признаков так, чтобы разные группы не пересекались и содержательно хорошо интерпретировались.