3.2.9. Конструктная валидность и системы исследования

Мессик (1989) попытался прояснить понятие валидности, используя концепцию "системы исследований", представленную эпистемологом Чечменом (1971). Последний предпринял попытку представить и проанализировать эпистемологические теории в виде системы исследовательских вопросов (inquiry). Каждая такая система имеет свои специфические "строительные" блоки или информационные единицы, с помощью которых представляется существо проблемы. Имеются также гарантии того, что само представление проблемы будет отвечать требованиям валидности.

В системе Лейбница основным является формальный или символический способ представления проблемы, точнее эпистемологической проблемы познания. Набор простейших аналитических истин и системы правил и операций образуют основу для выведения теоретических суждений. Критериями валидности являются согласованность, полнота и др.

Учение Локка применяет эмпирический и индуктивный подход к постановке проблемы. Система знаний развивается путем обобщения данных наблюдения. Критериями валидности являются согласие экспертов, объективность, беспристрастность к данным и методам их сбора и анализа.

Мессик замечает, что обе эти системы пригодны для анализа хорошо структурированных проблем. В том случае, когда проблема плохо структурирована, стоит вечный вопрос о том, как определить ее суть. По-видимому, во многих случаях ученые еще не могут найти адекватный способ представления проблем. Это те проблемы, о которых в одной из своих ранних работ (1916) Виттгенштейн сказал: “О чем нельзя говорить, о том должно молчать”.

Система исследовательских вопросов у Канта содержит способ представления проблемы, интегрирующий подходы Лейбница и Локка. В рамках этой системы существует, по крайней мере, два подхода к представлению проблемы и к систематизации данных или совокупности фактов. Эти подходы могут в одних случаях дополнять друг друга, в других случаях - находиться в антагонистических отношениях. В течение долгого времени наилучшей считалась та теория представления проблемы, которая более успешно оперировала эмпирическими данными.

Диалектическая система Гегеля содержит противоположные способы представления проблемы. Для анализа одних и тех же данных используются две конкурирующие теории. Противоположность позиций со всей наглядностью обнаруживается в публичном споре. Конфликт позиций переносится на более высокий уровень - уровень интеграции, где и “снимается”. Возможно противостояние интегрированной теории новым конкурирующим теориям, так что диалектический процесс может продолжаться. Конечно, этот процесс развертывается между идеями, а не между людьми.

Чечмен рассматривает еще одну, не столь хорошо известную систему, систему Синджера. Эта система содержит описание перечисленных систем и рассматривает связь каждой из них с остальными. Данный метод способствует лучшему пониманию преимуществ каждой системы. Критерием валидности является прогресс путем последовательного приближения.

В психологических исследованиях валидности основное значение имеют системы Лейбница и Локка. Система Канта, рассматривающая альтернативные модели, используется не столь часто. Диалектическая система также используется редко, возможно, из-за трудностей формулирования противоположных теорий. Другой весьма вероятной причиной не столь широкой распространенности диалектической модели является опасение скатиться к релятивизму, если к каждой теории добавлять противоположную. Мессик считает, что “метарефлексия” в системе Синджера могла бы способствовать проведению достаточно “сбалансированных” исследований конструктной валидности.

Таким образом, в психологических исследованиях валидности доминируют формально структурная (Лейбниц) и эмпирическая (Локк) системы постановки проблем. Мессик считает необходимыми и полезными для исследований валидности увеличение числа соперничающих теорий и анализ всех систем. Его рассуждения напоминают в той или иной степени аргументацию из концепции фальсификации Поппера.

ТРИНАДЦАТЬ ИТОГОВЫХ ТЕЗИСОВ

1. Наиболее полная система психодиагностики предполагает “кооперацию” (на деле пока отсутствующую) между тремя ее уровнями:

а) житейскими представлениями о характеристиках людей:

б) конструктами психологических теорий:

в) математическими или статистическими моделями.

2. Ошибки измерения носят случайный и неизбежный характер, интуитивно они не улавливаются. Эти ошибки дают информацию о согласованности-несоглаcованности поведенческих и когнитивных характеристик. Существуют способы оценки ошибок измерения.

3. Под индексом надежности понимается стандартная ошибка измерения, получаемая путем повторного оценивания одного и того же субъекта. Поскольку это практически невыполнимо, можно говорить о коэффициенте корреляции как об альтернативном варианте.

4. Каждый тест должен быть снабжен не менее чем одним коэффициентом надежности и не менее чем одним коэффициентом валидности (см. также пункт 10).

5. По мнению Леви (1974), Гольдштейна и Вуда (1989), взаимодействие между "содержательными" психологическими теориями и классической и современной теориями тестов можно назвать успешным только в определенной степени. Возможно, со временем теорию тестов и психологические теории соединят аспектный анализ и теория обобщаемости.

6. Критерии валидности могут происходить из различных эпистемологических источников. Это такие, например, критерии, как корреспонденция, когеренция, консенсус, практическая полезность. Данное многообразие не означает, что понятие валидности разнородно и даже противоречиво. Такое множество стало допустимым потому, что предмет психологии сложен и многообразен.

7. Возможна определенная унификация понятия валидности, но существует также несколько весьма важных разграничений, главное из которых - это разграничение между прогностической, конструктной и содержательной валидностью.

8. Концепция валидности используется и в экспериментальных исследованиях (в собственно экспериментальном и квазиэкспериментальном вариантах). Различаются внутренняя, внешняя, конструктная типы валидности и валидность статистического вывода. Эти типы валидности в определенной степени аналогичны типам, используемым в психодиагностике.

9. Понятие валидности предполагает, что тестовые результаты должны соответствовать изучаемым феноменам, что возможна их интерпретация и что они практически полезны (для конкретных целей). Информация о тестовых результатах и данные наблюдения должны использоваться в соответствии с нормами и ценностями общества.

10. Генерализация валидности является результатом дифференциации понятия прогностической валидности. Процедура состоит в оценке источников ошибок в выборке коэффициентов валидности и в нахождении истинного коэффициента валидности. Обсуждение практической полезности будет представлено далее.

11. Конструктная валидность претендует на то, чтобы объединить концепции валидности. Можно рассматривать, например, прогностическую и содержательную валидность как конкретные варианты разработки этого более широкого понятия.

12. Представители психометрии больше интересовались изучением надежности, чем валидности. Разработка моделей исследования валидности достаточно сложна. В исследовании валидности всегда "что-то ускользает".

13. Главные заботы представителей психодиагностики связаны с проблемами поиска соответствия между эмпирическими данными и моделями их описания, между понятиями и способами их операционализации, между структурой и ее содержанием.

* “Человеку свойственно ошибаться” (лат.) - (прим. перев.)

* Protokollsatze (нем.) - протокольные выражения. Согласно теории Карнапа, они описывают содержание непосредственного опыта, т.е. феномены, иначе говоря, простейшие познаваемые факты (прим. перев.).

* “herrschaftfreie” (нем.) - свободный от господства одной из сторон (прим. перев.).

* Richtigkiet (нем.) - правильность, верность, точность (прим. перев.)

79