3. Требования к валидности методики

3.1. Разработчиком методики должны быть представлены эмпирические и теоретические доказательства высокой степени обоснованности интерпретации полученных результатов во всех документально обозначенных сферах использований метлики, что является главным свидетельством ее валидности,

3.2. Создатель теста должен понятно для пользователя объяснить, как предполагается интерпретировать полученные данные, для каких популяций (выборок) подходят эти рекомендации, а для каких нет. При этом разработчик должен предельно точно обозначить, для интерпретации какой части диагностического конструкта (измеряемого свойства) предназначены эти рекомендации.

3.3. Разработчики должны привести эмпирические свидетельства, прежде всего, конструктной валидности методики как степени того, насколько полученные результаты могут быть интерпретированы как эмпирический показатель операционализации диагностического конструкта.

3.4. Для доказательства конструктной валидности рекомендуется использовать разнообразные теоретически обоснованные психометрические исследования: корреляции с другими методиками, эксперименты, результаты сравнения групп, данные о структуре полученного конструкта и т.д.

3.5. При доказательстве конвергентной конструктной (конкурентной) валидности методики через уровень корреляции с методиками со сходными конструктами рекомендуется наличие величины коэффициентов корреляции на уровне от 0,55 до 0,75 при выборке обследуемых не менее 100 человек.

3.6. Для проверки и доказательства критериальной валидности необходимо обосновать выбор соответствующего методике внешнего критерия, обосновать качество выбранного критерия и определить необходимую и/или достаточную величину взаимосвязи между методикой и критерием.

3.7. Рекомендуемая величина взаимосвязи между методикой и критерием может находиться в пределах величин коэффициентов корреляции от 0,3 до 0,5. При этом величина выборки должна быть не меньше 150 человек и строго соответствовать по своему составу области, в которой предполагается проверка интерпретации полученных результатов в отношении отбора или прогноза. В случае использования разработчиком выборки, стратифицированной по признаку равенства членов в трех группах; двух «крайних» и «средней», общая величина выборки допускается в 90 – 100 человек.

4. Требования к разработке норм

4.1. Методики, предназначенные для психологической диагностики, должны сопровождаться разработкой норм для перевода получаемых «сырых» (первичных баллов в производные (вторичные, стандартизированные) в соответствии с психометрическими требованиями.

4.2. Документы, сопровождающие методику, должны обеспечивать пользователей ясным объяснением значений производных баллов и предполагаемых подходов к их интерпретации, а также обо всех возможных ограничениях интерпретации.

4.3. Методики, в которых сырые баллы интерпретируются прямо без перевода в производные, должны содержать в сопровождающих документах такие же описания сырых баллов, предлагаемых подходов к интерпретации баллов и ограничений, а также иметь эмпирические подтверждения разделения их на группы точно такие же, как при разработке норм.

4.4. Любые нормы, предлагаемые пользователю, должны относиться к точно описанным популяциям (контингенту применения методики). Эти популяции должны включать только индивидов или группы, с которыми пользователи будут сравнивать обследуемых.

4.5. Разработчик должен представить пользователю сведения о том, к какому виду относятся предлагаемые нормы: статистические (групповые, или относительные) – полученные на репрезентативной выборке; предметно-ориентированные (абсолютные) – с экспертным обоснованием одного или нескольких «секущих баллов» (границ диагностических интервалов); критериальные – с эмпирической разработкой уровней критериальных показателей или «таблиц ожидания».

4.6. Выборки стандартизации, на которых производится разработка норм для методик, предназначенных дня использования на общих (широких) популяциях, должны быть репрезентативными либо за счет большего числа типичных представителей популяции, либо за счет тщательной стратификации с выделением необходимого количества страт по полу, возрасту, образованию, отношению к национальным меньшинствам и т.д.

4.7. Репрезентативность тестовых норм должна доказываться с помощью определенных статистических процедур проверки их устойчивости к расщеплению выборки или соответствию заранее заданным теоретическим моделям распределения сырых баллов.

4.8. Размер выборки для получения норм зависит от референтной для методики популяции и колеблется от 150 – 300 человек для небольших популяций до 1000 и больше для больших и разнородных популяций. Более точное математическое обоснование необходимого размера выборки базируется на процедурах ее расщепления и проверки совпадения тестовых норм для подвыборок.

4.9. Разработчик должен выбрать, обосновать выбор и описать способ получения норм на основе групповых данных. Одним из возможных факторов выбора способа получения норм является близость эмпирического распределения выборки к нормальному. Отклонения от нормального закона распределения тестовых баллов (например, для закономерно-асимметричных распределений или закономерно-вогнутых) возможны, но должны быть обоснованными.

4.10. При разработке предметно-ориентированных норм с использованием экспертов разработчик должен произвести отбор экспертов (не менее 5 – 7 человек) на основе проверки их высокой степени знакомства с содержательной областью измерения, произвести подготовку экспертов, включая обучение, и проверить надежность и согласованность экспертных оценок по статистическим критериям. Все эти действия должны быть задокументированы разработчиком в Техническом отчете.

4.11. Предлагаемые пользователю «секущие баллы (уровни)» (границы диагностических интервалов) должны быть проверены на репрезентативных выборках и соответствовать психометрическим требованиям, что в итоге должно позволять пользователям проводить валидную (научно-обоснованную и прагматически-ценную) интерпретацию результатов тестирования.

4.12. При использовании разработчиком критериально-ориентированных норм пользователю должны быть представлены отдельные нормативы или «таблицы ожидания» достижения обследуемым заданного уровня достижения в релевантной области с разными уровнями вероятности.

4.13. Критериальные нормы должны рассчитываться на репрезентативных выборках, качественный и количественный состав которых зависит от требуемого уровня безопасности принимаемых по результатам тестирования производственно-управленческих, социальных, клинических или юридических решений. В случаях высокого уровня безопасности (жизненно важные решения) минимальный уровень вероятности достижения усыновленной критериальной нормы должен быть не ниже 80 % (что соответствует коэффициенту корреляции между тестом и критерием 0,6) Использование критериальных тестов с более низкими показателями вероятности достижения в таких же случаях допустимо лишь в составе других комплексных процедур оценивания.

4.14. При разработке методик с параллельными формами, нормы (независимо от выбранного вида) должны быть равнозначными. При этом разработчик должен представить соответствующие доказательства равнозначности в зависимости от вида норм (например, наличие высокозначимых коэффициентов корреляции).

4.15. Когда дополнительные формы методики или сокращенные (короткие) версии разрабатываются путем отбора части пунктов из исходной формы, разработчик должен представить доказательства об отсутствии чрезмерных искажений норм для различных версий или взаимозаменяемых форм.