Рационально-эмририческая стратегия конструирования тестов.

Процедуру разработки тестовых методик часто именуют конструированием тестов.

Теорию (науку) конструирования — тестологией.

Известны два пути создания психодиагностических методик:

• разработка новых, оригинальных методик.

• адап­тация известных методик (зарубежных, устаревших, с иными целями);

Информация по тесту, предлагаемому для решения определенных диагностических задач, должна состоять из:

• Детального описания содержания измерительного инструмента;

• Сведений о процедуре проведения и обработки полученных результатов;

• Описания норм;

• Данных о надежности;

• Данных о валидности.

Рассмотрим некоторые аспекты целостной стратегии конструирования, эмпирической апробации и внедрения методики в практику [15]. В реальном случае создание оригинальной методики или адаптация зарубежной методики не могут сводиться только к проверке (или перепроверке) отдельных психометрических свойств - репрезентативности, надежности, валидности, достоверности - в произвольной последовательности. В одних случаях целесообразно начинать с одного, в других - с другого этапа работы.

По существу любая реальная ситуация использования теста не является ситуацией только "конструирования" или "применения". Можно без преувеличения сказать, что существует континуум между крайними полюсами:

• "создание"------------ "применение"

Однако на практике, все многообразие ситуаций, всю комбинаторику независимых параметров психологи, как правило, пытаются свести к двум-трем типовым ситуациям [15].

1. Ситуация применения. Тест кем-то разработан (возможно, в других социокультурных условиях), известны тестовые нормы, полученные на представителях данной языковой культуры (несоответствие выборки стандартизации и выборки применения по половозрастной структуре и профессионально-культурным признакам признается несущественным).

2. Ситуация адаптации. Тест кем-то разработан - проверены надежность и валидность, но отсутствуют тестовые нормы (как правило, отсутствуют вообще для любых представителей данной языковой культуры). Задача адаптации сводится, таким образом, к построению тестовых норм.

3. Ситуация создания. Есть концепция психического свойства, но нет "подходящей" процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениям прочих ресурсов. Необходимо разработать измерительную процедуру, проверить ее надежность, валидность, построить тестовые нормы.

Этапы конструирования теста (ситуация создания методики):

1. Выбор предмета (явления - диагностического конструкта) и объекта исследования (контингента испытуемых – выборка стандартизации).

2. Теоретический анализ диагностического конструкта, разработка теоретической концепции тестируемого свойства. Формирование системы «эмпирических индикаторов» – операционально-однозначных показателей, фиксирующих проявление конструкта в различных поведенческих ситуациях.

3. Выбор вида теста (объективный, субъективный, проективный), типа заданий (с предписанными ответами, со свободными ответами) и шкал (числовые, вербальные, графические).

4. Конструирование пунктов теста. Подбор первичного банка заданий, может осуществляться дву­мя путями:

• вопросы формулируются, исходя из теоретических пред­ставлений об измеряемом явлении (факторно-аналитический принцип);

• или вопросы подбираются в соответствии с их дискриминативностью, т. е. способностью отделять испытуемых по наличию требуемого при­знака (критериально-ключевой принцип). Второй принцип является эффективным в тестах отбора (например, профессионального или кли­нического).

2. Предварительное тестирование, формирование банка эмпири­ческих данных.

3. Оценка заданий первичного банка (оценка содержательной ва­лидности теста, т. е. соответствия каждого из заданий измеряемому яв­лению и полноты охвата изучаемого явления тестом в целом). Прово­дится с помощью метода экспертной оценки.

4. Формулирование релевантного социально-прагматического критерия (внешнего критерия) для проверки прагматической валидности (критериальная валидность). Проводится с помощью кор­реляционного анализа оценок теста и показателей по внешнему критерию изучаемого свойства (например, школьной успеваемости при валидизации теста интеллекта; врачебного диагноза при валидизации клинических тестов; данных других тестов, валидность которых извес­тна, и др.).

5. Планирование и проведение теоретической валидизации методики – подсчет конвергентной валидности, посредством корреляционного исследования (или квазиэксперимента) на специально подобранной выборке испытуемых, для которых известно значение внешнего критерия показателя, а также результатов по родственным психологическим тестам.

6. Исследование достоверности результатов (введение в тест шкалы лжи).

7. Отсев пунктов, не удовлетворяющих критериям валидности и достоверности.

8. Оценка надежности теста (устойчивости результатов к действию случайных факторов, внешних и внутренних).

• Определение надежности измерительного инструмента (коэффициент внутренней согласованности и коэффициент стабильности) посредством оценки ретестовой надежности (соответствие результатам повторного тестирования, обычно через несколько месяцев), далее надежности частей теста (гомогенная надежность - устойчивость результатов отдельных задач или групп задач, на­пример, по методу «четное — нечетное») и надежности параллельных форм, если таковые существуют.

• Методика признается надежной, если коэффициент корреляции результатов (первичного и повторного тести­рования; одной и другой частей теста; одной и другой параллельных форм) составляет не менее 0,75.

• При более низком показателе надеж­ности производится корректировка заданий теста, переформулирова­ние вопросов, снижающих надежность.

• Если надежность невысока, следовательно, возврат к пункту плана 1. и уточнение теоретических представлений.

12. Проводится стандартизация теста, т. е. приведение процедуры и оценок к общепринятым нормативам. Стандартизация оценок подразу­мевает преобразование нормальной или искусственно нормализован­ной шкалы первичных оценок (эмпирических значений изучаемого по­казателя) в оценки шкальные (отражающие место в распределении ре­зультатов выборки испытуемых). Виды шкальных оценок: стены (1-10), станайны (1-9), Т-оценки (10-100) и др.

13. По возможности определяется прогностическая валидность, т. е. информация о том, с какой степенью точности методика позволяет су­дить о диагностируемом психологическом качестве спустя определен­ное время после измерения. Также определяется по внешнему крите­рию, но данные по нему собираются спустя некоторое время после те­стирования.