9. Основные этапы в конструировании диагностического теста

Традиционная психометрическая парадигма (по Л.Ф. Бурлачук).

1) Формулирование цели и задач будущего теста (необходимо четко знать, для чего нужен тест).

Для этого, прежде всего, определяемся с целью этого теста, для чего он нужен, что он должен измерять. Какой конструкт измеряется.

Далее производится теоретический анализ диагностируемого конструкта, разработка теоретической концепции тестируемого свойства. Это может производиться теоретически, на основе анализа соответствующей литературы, могут использоваться экспертные оценки.

Далее производится выделение составных частей теоретического конструкта и формирование системы «эмпирических индикаторов», под которыми понимается операционально однозначные показатели, фиксирующие проявление конструкта в различных поведенческих ситуациях. Бурлачук называет эти проявления манифестациями.

2) Разработка спецификации будущего теста (наиболее удобно сделать это в виде таблицы, в которой по горизонтали будут располагаться содержательные области, которые предполагается измерять, а по вертикали – их манифестации, или пути, по которым содержательные области могут проявляться). Обычно по каждой оси разрабатывается от 4 до 7 категорий. Меньшее число категорий ведет к созданию слишком узкого опросника, а большее может сделать процесс конструирования опросника обременительным.

• изучить теоретич конструкт (то, что описывает изучаемое явление, абстрактно)

• выявить аспекты

• манифестация (то, как проявляется изучаемое явление).

3) Определение количества заданий (вопросов). Для достижения удовлетворительной надежности опросника требуется не менее 20 заданий, выполнение которых обычно занимает не более 10 минут. В пилотажном исследовании количество заданий должно быть на 50% больше числа тех, которые будут включены в окончательную версию.

4) Разработка заданий (подробнее в 10 вопросе).

5) Оформление теста. От оформления, формы представления методики зависит, насколько серьезно воспринимается она испытуемыми в качестве инструмента обследования. В любом опроснике должен быть представлен:

1) блок основной информации (название и вопросы, касающиеся имени, пола, возраста, образования и некоторых других необходимых для исследователя данных; обязательно указывается дата заполнения опросника);

2) инструкция должна быть ясной, доступной для понимания; в ней должно быть указано, как выбирать ответ и каким образом отмечать его в опроснике;

3) текст опросника. Рекомендации для компоновки текста опросника:

• нумеруется каждое задание;

• каждая строка на странице должна быть короткой и содержать не более 10-12 слов;

• все задания располагаются по прямой вертикальной полосе сверху вниз в левом углу страницы;

• варианты ответов должны быть представлены так, чтобы получилась прямая вертикальная полоса сверху вниз в правом углу страницы; необходимо обеспечить ясную визуальную связь между каждым заданием и вариантами ответа на него;

• каждое задание нужно отделить друг от друга, лучше это сделать, используя свободное пространство, а не горизонтальную линию;

• если используется более чем один тип заданий, одинаковые задания группируются вместе, каждый тип заданий требует разных инструкций и своих вариантов ответов;

• опросник печатается так, чтобы он имел эстетически привлекательный вид. Дизайн опросника может способствовать восприятию его как формального документа или приближать к игре (особенности шрифта, цвет бумаги и расположение заданий).

Результаты обследования (разные формы их представления) обычно не принято включать в опросник, хотя в некоторых случаях допускается наличие в бланке (брошюре), с которым работает испытуемый, итогового блока, заполняемого психологом.

6) Пилотажное исследование предполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для обследования которых он предназначается. Анализ полученных данных поможет отобрать наилучшие задания для окончательной версии опросника. Пилотажную версию опросника следует предъявить как можно большему количеству испытуемых. Минимальное количество респондентов должно быть в два раза больше, чем количество заданий. Если невозможно получить такое количество испытуемых, лучше все-таки привлечь к исследованию меньшее количество людей, чем вообще отказаться от проведения пилотажной стадии исследования.

7) Анализ заданий (на основе пилотажного исследования). Цель – отбор наилучших заданий для окончательной версии опросника и включает в себя определение доли ответивших правильно (в соответствии с ключом) и дискриминативности каждого задания.

Первый шаг – составляется таблица анализа заданий (каждая колонка представляет задание, каждая строка – обследуемого). В личностных опросниках в таблицу вписывается соответствующий балл по каждому заданию, при этом обратные задания (с противоположным содержанием) оцениваются так же, как и прямые задания, но в противоположном направлении континуума оценок. Затем суммируются баллы по каждой клетке для получения общего балла по каждому ряду (испытуемые) и общего балла по каждой колонке (задания).

Следующий шаг – вычисление показателя, определяющего долю испытуемых, ответивших в соответствии с «ключом» опросника или индекса эффективности задания (деление количества обследуемых, давших правильный ответ, на их общее количество). В идеале этот индекс для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника.

Индекс дискриминативности (все вопросы теста измеряют одно и то же свойство; каждый вопрос теста влияет на итоговый результат). Для определения дискриминативности заданий используется коэффициент корреляции (между вопросом и его шкалой). Чем выше коэффициент корреляции, тем выше дискриминативность задания, тем лучше задание. Как правило, требуется минимальная корреляция в 0,2 (иногда смотрят по таблице критических значений, если маленькая выборка).

После проверки индексов мы изменяем вопросы, какие-то убираем, модифицируем. И после модификации черного варианта теста проводится основной эксперимент.