2.2. Оформление стимульного материала, опросной сетки и «ключей» для пилотажного исследования

Если тест является многомерным, то последовательность тестовых заданий может задаваться следующим образом: сначала идут первые задания по всем шкалам, затем – вторые задания, после – третьи и т.д. до окончания заданий по шкалам. Под стимульный материал создается опросная сетка и «ключ» для обработки результатов.

Оформление стимульного материала может включать дополнительную работу, например, проверку филологом пунктов тест-опросника на орфографию и пунктуацию.

3. Оценка содержательной валидности и очевидной валидности

4. Формирование выборки, сбор в пилотажном исследовании и обработка данных

5. Оценка репрезентативности выборки

При разработке, оценке и стандартизации методики суждение о степени репрезентативности выносится на основе оценки минимального объема выборки и соответствия эмпирического распределения нормальному.

Полученные в первом пилотажном исследовании результаты могут использоваться для оценки ряда характеристик методики.

6. Оценка диагностической силы пунктов

Для каждого задания подсчитывается количество испытуемых в процентах к общему количеству участвующих в обследовании, которые дали значимые ответы. Это дает возможность оставить такие пункты шкалы, которые обладают средней диагностической силой, т.е. значимые ответы по которым выбирает среднее количество испытуемых – конкретно от 25 до 75% испытуемых, участвовавших в пилотажном исследовании. Каждое задание считается равноценным другим, хотя реально они, конечно, не равноценны. Какие-то пункты, условно говоря, могут обладать в два раза большей диагностической силой, чем другие. Это представляет собой «огрубление» шкалы, влияющее на точность измерения. Однако такое снижение точности считается допустимым, поскольку позволяет существенно упростить процедуру обработки результатов, получаемых с помощью теста.

Задания, по которым значимые варианты ответов выбрали менее 25 или более 75% от общего количества испытуемых, считаются «неработающими». Такие пункты будут загромождать шкалу, так как не позволяют дифференцировать испытуемых по измеряемым признакам. Следовательно, задания с высокой или низкой диагностической силой должны быть переработаны или вообще исключены из шкалы.

7. Оценка надежности-согласованности

8. Оценка конвергентной или дискриминантной валидности

9. Составление окончательного варианта стимульного материала, ключей, интерпретации

Из стимульного материала исключаются задания, которые были отсеяны на этапе оценки содержательной и очевидной валидности, диагностической силы и надежности-согласованности. В соответствии с новым вариантом создается опросная сетка и «ключи».

Для составления окончательного варианта интерпретаций по шкале учитывается ранее обозначенная природа психического качества и проводится содержательный анализ заданий, вошедших в шкалу.

Интерпретация готовится по статистическим зонам:

1) Зона «тенденции»:

- усиленное проявление одного полюса качества (высокие результаты тестирования);

- усиленное проявление противоположного полюса качества (низкие результаты тестирования);

2) Зона «патологии»:

- очень сильное проявление одного полюса качества (очень высокие результаты тестирования);

- очень сильное проявление противоположного полюса того же качества (очень низкие результаты тестирования).

10. Сбор данных во втором пилотажном исследовании

Второе пилотажное исследование проводится на той же выборке испытуемых, что и первое, с целью оценки:

а) ретестовой надежности шкал;

б) эмпирической валидности.

11. Оценка ретестовой надежности

12. Оценка эмпирической валидности

13. Составление нормативных данных

Нормативные данные и статистические зоны рассчитываются либо по всей выборке, либо по половому признаку (мужчины или женщины), либо по возрастному признаку (19-26, 27-35, 36-55 лет), либо одновременно по половому и возрастному признакам.

По необходимости проводится стандартизация первичных тестовых показателей.

14. Составление Руководства для пользователя

Руководство (или справочная система) включает описание ПДМ по следующим компонентам:

- теоретическая часть, содержащая концепцию диагностируемого психического свойства и методические принципы построения методики;

- руководство для Пользователя по работе с методикой;

- инструкция для испытуемого;

- стимульный материал (вопросы или утверждения, тексты, рисунки, фотографии или что-то иное, с чем непосредственно работает испытуемый);

- способ обработки результатов тестирования и постановки диагноза («ключи», математическая обработка, нормативные данные);

- интерпретации результатов (для каждого уровня проявления диагностируемого явления).

- указания (в некоторых случаях) по выработке определенных рекомендаций для испытуемых или третьих лиц (по согласию с испытуемыми);

- описание процедуры разработки методики, в том числе показатели стандартизации, репрезентативности, надежности, валидности.