Технология создания и адаптации методик

Нередко реальная ситуация использования теста включает в себя требования его доработки. Рассмотрим основные варианты таких ситуаций.

Ситуация применения. Тест кем-то разработан (возможно, в других социокультурных условиях), известны тестовые нормы.

Ситуация адаптации. Тест кем-то разработан – проверены надежность и валидность, но отсутствуют тестовые нормы. Задача адаптации – построению тестовых норм.

Ситуация конструирования. Есть концепция психического свойства, но нет «подходящей» процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениям прочих ресурсов. Надо «придумать» измерительную процедуру, проверить ее надежность, валидность, построить тестовые нормы.

Рассмотрим случай адаптации «переводного» теста. Укажем необходимые этапы эмпирико-статистической работы при адаптации многомерного переводного теста-опросника.

• Анализ внутренней валидности, внутренней согласованности пунктов, из которых состоит тест-опросник.

• Проверка устойчивости к перетестированию.

• Анализ корреляций с релевантным внешним критерием.

• Проверка или рестандартизация тестовых норм.

• Проверка воспроизводимости структуры отношений между шкалами.

Особые задачи ставят перед психологом ситуации «внутрикультурного переноса» теста на новую популяцию, отличающуюся от выборки стандартизации половозрастными или профессионально – культурными особенностями. В этом случае необходимо:

• проверить валидность методики, если методика чувствительна по своему содержанию к профессиональным или региональной специфике. Если результаты проверки валидности оказываются неудовлетворительными, то по собранным результатам следует провести простейший «анализ пунктов» – посмотреть не оказались ли некоторые пункты явно неинформативными, не оказались ли некоторые вопросы явно бессмысленными или слишком «прямыми», социально значимыми в данной ситуации;

• проверка соответствия тестовых норм.

Опросники широко используются для измерения психических состояний и личностных качеств. Их основу составляют утверждения о проявлениях измеряемой психологической переменной и испытуемый должен соглашаться или не соглашаться с ними в зависимости от их присутствия или отсутствия у себя.

Разработка опросников связана с решением ряда задач.

1. Обеспечение валидности опросника. Установить валидность опросников труднее всего из-за природы измеряемых личностных переменных, которые создают трудности при формулировке заданий.

Вербальная форма подачи тестового материала порождает у испытуемого определенные предположения о цели тестирования. Если ситуация диктует испытуемому необходимость фальсификации ответов, то испытуемый редко отказывается от этой возможности. Подобная активность обследуемого субъекта порождает специфические проблемы валидности, которые обозначаются как проблемы обеспечения «достоверности».

2. Обеспечение эффективности заданий теста.

Под эффективностью задания понимается способность задания дифференцировать испытуемых по измеряемому данным пунктом показателю. Если задание слишком легкое или трудное, то правильный ответ на него дает либо большинство, либо небольшое число испытуемых, что затрудняет их разделение на более и менее успешных. Поэтому включаемые в тест пункты должны быть оптимальными по своей эффективности. В тестах-заданиях показателем эффективности пункта является трудность пункта, в тестах-опросниках – сила пункта. Количественная оценка эффективности пункта теста предполагает вычисление соответствующих индексов. Индекс трудности задачи равен проценту правильных ответов на данную задачу. Индекс трудности задачи рассчитывают для тестов, измеряющих способности и уровень достижений в обучении.

3. Проверка репрезентативности выборки стандартизации (тестовых норм).

Сам по себе сырой суммарный балл не позволяет оценить результат конкретного испытуемого в категориях «низкий», «средний» или «высокий». Для того, чтобы можно было оценить уровень выраженности измеряемого свойства, необходимо соотнести балл испытуемого с нормами, которые получают путем обследования с помощью нормируемого теста некоторой выборки испытуемых, которая называется выборкой стандартизации. Выборка стандартизации представляет собой случайным образом отобранную из генеральной совокупности группу испытуемых. Эта выборка, прежде всего, должна быть репрезентативной по отношению к генеральной совокупности, то есть должна точно отражать категорию лиц, для которых предназначен тест. Это предполагает стратификацию выборки, которая обычно проводится по четырем переменным, важными среди которых являются социальное положение, возраст и пол. Выборка стандартизации также должна быть достаточной по объему. Чем больше этот объем, тем надежнее и точнее получаемые нормы.

Составление опросника предполагает, в первую очередь, определение предмета измерения, то есть той психологической переменной, для измерения которой предназначается тест. Затем разрабатывается спецификация теста, которая включает в себя содержательные области, подлежащие измерению, и их манифестации – пути, по которым они проявляются. Эти содержательные области выступают как оси измерения или шкалы теста. Обычно рекомендуется по каждой оси разрабатывать 4-7 категорий, а количество манифестаций должно быть таким, чтобы произведение числа категорий и числа манифестаций было не меньше 16-ти и не более 25-ти. Это обеспечит такую длину опросника, при которой реальна возможность конструирования и использования опросника на практике. Следующим шагом является определение количества пунктов в тесте, необходимых для выявления каждой из манифестаций каждой отдельной категории. Их должно быть столько, чтобы тест был, с одной стороны, достаточно надежен (это требует увеличения количества пунктов), а с другой стороны, невелик, чтобы обеспечить эффективную работу испытуемых с ним. Для предварительного варианта теста разрабатывается на 50 % больше заданий, чем нужно для его окончательно варианта.

Формулирование пунктов опросника.

Пункты опросника должны:

1. выявлять измеряемую психологическую переменную и, кроме того, соответствовать ряду других требований к их формулировкам;

2. устранять возможность проникновения испытуемых в суть того, что изучается при помощи данного задания;

3. утверждения должны быть понятными, недвусмысленными;

4. вопросы должны отражать конкретные, а не общие аспекты изучаемой области поведения;

5. в каждом задании следует задавать только один вопрос или делать только одно утверждение;

6. рекомендуется избегать слов, определяющих частоту действий;

7. следует по возможности избегать обращения к чувствам и задавать конкретные вопросы, касающиеся поведения (например, вместо «Нравится ли Вам спорт?» лучше сформулировать другой более конкретный вопрос: «Вы играете регулярно в какую-либо спортивную игру?»);

8. не следует использовать утверждения, которые являются явно социально желательными или нежелательными (например, «Я не понимаю юмора»);

9. устранять установку на согласие, то есть тенденцию соглашаться с утверждением независимо от его содержания.