V этап – анализ заданий опросника

Анализ заданий теста по результатам, полученным в пилотажном исследовании, имеет своей целью отбор наилучших заданий для окончательной версии опросника и включает в себя определение таких показателей, как индекс сложности (эффективности задания) и дискриминантности каждого задания.

Индекс сложности каждого задания подсчитывается делением количества обследуемых, давших правильный (в личностных опросниках – совпадающий с ключом) ответ, на их общее количество. В идеале этот индекс для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника. Индекс, меньший чем 0,25, показывает, что задание неэффективно потому, что очень немногие обследуемые отвечают на него в соответствие с ключом, а выше 0,75 указывает на то, что на данное задание получено слишком много совпадающих с ключом ответов. Задания не попадающие в указанный интервал рекомендуется либо переработать, либо устранить из окончательной версии опросника.

Можно также рассчитать индекс эффективности в %%-тах по формуле:

И_эф = 100 х (1 – N_n )

N

Еще более важной характеристикой качества заданий теста является показатель дискриминативности каждого задания.

Дискриминативность заданий теста - способность отдельных пунктов (заданий) теста дифференцировать обследуемых относительно "максимального" или "минимального" результата теста.

Любой ответ испытуемого на конкретное задание можно оценить по двухбалльной шкале - "верно" (1 балл), "неверно" (0 баллов). Сумма баллов по всем пунктам представляет собой первичную ("сырую") оценку. Мера соответствия успешности выполнения одной задачи всему тесту является показателем Д. з. т. для данной выборки испытуемых и называется коэффициентом дискриминации (индексом дискриминации):

где x - среднее арифметическое всех индивидуальных оценок по тесту;  x_n - среднее арифметическое оценок по тесту у испытуемых, правильно выполнивших задание (в случае опросника личностного - соответствие с "ключом"); σ_x - среднеквадратическое отклонение индивидуальных оценок по тесту для выборки; N_n - число испытуемых, правильно решивших задачу (или тех, чей ответ на данный пункт опросника соответствует "ключу"); N - общее число испытуемых.

Коэффициент дискриминации может принимать значения от -1 до +1. Высокий положительный rpb свидетельствует об эффективности деления испытуемых. Высокое отрицательное значение r_pb свидетельствует о непригодности данной задачи для теста, о ее несоответствии суммарному результату.

Подробнее о том же:

В. К. Гайда и В. П. Захаров предлагают вычислять коэффициент дискриминации, рассчитывая меру соответствия между успешностью решения одной задачи и всего теста. Этот показатель будет являться коэффициентом дискриминации, для его расчета используют формулу:

  ,                                                 (2)

где: x— среднее арифметическое значение всех индивидуальных оценок по тесту;

xn— среднее арифметическое значение оценок по тесту у тех испытуемых, которые правильно решили задачу;

δx— среднеквадратическое отклонение индивидуальных оценок по тесту для выборки;

n— число испытуемых, правильно решивших задачу;

Nd— общее число испытуемых.

Коэффициент дискриминации может принимать значения от —1 до +1. Высокое положительное значение дискриминативности тестового задания свидетельствует об эффективности деления испытуемых, высокое отрицательное значение свидетельствует о непригодности данной задачи для теста, о ее несоответствии суммарному результату. Результат D≥0,3 считается удовлетворительным. Если значение коэффициента близко к 0, то задачи должны рассматриваться как некорректно сформулированные.

Для определения дискриминативности заданий теста можно также использовать коэффициент корреляции каждого задания с общим баллом всего теста. Чем выше коэффициент корреляции, тем выше дискриминантность задания, тем лучше задание, Т.е. дискриминативность задания теста показывает , в какой мере оно определяет ту же личностную характеристику, что и весь тест. При высокой дискриминативности задания большинство испытуемых дающих на задание ответ, совпадающий с ключом, набирают высокий балл и по всему тесту в целом.

Рекомендуется использовать Коэффициент корреляции rs Спирмена:

,

где di – разность рангов i-го испытуемого в первом и втором ранговом ряду по двум переменным, N – количество ранжируемых значений

Это основной критерий. Как правило, требуется минимальная корреляция в 0,2. Задания с отрицательной или нулевой корреляцией почти всегда исключаются.

Для расчета коэффициентов дискриминативности и альфы Кронбаха в исходной таблице данных необходимо перешифровывать ответы испытуемых на обратные вопросы. Т. е., если испытуемый дает на обратный вопрос ответ «нет» и ставит в бланке «0» баллов, этот ответ «работает» на шкалу (на увеличение суммарного балла), поэтому его необходимо перешифровать в «1». И наоборот, если на обратный вопрос дается ответ «да» - это несовпадение с ключом, поэтому ему нужно присвоить «0» баллов.

При решении вопроса о включении задания в окончательную версию теста нужно принимать во внимание многие факторы.

Например, можно включить задания с низкой дискриминативностыо, если имеется немного заданий по некоторой области измерения. Также иногда имеет смысл включение в окончательный вариант опросника задания с недостаточно высоким показателем эффективности при условии, что оно обладает достаточной дискриминантно- стью. Также важно обеспечить приблизительно равное количество прямых и обратных заданий.

Наряду с дискриминативностью каждого из заданий теста необходимо рассчитать показатель дискриминативности всего теста. Дискриминативность теста – это показатель широты диапазона возможных проявлений измеряемой характеристики Д.Т. можно определить с помощью коэффициента δ (дельта) Фергюсона. Формула подсчета коэффициента:

,

где N – количество испытуемых, n – количество заданий, fi – частота встречаемости каждого варианта ответа (сколько раз по выборке встречается вариант ответа «0», сколько раз вариант ответа «1».

Коэффициент Фергюсона – это отношение между показателем дискриминативности, полученным для некоторого теста и максимальным значением дискриминативности, которое может обеспечить такой тест.

Коэффициент α Кронбаха измеряет степень того, насколько тест можно считать внутренне согласованным: насколько все задания теста совместно дают устойчивую информацию относительно измеряемого признака. Рассчитывается по формуле:

,

где κ – количество заданий теста, Σơi² - сумма дисперсий для каждого задания, ơy² - дисперсия для данного теста.

Валидность теста

Конструктная валидность (теоретическая, концептуальная) показывает, насколько результаты тесты могут рассматриваться в качестве истинного показателя того психологического феномена, для измерения которого разработан тест.

Методика обладает высокой конструктной валидностью только в том случае, если в ее результатах отражаются ключевые, а не второстепенные стороны изучаемого психического свойства или явления. Например, конструктная валидность показывает, насколько тест предназначенный по замыслу автора для измерения тревожности, измеряет именно тревожность, а не какие-либо другие проявления эмоциональности (например, агрессивность, чувство вины, апатию или эмоциональную отстраненность).

Для определения конструктной валидности принято формулировать две альтернативные гипотезы:

Показатели валидизируемого теста должны высоко положительно коррелировать с показателями другого теста, измеряющего аналогичное свойство, валидность которого уже подтверждена – является высокой.

Показатели валидизируемого теста не должны коррелировать с показателями тестов, измеряющих другие психические свойства, не сходные со свойством, для измерения которого предназначен тест, проходящий проверку на конструктную валидность.

Например, результаты вновь разработанного или впервые переведенного с иностранного языка теста на тревожность должны коррелировать (положительно) с результатами методик на определение тревожности с уже установленной валидностью. При этом они не должны коррелировать с валидными тестами на агрессивность или, например, с тестом уверенности в себе Ромека.

Если валидизируемый тест предназначен для измерения психического свойства или психологического феномена, не измеряемого с помощью других тестов, то конструктная валидность определяется посредством соотнесения показателей нового теста с показателями тестов, измеряющих похожие свойства либо феномены. Например, тест на эмоциональный интеллект, должен коррелировать с методиками на эмпатические способности и не коррелировать с методиками, измеряющими, например, уровень самооценки или степень выраженности мотивации достижения успеха.