Дискриминативность задания теста. Индекс дискриминативности задания теста.
Дискриминативность заданий теста - способность отдельных пунктов (заданий) теста дифференцировать обследуемых относительно "максимального" или "минимального" результата теста.
Любой ответ испытуемого на конкретное задание можно оценить по двухбалльной шкале - "верно" (1 балл), "неверно" (0 баллов). Сумма баллов по всем пунктам представляет собой первичную ("сырую") оценку. Мера соответствия успешности выполнения одной задачи всему тесту является показателем Д. з. т. для данной выборки испытуемых и называется коэффициентом дискриминации (индексом дискриминации):
где x - среднее арифметическое всех индивидуальных оценок по тесту; xn - среднее арифметическое оценок по тесту у испытуемых, правильно выполнивших задание (в случае опросника личностного - соответствие с "ключом"); ;;σx - среднеквадратическое отклонение индивидуальных оценок по тесту для выборки; Nn - число испытуемых, правильно решивших задачу (или тех, чей ответ на данный пункт опросника соответствует "ключу"); N - общее число испытуемых.
Данное уравнение пригодно
для расчета коэффициента дискриминации
лишь в тех случаях, когда все испытуемые
дали ответы на все задания теста. При
наличии пропусков в ответах целесообразно
рассчитывать коэффициент дискриминации
следующим образом:
где xd - среднее арифметическое индивидуальных оценок испытуемых, выполнивших задание; σxd - среднеквадратическое отклонение индивидуальных оценок испытуемых, выполнивших задание; Nd - общее число испытуемых, выполнивших задание.
Коэффициент дискриминации может принимать значения от -1 до +1. Высокий положительный rpb свидетельствует об эффективности деления испытуемых. Высокое отрицательное значение rpb свидетельствует о непригодности данной задачи для теста, о ее несоответствии суммарному результату.
Коэффициент Д. з. т. является, по сути, показателем критериальной валид-ности отдельного пункта, поскольку определяется по отношению к внешнему критерию - суммарному результату или оценкам продуктивности реальной деятельности испытуемых.
Индекс Д. з. т. вычисляется с применением метода контрастных групп (см. Валидность критериальная, Валидность текущая). Необходимым условием применения метода в этом случае является наличие близкого к нормальному распределения оценок по валидизации критерию.
Доля членов контрастных групп может изменяться в широких пределах в зависимости от величины выборки. Чем больше выборка, тем меньшей долей испытуемых можно ограничиться при выделении групп с высоким и низким результатами. Нижняя граница "отсечения групп" составляет 10% от общего числа испытуемых в выборке, верхняя - 33%. Десятипроцентные группы берут редко, поскольку их малочисленность снижает статистическую надежность индексов дискриминации. Чаще из выборки "извлекают" по 27 или 33% испытуемых.
Индекс дискриминации вычисляется как разность между долей лиц, правильно решивших задачу, из "высокопродуктивной" и "низкопродуктивной" групп и обозначается D:
Поскольку Nmax=Nmin (0,10-0,33), то уравнение приобретает вид:
Наконец, можно воспользоваться четырехпольным коэффициентом корреляции:
где fg - число лиц, правильно решивших задачу, по отношению к общему числу обследованных в группе с максимальным результатом; fd - число лиц, правильно решивших задание в группе с минимальным результатом; р - общая пропорция правильно выполненных заданий; q - число лиц, давших неверное решение (1-р).
Критические значения этого коэффициента, свидетельствующие о диагностической ценности (на уровне р < 0,05), в зависимости от числа обследованных (n) приведены ниже:
n 25 50 100 200
fg 0,39 0,28 0,20 0,14
Максимальная точность определения rphi достигается в случае, когда максимальная и минимальная группы составляют по 27% выборки.
При анализе Д. з. т. особое внимание следует уделить определению статистической значимости коэффициентов корреляции. В тех случаях, когда значение коэффициента дискриминации приближается к нулю и уровень значимости невысок, проверяемый пункт теста должен быть пересмотрен в связи с некорректностью формулировки задания или вариантов ответа на него.