2. Дискриминативность

Дискриминативность теста в целом характеризует его способность различать испытуемых по уровню выраженности исследуемого свойства. Так, например, если испытуемые с разным уровнем выраженности признака получают одинаковый результат по тесту, то нам не удастся поставить точный диагноз именно ввиду низкой дискриминативности теста.

Показателем дискриминативности методики является коэффициент  (дельта) Фергюсона, который изменяется от нуля до единицы. Чем больше значение данного коэффициента, тем выше дискриминативность теста. На практике коэффициент Фергюсона используется сравнительно редко, так что его вычисление здесь не рассматривается.

Дискриминативность теста обеспечивается отбором дискриминативных заданий при его разработке. Для этого необходимо рассчитать долю ключевых ответов на каждое задание теста. Задания, для которых доля ключевых ответов составила более 80% или менее 20% должны быть исключены. Именно с этой процедуры, как правило, начинается анализ заданий разработанного теста. Дискриминативность зависит, в некоторой мере, также и от шкалы, в которой представляют итоговые результаты. Считается, что для большинства тестов больше 9-10 градаций шкалы использовать не стоит.

3. Валидность

Согласно определению А. Анастази, «Валидность теста – понятие, указывающее нам что тест измеряет и насколько хорошо он это делает». По определению В.Н. Дружинина, «Валидность означает пригодность теста измерять то свойство, для измерения которого он предназначен». Термин «валидность» происходит от англ. valid – пригодный, полноценный, соответствующий.

Процедура проверки теста на валидность называется валидизацией. Различают прагматическую и теоретическую валидизацию. При прагматической валидизации пытаются доказать связь измеряемого тестом свойства с его проявлениями в определенных областях практики. Прагматическая валидизация проводится путем определения корреляции результатов теста с внешним критерием (например, для тестов достижений – с учебной успеваемостью или эффективностью трудовой деятельности). В том случае, если используется критерий, характеризующий измеряемое свойство в более позднее время, то говорят о прогностической валидности. Одновременный критерий характеризует текущую валидность теста.

Нередко в ходе прагматической валидизации используется «метод известных групп». Применяя этот метод, диагнстику проводят в двух группах существенно различающихся по критериальному показателю. Например, тест специальных способностей к некоторому виду деятельности проводят в двух группах: среди тех, кто добился успеха в этой деятельности и показывает её высокую продуктивность и среди тех, кто не сумел достигнуть хорошей продуктивности деятельности, несмотря на соотвтествующее обучение и опыт. Если результаты тестирования соответствуют принадлежности испытуемого к группе (что можно оценить, например, с помощью дихотомического коэффициента корреляции), то тест можно признать валидным.

Наибольшую трудность при прагматической валидизации составляет выбор внешнего критерия, который должен удовлетворять следующим требованиям:

а) критерий должен быть релевантным, т.е. соответствующим по смыслу методике и измеряемому ею свойству. В релевантном критерии проявляются именно те индивидуальные особенности, которые измеряются валидизируемым тестом.

б) надежным, т.е. критерий должен давать устойчивые оценки проявления диагностируемого свойства

в) свободным от контаминации (помех). Чтобы иметь достоверные оценки диагностируемого свойства следует выбирать критерий, который в наименьшей степени подвержен влиянию посторонних факторов, искажающих проявление изучаемого свойства.

Задача теоретической валидизации состоит в том, чтобы показать, действительно ли методика измеряет то свойство, которая она должна измерять. Проще всего осуществить проверку теоретической валидности в том случае, если для измерения данного свойства уже существует методика с доказанной валидностью. Новую и уже известную методики проводят на одной выборке и рассчитывают между их результатами коэффициент корреляции (например, коэффициент корреляции Спирмена). Наличие высокой (от 0,6 и выше), статистически значимой корреляции между методиками подтверждает теоретическую валидность разработанного теста. В данном случае говорят о конвергентной валидности теста.

Если методики для диагностики данного свойства не существует, то исследуют конструктную валидность. Для определения конструктной валидности необходимо на основе теоретических сведений сформулировать ряд гипотез о связях изучаемого свойства с другими. Эмпирическое подтверждение этих гипотез свидетельствует о валидности теста.

Для некоторых типов психодиагностических методик особое значение имеет содержательная валидность. Она характеризует степень соответствия содержания заданий теста измеряемой области психических свойств. Иными словами, содержательно валидный тест отражает все аспекты исследуемой области поведения. Данный вид валидности имеет значение для тестов достижений и критериально-ориентированных тестов. Так, например, тест, направленный на диагностику умственного развития должен, в идеале, выявлять сформированность всех основных умственных действий и операций, а не только одной из них. Чаще всего для установления содержательной валидности теста привлекают группу экспертов, которые оценивают соответствие содержания теста изучаемому признаку.

Наряду с рассмотренными видами валидности выделяют и другие: очевидную валидность, факторную валидность и т.д. Тем не менее, на практике наиболее распространенной остается конвергентная и конструктная валидность.

Важно, что какой бы тип валидности мы не рассматривали, всегда действует правило, которое называется основным психометрическим законом: валидность теста не может быть выше его надежности. Это правило означает, что для того, чтобы тест хорошо измерял то свойство, которое он должен измерять, для начала, он должен измерять хотя бы что-то. Если надежность говорит о том, что тест действительно измеряет нечто, то валидность указывает на то, что именно измеряет тест.

Для корректного проведения процедуры валидизации необходимо соблюдать некоторые требования. Во-первых, необходимо, чтобы объем выборки составлял не менее 50 испытуемых, причем выборка должна быть репрезентативной. С тем, чтобы обеспечить репрезентативность иногда выборку образуют путем случайного отбора испытуемых из генеральной совокупности. Следует также помнить, что чем больше объем выборки тем она более репрезентативна. По этой причине для валидизации часто используются выборки намного превышающие нижний предел в 50 испытуемых, например, выборки объемом 150-200 человек.

Во-вторых, следует принять меры для снижения влияния на результаты тестирования характера и мотивации испытуемых. Для этого необходимо контролировать отношение испытуемых к процедуре исследования (например, с помощью специальной анкеты), а также предпринимать специальные усилия для создания положительного отношения.

В-третьих, желательно минимизировать промежуток времени между тестированием с помощью разных методик, чтобы снять влияние опыта, который испытуемый мог приобрести в период между испытаниями.

При интерпретация коэффициента валидности учитывается его величина и уровень значимости. Разумеется о валидности есть смысл говорить лишь при условии статистической значимости полученного коэффициента корреляции. Низким признается коэффициент валидности менее 0,30; средним – 0,30-0,50; высоким – свыше 0,6.