2 Критериальная валидность (эмпирическая валидность или валидность по критерию)

Определяет способность теста служить предсказателем определённой психической особенности или формы поведения человека и предполагает учет независимых показателей и признаков, по которым можно судить о валидности теста. На практике это означает соответствие результатов диагностики реальному поведению, результатам практической деятельности, наблюдаемым действиям и реакциям испытуемого.

Критериями для оценки эмпирической валидности могут быть:

- поведенческие показатели – реакции, действия и поступки в различных ситуациях;

- достижения в различных видах деятельности (учебной, трудовой, спортивной и т.п.);

- данные о выполнении контрольных проб и заданий;

- данные по другим методикам, валидность или связь с которыми считается твердо установленной.

Тест будет эмпирически валидным, когда будет установлено, что испытуемый ведет себя в жизни именно так, как предсказывает тест.

«Валидность по критерию показывает, насколько по результатам теста можно судить об интересующем нас аспекте поведения индивида в настоящем и будущем. Чтобы определить её, выполнение теста соотносится с критерием, т.е. непосредственной и независимой мерой того, что должен предсказывать тест» (А. Анастази).

Пример: если нас интересует, насколько клинический тест позволяет предсказать диагноз, мы должны сравнить результаты теста с медицинским заключением, полученным на основании независимых исследований собственно медицинскими средствами, т.е. с данными «Истории болезни». Если нас интересует, насколько данный тест позволяет предсказывать успешность дальнейшего обучения школьника в высших учебных, то мы должны сопоставить результаты по нему с результатами последующей учёбы в институте и т.д.

Для большинства тестов валидность по критерию (чаще её называют критериальной валидностью) является самым важным показателем, ибо она даёт возможность психологу и «потребителю» психодиагностической информации чётко знать, какие именно аспекты поведения и в какой мере тест предсказывает, с какими внешними параметрами он связан. Например, психолог имеет два теста по интеллекту. Один из них обладает более высокой валидностью по математическим субтестам, а другой – по словарным. Перед ним же стоит задача отобрать наиболее способных абитуриентов, среди всех поступающих на физико-математический факультет. Естественно, что он должен отдать предпочтение первому.

Эмпирически критериальная валидность проявляется в сравнимости результатов измерений, полученных изучаемым методом, с результатами, полученными другими методами, валидность которых не вызывает сомнения. Если отсутствуют методы, валидность которых вызывает сомнения, то должна быть теоретически обоснована связь измеряемых признаков с исследуемым качеством.

Чтобы это доказать, проверяется, коррелируют ли результаты теста с результатами других существующих тестов, прогнозирующих ту же выборку поведения, чья валидность уже доказана. Наличие взаимосвязи между данными двух тестов является показателем того, что новый тест диагностирует приблизительно ту же реальность, что и существующий. Проверке на критериальную валидность могут быть подвегнуты все задания (пункты) теста.

Вообще, пользователь должен ориентироваться не на название теста, а на показатели критериальной валидности: по ним и только по ним он может определить, что же действительно измеряет тест и для решения каких задач он может быть применён.

Поскольку коэффициент критериальной валидности это не что иное как коэффициент корреляции между результатами теста и данными по тому параметру, который мы собираемся оценить или предсказать (т.е. критерию), то он интерпретируется также, как и любой другой коэффициент корреляции.

Например, коэффициент критериальной валидности, равный 1.00, говорит о том, что между результатами по тесту и по критерию существует абсолютно прямая зависимость. Чем выше результат по тесту, тем выше результат по критерию и наоборот. Результаты по тесту с таким коэффициентом валидности полностью отражают действительное положение обследуемого среди других по измеряемому параметру. Ошибки в прогнозе были бы связаны только с надёжностью теста Если бы тест по интеллекту истории из нашего примера имел такой невероятно высокий коэффициент критериальной валидности, то он был бы идеальным инструментом для оценки знаний по истории учеников выпускных классов, - более точного инструмента для оценки знаний не существует в принципе.

Коэффициент критериальной валидности, равный -1.00, говорит о том, что между результатами по тесту и по критерию существует абсолютная обратная зависимость. Чем выше результат по тесту, тем ниже результат по критерию и наоборот. Такой тест также является идеальным инструментом для оценки и предсказания, но по методу «от противного».

Коэффициент критериальной валидности, равный 0.00, говорит о том, что между результатами по тесту и по критерию не существует никакой связи. Тест с такой критериальной валидностью абсолютно бессмысленен. Его эффективность не превышает эффективности простого отгадывания.

Обычно, коэффициент валидности тестов колеблется в пределах от 0.30 до 0.80, наиболее часто он равен 0.40-0.60. Например, критериальная валидность наиболее авторитетного в системе образования США теста DAT находится именно в таком диапазоне. Таким образом, критериальную валидность, равную 0.40-0.60, можно считать своего рода стандартом.

Коэффициент валидности, равный, например, 0.47, говорит о том, что 47% индивидуальных различий результатов по тесту связаны с тем фактором, который данный тест измеряет, а 53% - со всеми другими. Таким образом, например, от 40 до 60% индивидуальных различий в успешности обучения школьников связаны с тем фактором, который измеряется DAT, или по другому – этот тест охватывает от 40 до 60% факторов, с которыми связаны различия между школьниками в успеваемости.

Существует несколько вариантов получения коэффициента критериальной валидности.

1. В первом случае результаты всех обследуемых, участвующих в валидизации, сопоставляются с данными по выбранному критерию и просто вычисляется коэффициент корреляции между ними.

Для измерения этого свойства теста вычисляют коэффициент корреляции (r) тестового результата с внешним критерием. В качестве критерия может служить любой независимый показатель, измеряющий ту же психологическую характеристику, что и валидизируемый тест. От выбора критерия зависят качественная и количественная оценка валидности, поэтому вопрос о выборе критерия является в этом виде валидности основным.

Условно выделяют три группы критериев:

а) экспертные; б) экспериментальные; в) «жизненные».

а) Экспертные критерии предполагают использовать экспертные оценки. Этому методу уделяется значительное внимание, в связи с низкой надёжностью и трудностью организации экспертиз, экспертные критерии валидности используются редко. При валидности тестов, предназначенных для школьников, в качестве экспертов обычно используются учителя, но их оценки в значительной степени подвержены искажениям (симпатиям и антипатиям, переносу отношений с родителей на ученика, с успеваемости на качества личности и т.п.)

б) Экспериментальные критерии предполагают использование результатов одновременно тестирования испытуемых другим тестом, предположительно измеряющим то же психическое свойство. Коэффициент корреляции между результатами двух независимых измерений называется эмпирической валидностью. Его величина зависит от степени совпадения содержания теста, сравнимости единиц измерения, характера выборок стандартизации, надёжности тестов. Поэтому максимальные коэффициенты эмпирической валидности имеют параллельные тесты, он равен коэффициенту надёжности около 1 (если бы были абсолютно надёжны параллельные формы, то эмпирическая валидность была равна 1, так как по другим критериям они идентичны).

в) Если к моменту проверки валидности теста подходящего экспериментального критерия нет, то в качестве него используются характеристики реального поведения, которые связаны с измеряемым психологическим свойством. Эти характеристики реального поведения называют «жизненными» критериями. Например, в качестве «жизненных» критериев для тестов интеллекта используют показатели успешности обучения, экстравертированности – успешность административной деятельности, тревожности – частоту заболеваний нервозом, технических способностей – по конечным результатам профессионального обучения и т.п. Однако успешность обучения, поведения и деятельности редко зависят только от одного – единственного свойства психики, а как правило, от комплекса психических свойств. Поэтому использование «жизненных» критериев преимущественно используется для валидизации тестов, таких, как MMPI, 16PF и др., представляющих собой многопрофильные батареи тестов. Валидность теста по отношению к «жизненному» критерию называют иногда практической валидностью.