Оценка надежности и валидности психологического теста
Процедура апробации теста весьма сложна и трудоемка. Как правило, апробация предполагает проведение нескольких этапов исследования:
– выбор группы испытуемых;
– проведение обследования;
– анализ полученных результатов.
При выборе группы испытуемых прежде всего следует исходить из того, какую категорию людей планируется обследовать с помощью данного теста. При этом необходимо учитывать возраст, пол, образование и национальность. Кроме этого, могут учитываться и другие особенности, обусловленные спецификой профессиональной деятельности, для которой отбираются кандидаты.
Весьма сложным и достаточно спорным является вопрос о том, какой по объему должна быть выборка обследуемых, чтобы можно было точно охарактеризовать надежность и валидность выбранного теста. Конечно, можно согласиться с теми, кто считает, что чем больше выборка, тем более точные результаты оценки будут получены. Однако следует учитывать и фактор трудозатрат. Чем больше обследуемых, тем больше необходимо времени на их обследование и обработку результатов. Поэтому встает вопрос об оптимальном объеме выборки. Какую выборку обследуемых можно считать оптимальной для проверки теста? Для того чтобы ответить на этот вопрос, необходимо обратиться к статистическим исследованиям в психологии.
Опыт подобных исследований разных специалистов и собственный опыт автора позволяют констатировать следующее:
1. Результаты, полученные на однородной выборке из 100 обследуемых, практически будут аналогичны результатам обследования большей группе испытуемых.
2. Результаты, полученные на выборке, состоящей из 50 обследуемых и группы из 100 человек, будут характеризоваться наличием одних и тех же тенденций, а различия будут относительно небольшими.
3. Минимальная выборка обследуемых, которой следует оперировать при статистическом анализе показателей, – 30 человек.
Кроме этого, при формировании выборки обследуемых для проверки надежности и валидности тестов, которые планируется использовать в мероприятиях профотбора, следует учитывать и то, кого предстоит отбирать. Прежде всего необходимо учесть фактор возраста и пола кандидатов. Если существуют жесткие требования к возрасту и полу кандидатов, то достаточно сформировать однородную группу испытуемых объемом не менее 100 человек. Однако на практике такое бывает достаточно редко. Поэтому следует исходить из того, что чаще всего в качестве кандидатов рассматриваются работоспособные граждане в возрасте от 21 до 45 лет. Соответственно выборка обследуемых по возрасту должна включать в себя как минимум две возрастные группы: 21–33 года и 33–45 лет. Конечно, работоспособность сохраняется и после 45 лет, но обычно работодатели редко привлекают к участию в конкурсе людей такого возраста. Если же работодатель не ограничивает возраст возможных кандидатов 45 годами, то соответственно среди выборки обследуемых должны быть представлены и люди в возрасте 45–55 лет.
Таким образом, учитывая вышеизложенное, можно предположить, что в выборке испытуемых, привлекаемых для проверки характеристик теста, должны быть представлены все возможные возрастные группы, причем в каждой из них должно быть от 30 до 50 человек. Кроме этого, следует иметь в виду, что если среди кандидатов оказываются и мужчины и женщины, то объем экспериментальной выборки должен быть увеличен вдвое, поскольку количество кандидатов каждого пола должно быть примерно одинаковым в каждой возрастной группе. Следовательно, группа лиц, привлекаемых для проверки теста, должна включать от 120 до 300 человек.
Сама по себе цифра достаточно внушительная и свидетельствует о необходимости значительных трудозатрат. Именно поэтому многие психологи, особенно молодые, отказываются от проверки методик, полагаясь только на ту информацию, порой очень скудную, которую смогли получить из публикаций. При этом, конечно, существенно увеличивается риск снижения достоверности прогноза. К сожалению, в последнее время в отечественной периодической печати очень редко встречаются публикации, в которых приводятся сведения о проверке тестов. Поэтому высококвалифицированный отечественный специалист в отличие от своего американского коллеги, который в большинстве случаев может почерпнуть необходимую информацию о тесте из периодической печати или электронных публикаций, вынужден самостоятельно осуществлять проверку методик. При этом следует иметь в виду, что необходимо так спланировать эксперимент, чтобы время и трудозатраты были оптимально обоснованными. Например, если предстоит проверить несколько методик, то их следует проверять одновременно на одной выборке обследуемых, а в перечень тестов, которые будут использоваться в ходе пилотажного обследования экспериментальной группы, нужно сразу включить все необходимые, чтобы потом не проводить дополнительного исследования.
В чем состоит суть проверки теста на надежность и валидность? Об этом написано достаточно много книг, из которых следует, что это весьма сложная процедура.
Валидность (англ. valid-действительный, пригодный, имеющий силу) – комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.
В наиболее простой и обшей формулировке валидность теста – это «… понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает» (А. Анастази, 2006). В стандартных требованиях к психологическим и образовательным тестам валидность определяется как комплекс сведений о том, относительно каких групп психологических свойств личности могут быть сделаны выводы с помощью методики, а также о степени обоснованности выводов при использовании конкретных тестовых оценок или других форм оценивания. В психологическойлиагностике валидность – обязательная и наиболее важная часть сведений о методике, включающая (наряду с указанными выше) данные о степени согласованности результатов теста с другими сведениями об исследуемой личности, полученными из различных источников (теоретические ожидания, наблюдение, экспертные оценки, результаты других методик, достоверность которых установлена, и т. д.), суждение об обоснованности прогноза развития исследуемого качества, связь изучаемой области поведения или особенности личности с определенными психологическими конструктами. Валидность описывает также конкретную направленность методики (контингент испытуемых по возрасту, уровню образования, социально-культурной принадлежности и т. д.) и степень обоснованности выводов в конкретных условиях использования теста. В совокупности сведений, характеризующих валидность теста, содержится информация об адекватности применяемой модели деятельности с точки зрения отражения в ней изучаемой психологической особенности, остепени однородности заданий (субтестов), включенных в тест, их сопоставимости при количественной оценке результатов теста в целом.
Важнейшая составляющая валидности – определение области изучаемых свойств – имеет принципиальное теоретическое и практическое значение при выборе методики исследования и интерпретации веданных.
По материалам: БурлачукЛ. Ф., Морозов С. М. Словарь-справочник по психодиагностике. СПб.: Питер, 1999.
Достаточно сказать о том, что существуют разные аспекты валидности и надежности теста[64]. В одной из глав данной книги уже отмечалось, что в настоящее время разные авторы различают следующие виды валидности: диагностическая, прогностическая, эмпирическая, критериальная, конструктивная, экологическая и др. Не менее сложна и ситуация с понятием «надежность».
Надежность – характеристика методики, отражающая точность психодиагностических измерений, а также устойчивость результатов теста к действию посторонних случайных факторов. Надежность и валилность являются важнейшими характеристиками методики как инструмента психодиагностического исследования.
Результат психологического исследования обычно подвержен влиянию большого количества неучитываемых факторов (например, эмоциональное состояние или утомление, если они не входят в круг исследуемых характеристик, освещенность, температура и другие особенности помещения, в котором проводится исследование, уровень мотивированности испытуемых на обследование и др.). Любое изменение ситуации исследования усиливает влияние одних и ослабляет воздействие других факторов на результат теста.
Общий разброс (дисперсию) результатов тестового обследования можно, таким образом, представить как результат влияния двух групп причин: изменчивости, присущей самому измеряемому свойству, и факторов нестабильности измерительной процедуры.
Всамом широком смысле надежность теста – это характеристика того, в какой степени выявленные у испытуемых различия по тестовым результатам являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам.
В более узком, методическом, смысле под надежностью понимают степень согласованности результатов теста, получаемых при первичном и вторичном его применении, у одних и тех же испытуемых в различные моменты времени, с использованием разных (но сопоставимых по характеру) наборов тестовых заданий или при других изменениях условий обследования.
По материалам: Бурлачук Л. Ф., Морозов С. М. Словарь-справочник по психодиагностике. СПб.: Питер, 1999.
Так, в настоящее время принято выделять следующие типы надежности:
– гомогенность (или надежность внутренней согласованности);
– ретестовая надежность;
– факторно-дисперсионная надежность;
– надежность частей теста;
– надежность параллельных форм.
Проверить все виды валидности и типы надежности во время оценки пригодности малознакомого теста для мероприятий ППО вряд ли представляется возможным. Необходимо выбрать те оценочные критерии, которые являются наиболее значимыми. К числу таких критериев прежде всего следует отнести диагностическую валидность.
Диагностическая валидность характеризует способность теста дифференцировать испытуемых по изучаемому признаку. Данный вид валидности чрезвычайно актуален для решения задач профессионального психологического отбора, поскольку методы, используемые при профотборе, должны позволять ранжировать (или дифференцировать) кандидатов по степени развития у них соответствующего профессионально важного качества. Для проверки диагностической валидности теста существует несколько основных методов. Один из таких методов – метод обследования контрастных групп. Суть его состоит в обследовании двух групп с заведомо различным уровнем развития той или иной характеристики, например детей с нарушением интеллектуального развития и детей, чье развитие характеризуется как нормальное. В этом случае различия по показателям теста будут свидетельствовать о его валидности, и чем более выражены такие различия, тем более валидным считается тест. Однако у этого метода есть ограничения в использовании. Контрастные группы должны формироваться из лиц, у которых объективно установлено различие по одному конкретному признаку, что осуществить не всегда возможно. Например, как определить, кто более эмоционален или кто обладает более высоким уровнем развития памяти? Только с помощью других тестов. В результате этого при обследовании таких групп с помощью конкретного теста будет установлен совсем другой критерий. Не диагностическая валидность, а то, насколько результаты изучаемого теста совпадают с результатами других методик, что может рассматриваться в качестве оценки его конструктивной и конвергентной валидности или даже оценки надежности в отношении методик, диагностирующих аналогичные качества. Поэтому на практике при оценке диагностической валидности чаще всего используют другой метод – метод оценки соответствия результатов нормальному распределению.
Нормальное распределение – вид распределения переменных. Нормальное распределение наблюдается при изменении признака (переменной) под влиянием множества относительно независимых факторов. График уравнения нормального распределения представляет собой симметричную унимодальную колоколообразную кривую, осью симметрии которой является вертикаль (ордината), проведенная через точку 0 (см. рисунок ниже).
