Показатели качества психодиагностического обследования.
Эффективность психодиагностики во многом зависит от качества диагностических процедур. Для оценки их качества применяется ряд показателей: валидность, достоверность, надежность, репрезентативность. Каждый из этих показателей характеризует определенные размерности качества диагностики.
Валидность – это характеристика степени, в которой тест измеряет то, для измерения чего он предназначен. Например, если тест ориентирован на измерение стрессоустойчивости сотрудника, то он должен измерять только эту переменную и никакую другую. На 100% это требование реализовать не всегда удается, но к этому необходимо стремиться.
Существуют различные виды и способы определения валидности. Одним из наиболее употребительных способов установления валидности является сравнение показателей по психологическому тесту с экспертными оценками данного качества (или качеств) у испытуемых.
В современной психометрике разработаны буквально десятки разнообразных теоретических и экспериментальных методов проверки валидности тестов. Основным элементом практически всех этих методов является так называемый «критерий». Критерий валидности – это независимый от теста, внешний по отношению к тесту источник информации об измеряемом психическом свойстве. Мы не можем судить о валидности методики до тех пор, пока не сравним ее результаты с источником истинной (или хотя бы заведомо более валидной) информации об измеряемом свойстве – с критерием.
В научных исследованиях преобладают специальные лабораторные критерии (полученные в ходе экспериментальных исследований). На практике очень часто в качестве критерия валидности используются прагматические критерии – показатели эффективности той деятельности, ради прогнозирования которой предпринимается диагностическое обследование. Очень часто в качестве критерия валидности используется экспертная оценка.
Другим показателем качества обследования (или диагностической процедуры), связанным с валидностью, является достоверность.
Достоверность характеризует устойчивость измерительной процедуры к фальсификации и линейной зависимости сопутствующих переменных. Достоверность является особой разновидностью валидности. Речь идет о сознательных или бессознательных искажениях, которые вносит в результаты диагностики сам испытуемый, руководствуясь в ходе диагностики особой мотивацией, отличающейся от той, которая присуща ему в реальном поведении. Достоверность отличается от валидности в ситуациях, когда испытуемый пытается намеренно исказить ответ или измеряемая характеристика линейно связана с какой-либо иной характеристикой.
Способность методики защищать информацию от мотивационных искажений и есть ее достоверность. Особенно остро проблема достоверности стоит в случае тест-опросников, которые допускают больше свободы в выборе испытуемым любого варианта ответа.
Для повышения достоверности используются различные приемы типа: введение дополнительных шкал (лжи, коррекции); построение опросников из супервопросов (сочетание обычных вопросов о поведении или предпочтениях); использование признаков, независимых от диагноза и др.
Достоверность тестирования тесно связана со степенью доверительности общения, которую смог диагност установить с данным испытуемым. Здесь полезно различать две диагностические ситуации: консультативную (ситуация клиента) и аттестационную (ситуация экспертизы). В первом случае испытуемый участвует в исследовании на добровольной основе и сам заинтересован получить рекомендации по результатам психодиагностики. Во втором случае исследование проводится по инициативе руководителя, администрации, психолога, менеджера по персоналу, то есть других лиц, и эти другие больше заинтересованы в результатах, чем сам испытуемый.
Понятно, что в аттестационной ситуации вопрос о достоверности особенно актуален. И опросники, не снабженные шкалами лжи, использовать в таких ситуациях бесполезно. Наоборот, в ситуации клиента могут быть использованы такие методики, на которые испытуемый заведомо будет отвечать некорректно в ситуации экспертизы.
Понятие достоверности методики тесно связано с понятием стандартизации.
Стандартизация психодиагностической методики – это совокупность экспериментальных, методических и статистических процедур, обеспечивающих создание строго фиксированных компонентов методики (инструкции, набора заданий, метода обработки протоколов и подсчета баллов, способа интерпретации). В частном случае под стандартизацией понимается сбор репрезентативных норм (в частности тестовых) и построение стандартной шкалы баллов.
Еще одна размерность качества диагностики это надежность.
Надежность оценивает согласованность показателей, полученных на одних и тех же испытуемых при повторном тестировании тем же самым тестом или эквивалентной его формой. Другими словами, тест должен воспроизводить через определенное время один и тот же результат на фиксированной выборке испытуемых при условии, что за это время, согласно теоретическим представлениям, данная характеристика значимо не изменяется.
Надежность – одно из главных психометрических свойств любой измерительной психодиагностической процедуры (теста).
Надежность – это помехоустойчивость теста, независимость его результатов от действия возможных случайных факторов. К числу таких факторов следует отнести:
- разнообразие внешних материальных условий диагностики, меняющихся от одного испытуемого к другому (время суток, освещенность, температура в помещении, наличие посторонних звуков, отвлекающих внимание и т.п.);
- динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе психодиагностики (время так называемой «врабатываемости» - выхода на стабильные показатели темпа и точности действий после начала процедуры (например, тестирования), скорость утомления и т.п.);
- информационно-социальные обстоятельства (различная динамика в установлении контакта с психодиагностом или лаборантом, проводящим тестирование; возможное наличие других людей в помещении; наличие предыдущего опыта знакомства с данным тестом; наличие какого-то знания или отношения к тестам вообще и т.п.).
Разнообразие и изменчивость всех этих факторов так велики, что они обусловливают появление у каждого испытуемого непрогнозируемого по размерам и направлению отклонения измеренного тестового балла от истинного тестового балла (который можно было бы в принципе получать в идеальных условиях). Средняя относительная величина этого отклонения определяется как «стандартная ошибка измерения» (Se). Величина ошибки измерения указывает на уровень неточности или ненадежности тестовой шкалы (в психометрической теории надежность и точность оказываются синонимами).
Ошибка измерения и надежность измерения (R), согласно общепринятой психометрической теории, связаны следующей формулой:
(1)
где Sx – дисперсия тестовых показателей X.
Формула является чисто теоретической, и на ее основе нельзя подсчитать надежность теста. Так как величина Se оказывается также неизвестной величиной. Поэтому на практике применяют корреляционные методы
Существуют три основных метода оценки надежности:
- повторное тестирование (ретестовая надежность);
- параллельное тестирование (эквивалентная надежность);
- расщепление (согласованность).
В первом случае проводится повторное тестирование тем же тестом одних и тех же испытуемых. Во втором – используются две эквивалентные формы теста. Для оценки согласованности тест расщепляется на две части и проводится обследование одной группы испытуемых двумя частями теста.
Валидность и надежность соотносятся между собой как предмет и объект измерения. Если надежность – это показатель устойчивость процедуры относительно объектов измерения, то валидность – характеристика устойчивости результатов измерения свойств объектов, то есть устойчивость относительно предмета измерения. Измерительная процедура надежна, если она отличает что-то от чего-то, но неизвестно, что именно различается. Достоверность – это устойчивость измерительной процедуры, в частности, к фальсификации, то есть намеренному искажению.
Репрезентативность характеризует способность выборки испытуемых быть представительной, то есть достаточно точно (адекватно) отражать характеристики того контингента испытуемых, который обследуется. Если существуют тестовые нормы, полученные на выборке студентов, то их нельзя применять для оценки (например, мотивации обучения) работающих людей и т.п.