Требования, предъявляемые к психодиагностическим методикам профотбора

Любой профессиональный психодиагностический тест представляет собой чрезвычайно сложный инструмент. В основе его всегда лежит какая-то концепция – система взглядов и представлений автора на решаемую проблему. Однако даже после того, как автор подобрал соответствующие задания или определил перечень вопросов, это еще не означает, что тест может быть использован в практике профессионального психологического отбора. Для того чтобы тест мог быть использован при решении практических задач, он должен соответствовать определенным требованиям.

Прежде всего тест должен быть стандартизированным. Термином «стандартизация» обозначается постоянство, или единообразие, условий и процедур, сопутствующих психологическому тестированию. Соблюдение данного требования необходимо, поскольку оно обеспечивает сопоставимость результатов использования теста в отношении нескольких претендентов. Кроме того, понятие «стандартизация» означает, что все люди, выполняющие один и тот же тест, должны находиться в одинаковых условиях: им должна быть дана одна и та же инструкция, они должны работать на одинаковых бланках или в одних и тех же компьютерных программах, им должно быть предоставлено одинаковое количество времени.

То, что условия проведения обследования существенно отражаются на его результатах, стало понятно еще в начале XX в. при проведении первых экспериментов в лаборатории Вундта. Например, если человек, проводящий тестирование, по небрежности или некомпетентности не знакомит претендентов с полным текстом инструкции, можно сказать, что условия тестирования этой группы отличаются от условий, в которых была протестирована другая группа. При этом средние групповые показатели выполнения данного теста этой группой будут значительно отличаться от результатов групп, в которых обследование было проведено при соблюдении всех требований.

Следует отметить, что стандартизацию теста (процедур выполнения методики) осуществляют его разработчики. Они определяют как способ предъявления стимульного материала, так и способ ответа. Например, испытуемому обычно предлагается отвечать на вопросы стандартно: «да» или «нет». Однако в зависимости от замысла авторов теста ответы могут быть другими, например «верно», «не совсем верно», «абсолютно верно» и т. п. Требования по выполнению теста отражаются в инструкции для тестируемого, а также в инструкции по обработке результатов. Соблюдение требований стандартизации обеспечивает снижение ошибки тестирования и повышает объективность результатов.

К методикам профессионального психологического отбора предъявляется и такое требование, как объективность теста. Термин «объективность» означает, что результаты обследования относительно слабо зависят от желания экспериментатора. Это, в свою очередь, означает, что кто бы ни проводил исследование, результат будет один и тот же. Субъективные суждения или предвзятость экспериментатора не должны влиять на процесс обработки результатов тестирования. Следует отметить, что требование объективности теста тесно связано с требованием его стандартизации. Разработка стандартных вариантов ответов на вопросы теста или задания максимально повышает его объективность. Например, если вопросы предусматривают ответы на основе выбора из нескольких предложенных альтернатив, то обработка результатов превращается в механический процесс, не требующий ни специальных знаний, ни специальной подготовки. Для обработки используется так называемый ключ, содержащий правильные ответы, поэтому любой специалист может безошибочно подсчитать результаты выполнения такого теста. Вот почему в практике профотбора не рекомендуется использовать методики, которые не отвечают требованиям стандартизации и объективности, поскольку результаты выполнения таких тестов могут зависеть от случайных факторов.

Еще одно очень существенное требование к методикам профессионального психологического отбора – наличие тестовых норм. Тестовые нормы – это некий эталон, необходимый для интерпретации результатов тестирования. Такие нормы разрабатываются создателями теста на основе анализа распределения тестовых оценок большой группы людей, причем для каждой возрастной группы и пола разрабатываются свои тестовые нормы. Более того, в интересах задач профотбора в определенных случаях устанавливаются верхняя и нижняя границы показателей тестов, в соответствии с которыми делается вывод о степени пригодности претендентов.

Кроме перечисленного к числу основных требований относятся надежность и валидность. Под термином «надежность» понимается степень воспроизводимости или стабильности результатов тестирования. Например, если распределение тестовых оценок какой-либо группы, прошедшей тестирование, составило 100 баллов, а через неделю – 70 или меньше баллов (у той же группы по тому же показателю), то мы, скорее всего, придем к выводу, что используемые нами тесты для проведения мероприятий профотбора недостаточно надежны, поскольку результаты не воспроизводятся. Конечно, давно известно, что результаты повторного тестирования одной и той же группы людей всегда несколько отличаются от результатов их первого тестирования, но если эта разница существенна, значит, либо в самом тесте, либо в методике обработки его результатов есть изъяны.

Существуют разные способы проверки надежности методики, но чаще всего используют следующие три: метод определения ретестовой надежности, метод определения надежности взаимозаменяемых форм теста и метод определения надежности расщеплением.

Метод определения ретестовой надежности предполагает проведение двукратного тестирования одной и той же группы людей и установление корреляции результатов двух обследований. Чем больше коэффициент корреляции, т. е. чем он ближе к +1, тем более надежным считается тест. По мнению ряда авторов, в идеале коэффициент надежности теста, который предполагается использовать в отборочном процессе, должен быть более +0,8, однако на практике приемлемым считается и тест с коэффициентом надежности, равным примерно +0,7.

Уязвимость данного метода заключается в том, что можно столкнуться с эффектом научения. Он проявляется в том, что люди запоминают выполненные ими ранее задания или в промежутке между двумя тестированиями приобретают определенный дополнительный опыт, в результате чего тестовые оценки второго тестирования будут выше. Для того чтобы свести до минимума возможную ошибку, интервал между первым и вторым тестированием обычно выбирают равным 15–40 дням. Более длительный интервал нежелателен. Поскольку психические явления достаточно динамичны в своем развитии, то существенные различия между результатами первого и второго тестирования при интервале три или пять месяцев нельзя непосредственно связывать с надежностью методик.

Еще один способ повысить объективность метода ретестовой надежности заключается в одновременном использовании нескольких методов оценки надежности. Например, для этого может быть использован метод определения надежности взаимозаменяемых форм теста. Некоторые авторы называют его методом параллельного тестирования. Он тоже базируется на двукратном тестировании, однако для повторного тестирования используется не тот же самый тест, а его эквивалентная, или параллельная, форма. Недостатком этого метода считается то, что приходится разрабатывать два самостоятельных и эквивалентных теста, а это достаточно дорогостоящая процедура.

Метод определения надежности расщеплением заключается в том, что после однократного применения теста входящие в него вопросы (или задания) разделяются на две группы с последующей корреляцией друг с другом тестовых значений, полученных отдельно по каждой группе вопросов. Причем в качестве критерия разделения заданий теста на две части обычно используют четность последовательности заданий. Задания с нечетными номерами (1, 3, 5…) включают в одну группу, а с четными номерами (2, 4, 6…) – в другую.

Преимущество этого метода в том, что он не требует больших затрат времени и позволяет ограничиться одним тестированием. С помощью данного метода определяется так называемая внутренняя однородность (гомогенность) теста. Если коэффициент корреляции между показателями первой и второй части близок к +1, то тест внутренне однороден, а соответственно достаточно надежно измеряет изучаемое свойство.

Валидность теста – наиболее важное из всех требований, которым должен удовлетворять психологический тест.

Под валидностью понимается степень соответствия данного теста изучаемому свойству, т. е. валидность характеризует то, насколько точно измеряется тот параметр, для измерения которого предназначен тест.

В настоящее время принято выделять несколько типов валидности тестов.

Критериальная валидность характеризует степень связи результатов выполнения теста с показателями успешности выполнения профессиональных обязанностей. Тест является валидным только в том случае, если он измеряет именно психические качества, которые необходимы для успешного выполнения конкретной работы, а для этого необходимо определить коэффициент корреляции тестовых оценок с показателями (критериями) успешности профессиональной деятельности. Высокие коэффициенты корреляции – свидетельство того, что тест действительно измеряет качества, необходимые для успешной работы. Следует отметить, что чем выше коэффициент корреляции, тем лучше. В некоторых случаях приемлемыми показателями валидности считаются коэффициенты корреляции, равные +0,3 или + 0,4. При этом чем больше выборка, в отношении которой получены данные коэффициенты корреляции, тем выше критериальная валидность теста. Так, если вы получили коэффициент корреляции 0,35 для выборки в 100 человек, то критериальная валидность теста будет существенно выше в случае аналогичных показателей для выборки в 30 человек.

Непосредственное отношение к критериальной валидности имеют прогностическая валидность и конкурентная валидность, представляющие собой два подхода к оценке того, с какой степенью точности тест позволяет судить об измеряемом психологическом качестве по истечении определенного времени после его измерения.

Определение прогностической валидности теста предполагает проведение тестирования и прием на работу всех кандидатов независимо от их тестовых оценок.

После того как будут получены данные о результативности труда каждого из работников, определяют коэффициенты корреляции двух распределений – тестовых оценок и критериев результативности труда. На основании данной корреляции делают вывод о том, насколько хорошо тест предсказал профессиональную пригодность.

Суть конкурентной валидности заключается в тестировании уже работающего персонала и сравнении результатов этого тестирования с результатами оценки эффективности труда. Недостаток такого подхода заключается в том, что при тестировании только тех, кто уже работает, исследователь сталкивается с валидационной выборкой, т. е. людьми, которые прошли определенную селекцию. Еще один недостаток конкурентной валидности: кандидаты на замещение вакантных должностей и уже работающие сотрудники имеют разную мотивацию, а потому по-разному отнесутся к психологическому тестированию и соответственно будут иметь различные показатели выполнения тестов.

Существует и такой вид валидности, как логическая, в которой выделяют два типа: содержательную валидность и конструктивную. Содержательная валидность характеризует степень соответствия тестовых вопросов или заданий психологическим качествам или навыкам (знаниям), для оценки которых этот тест предназначен. Оценить подобную адекватность тестовых заданий можно, выполнив анализ содержания работы и оценив степень связи тестовых заданий с качествами и навыками, необходимыми для выполнения работы. Обычно содержательную валидность оценивают эксперты, имеющие опыт в разработке тестов.

Конструктивная валидность теста характеризует степень соответствия вопросов либо заданий теста представлениям об изучаемом психическом свойстве или навыке. Чаще всего конструктивная валидность измеряется с помощью корреляции оценок теста с оценками, полученными по методикам, про которые точно известно, что они измеряют именно эти характеристики. Соответственно чем выше положительная корреляция с этими тестами, тем выше его конструктивная валидность.

Еще один вид валидности – очевидная, суть которой заключается в том, насколько тест отражает субъективное впечатление о соответствии тестовых заданий изучаемым психическим свойствам

В заключение разговора о требованиях, предъявляемых к психодиагностическим методикам, следует еще раз подчеркнуть, что при организации мероприятий ППО следует использовать только те тесты, которые максимально соответствуют вышеизложенным требованиям.