Общий принцип перевода первичных показателей в станайны
Примечание. Принцип перевода приведен по: Анастази А., Урбина С. Психологическое тестирование. 7-е межд. изд. СПб.: Питер, 2001.
Например, если в группе ровно 100 человек, то четверо с самыми низкими первичными оценками получают показатель, равный 1 станайну, следующие семь – показатель, равный 2 станайнам, следующие 12 – показатель, равный 3 станайнам, и т. д. Если группа состоит из большего или меньшего числа обследуемых, то сначала высчитывают, скольким из них соответствует каждый из выписанных в табл. 10.1 процентов, а затем приписывают им соответствующие станайны. Например, при 200 испытуемых 1 станайн будет приписан 8 испытуемым (4 % от 200 = 8), а при 150-6 испытуемым (4 % от 150 = 6).
Кроме стэнов и станайнов существуют и другие варианты стандартизованных шкал, которые достаточно подробно описаны в ряде работ[74]. Причем каждый тип стандартизированных шкал имеет свои преимущества. Так, например, перевод в шкалу станайнов можно осуществить не только при условии нормального распределения первичных показателей, но и при его отсутствии, поскольку перевод в станайны является вариантом нелинейного преобразования. Данный вариант преобразования был разработан во время Второй мировой войны сотрудниками ВВС США. Одно из практических преимуществ этой шкалы заключается в том, что среднее значение по этой шкале равно пяти. Поэтому в ряде случаев упрощается интерпретация результатов и появляется возможность дать более точную градацию в отношении группы профпригодности. Однако, с другой стороны, данное преобразование не лишено целого ряда недостатков. Так, при условии относительно маленькой экспериментальной выборки и отсутствии нормального распределения «сырых» (первичных) показателей станайн и его первичный показатель могут иметь достаточно низкую корреляционную связь, т. е. могут лишь весьма приблизительно соответствовать друг другу, что, в свою очередь, вносит большую ошибку в итоговое суждение о профессиональной пригодности.
В отличие от шкалы станайнов стэновая шкала получается на основе линейного преобразования при условии нормального распределения первичных показателей. В результате стэн достаточно точно отражает «сырой» показатель. Более того, как известно, современная математика опирается на десятичную систему исчисления. Поэтому стэновая шкала (стандартная десятка, или стандартная 10-балльная шкала) в наибольшей степени подходит для осуществления разнообразных математико-статистических операций.
После разработки стандартизированных шкал необходимо определить нормы, которые будут отражать степень развития психологического качества в соответствии с требованиями профессиональной деятельности. Суть данного этапа заключается в соотнесении баллов стандартизированной шкалы с показателями (выраженностью) профессиональной успешности и определении нормативных порогов, отражающих уровень профессиональной пригодности. Данная работа осуществляется в несколько этапов.
Прежде всего оценивается степень взаимосвязи разработанной стандартизированной шкалы с уровнем профессиональной успешности, т. е. оценивается то, насколько стандартизированная шкала, отражающая уровень развития психологического качества, одновременно отражает и уровень успешности. Обычно для осуществления данной процедуры используется корреляционный анализ. В настоящее время корреляционный анализ является весьма доступным видом математико-статистической обработки данных. Для его выполнения достаточно воспользоваться дополнительными функциями программы Excel. Чем выше коэффициент корреляции, тем выше взаимосвязь показателей стандартизированной шкалы с уровнем успешности профессиональной деятельности. Максимальный показатель коэффициента корреляции может быть равен 1. Однако на практике такого никогда не бывает. Поэтому в качестве критериальных значений используют показатели достоверности взаимосвязи. Если корреляция достигла уровня значимости (как было отмечено выше, в психологии минимальным уровнем значимости принято считать р ‹ 0,05), то можно говорить о том, что она не только характеризует конкретное психологическое качество, но и отражает в определенной степени уровень профессиональной успешности.
Вместе с тем следует отметить, что одной оценки уровня взаимосвязи разработанной стандартизированной шкалы с объективным показателем успешности деятельности недостаточно. Кроме того, следует провести сопоставление коэффициентов корреляций, полученных по стандартизированной шкале и шкале первичных («сырых») баллов, с показателями успешности деятельности. Если коэффициент корреляции стандартизированной шкалы и показатель успешности деятельности такие же, как коэффициенты корреляции шкалы первичных баллов и критериев успешности или выше, то можно говорить о том, что стандартизация шкалы с помощью психологической методики, используемой в мероприятиях профотбора, выполнена успешно. Если же данный коэффициент ниже, то существуют основания говорить о том, что в стандартизации шкалы допущена ошибка и процедуру стандартизации следует осуществить повторно. Данный вывод основывается на следующих утверждениях:
– шкала «сырых» баллов не всегда идеально соответствует нормальному распределению, и весьма часто ее нормализация достигается путем разработки шкалы стандартных оценок. Поэтому стандартизация шкалы осуществляется не только с целью сопоставления методик между собой, но и для обеспечения нормального распределения полученных показателей;
– так как в большинстве случаев распределение показателей по стандартизированной шкале ближе к нормальному, чем по шкале первичных баллов, а дисперсия существенно меньше, то коэффициент корреляции психологического показателя по стандартизированной шкале, как правило, всегда выше, чем по шкале первичных баллов;
– в случае если распределение показателей по «сырым» баллам соответствует нормальному распределению, то коэффициент корреляции показателей успешности со шкалой «сырых» баллов будет примерно такой же, как и коэффициент корреляции с баллами стандартизованной шкалы.
Результаты корреляционного анализа также используются и для оценки степени значимости показателей конкретной психологической методики для прогнозирования вероятности успешной деятельности кандидата на замещение вакантной должности. Можно полагать, что чем выше коэффициент корреляции показателей методики и успешности деятельности, тем более значима методика в решении задачи прогноза профессиональной успешности. Данная информация чаще всего учитывается при принятии решения об алгоритме вынесения итогового заключения о профпригодности.
После корреляционного анализа и оценки адекватности полученных стандартизированных шкал разрабатываются нормативные показатели по каждой конкретной психологической методике, которую предполагается использовать в мероприятиях ППО. В упрощенном виде понятие «нормативный показатель» характеризует некоторый порог выраженности конкретного психологического свойства, в соответствии с которым можно судить о профессиональной пригодности или непригодности кандидата. Если уровень развития рассматриваемого свойства не достигает указанного порога, то можно говорить о том, что кандидат не соответствует по данному психологическому качеству требованиям профессии. Если же уровень развития рассматриваемого свойства превосходит установленный порог, то можно говорить о том, что кандидат соответствует по данному качеству требованиям профессии.
Следует отметить, что разработка нормативных показателей является весьма сложной процедурой, поскольку какой-то единой общепринятой технологии не существует. Например, некоторые специалисты в области профессионального психологического отбора считают, что формирование нормативных показателей – весьма условная процедура, которая по своему содержанию близка к интуитивному принятию решения. Тем не менее при решении данной задачи следует все же опираться на определенный научно обоснованный подход. Рассмотрим несколько взаимосвязанных способов определения нормативных показателей по психологическим тестам, характеризующим уровень профессиональной психологической пригодности.
Прежде всего, следует иметь в виду, что нормативные показатели профпригодности по психологической методике определяются с целью дифференциации всех возможных кандидатов по степени их пригодности к выполнению профессиональных обязанностей. Стандартизированная шкала уже сама по себе позволяет судить, у кого из кандидатов более, а у кого – менее развито соответствующее профессионально важное качество. Однако она не дает ответа на вопрос, какой уровень развития соответствует требованиям профессии. Ответ может дать лишь соотнесение полученных характеристик уровня развития ПВК с нормативными показателями. В результате данной процедуры любой человек, прошедший психологическое обследование по соответствующему набору психодиагностических методик, должен быть отнесен к группе «рекомендуемых» или «нерекомендуемых» для выполнения профессиональной деятельности кандидатов.
Вместе с тем на практике разделить всех обследованных на две полярные группы («рекомендуемых» и «нерекомендуемых» или «пригодных» и «непригодных») невозможно. При подобном разделении слишком велика ошибка прогноза, поскольку статистика отражает лишь общие социальные и психологические закономерности. Например, для 10-балльной становой шкалы серединой является 5,5 стэна. Соответственно кандидат, набравший 5 стэнов, может быть отнесен к группе с более низким уровнем развития психологического качества, т. е. к группе «не рекомендуемых» для выполнения профдеятельности. В свою очередь, кандидат, набравший 6 стэнов, должен быть отнесен к группе лиц с более высоким уровнем развития психологического качества и как следствие включен в группу кандидатов, которые могут быть рекомендованы для приема на работу.
Данное утверждение, вероятно, может быть расценено как весьма логичное с точки зрения статистики, но с точки зрения психологии оно скорее ошибочное, нежели истинное. Как известно, любая психологическая методика – относительный по точности измерительный инструмент, поскольку психика субъективна и может быть измерена лишь с применением опосредованных методик. Поэтому более правильным будет утверждение, что любая психологическая методика отражает лишь основные закономерности развития психики и предоставляет относительную характеристику развития психологического свойства. Именно это обстоятельство требует осуществления проверки теста на валидность и надежность.
Тем не менее при обследовании людей с целью оценки уровня развития конкретного психологического свойства, даже после проведения полного исследования по оценке валидности и надежности теста, возможны определенные ошибки как объективного, так и субъективного характера. В результате на практике два кандидата на замещение вакантной должности, получившие по одной психологической методике показатели 5 и 6 стэнов, будучи принятыми на работу, могут иметь одинаковые оценки по успешности профессиональной деятельности. Более того, вполне возможно, что кандидат, набравший 5 стэнов, может быть охарактеризован даже как более успешный.
Для того чтобы разрешить данную ситуацию и повысить эффективность прогноза, в психологии ППО принято выделять от трех и более групп профессиональной пригодности. В каждую группу профпригодности входят кандидаты примерно с одинаковыми становыми показателями. Например, для разделения выборки на три группы пригодности может быть использовано следующее распределение: 3-я группа – от 1 до 3 стэнов; 2-я – от 4 до 6 (или 7) стэнов; 1-я – от 7 (8) до 10 стэнов. При этом лица, отнесенные к 3-й группе, т. е. обладающие более низкими показателями, могут быть условно обозначены как «непригодные к данному виду деятельности». Соответственно кандидаты, отнесенные к 1-й группе и имеющие самые высокие показатели, могут быть обозначены как «пригодные» или «наиболее пригодные».
Следует отметить, что если в отношении 1 и 3-й групп кандидатов все достаточно ясно, то 2-я (промежуточная) группа вызывает наибольшее количество вопросов. В этой группе могут одновременно оказаться кандидаты, способные относительно успешно выполнять профессиональные обязанности, и кандидаты, которые эти обязанности выполнять не смогут. Если среди кандидатов на замещение вакантной должности достаточно лиц, входящих в первую группу пригодности, то проблема решается сама собой, поскольку нет необходимости прибегать к рассмотрению возможностей кандидатов из второй группы. Однако если кандидатов первой группы недостаточно, то возникает вопрос о том, кого из лиц второй группы пригодности считать наиболее пригодным для выполнения профессиональной деятельности.
Ответить на этот вопрос при разделении всех кандидатов на три группы пригодности достаточно сложно, так как вторая (промежуточная) группа может включать в себя около 50 или 60 % всех обследованных кандидатов. Поэтому для успешного решения данной задачи на практике всех кандидатов обычно разделяют не на три, а на четыре или пять групп профессиональной психологической пригодности, т. е. проводят более детальную дифференциацию кандидатов.
Логика подобного решения строится на следующих утверждениях.
1. Поскольку стандартизированная шкала (в данном случае шкала стэнов) соответствует нормальному распределению (в некоторых случаях близка к нормальному распределению), то порядок стэнов (от 1 до 10) отражает закономерности нормального распределения.
2. Учитывая процентное соотношение высоких, средних и низких показателей, характерных для нормального распределения, можно полагать, что объединение в группы обследованных с близкими стэнами позволяет снизить вероятность ошибки прогноза. Например, в группе с низкими стэновыми показателями, которые получили по методике, оценивающей уровень развития конкретного профессионально важного качества, вряд ли окажется кандидат с ярко выраженными показателями успешности профдеятельности по критерию, опосредованному данным ПВК. В крайнем случае он может оказаться в группе со средними стэновыми показателями.
3. Поскольку лиц со средними показателями пригодности может быть большинство, то кандидатов на замещение вакантных должностей следует соотносить с нормами, рассчитанными для 4 или 5 групп профессиональной психологической пригодности.
Преимущество данного подхода заключается в том, что он позволяет более точно выделять группы лиц как с высоким, так и с низким уровнем развития конкретного профессионально важного качества. Поэтому данный вариант разделения на группы пригодности особенно целесообразен там, где задача отбора сводится прежде всего к отсеву лиц, не обладающих необходимым для успешной профессиональной деятельности уровнем развития ПВК или, наоборот, отбору лиц с ярко выраженной профессиональной пригодностью. (В большинстве случаев проведения профессионального отбора на предприятии или учреждении именно эта задача и решается.)
Чаще всего к этому варианту распределения на группы пригодности прибегают тогда, когда желающих работать на вакантных должностях крайне мало или, наоборот, очень много. В первом случае с помощью ППО стремятся исключить из списка кандидатов тех, кто не обладает необходимым уровнем развития ПВК и соответственно в случае приема на работу будет иметь низкий уровень профессиональной успешности. Во втором случае – отобрать лиц с наиболее развитыми профессионально важными качествами, т. е. тех, кто с большей вероятностью будет работать успешно.
Какое количество кандидатов на замещение вакантных должностей считать достаточным, а какое – недостаточным? Учитывая опыт международной практики решения задач профотбора, можно полагать, что абсолютно достаточным является соотношение 10 кандидатов на одно вакантное место. Однако такое соотношение на практике встречается крайне редко и во многом зависит от грамотного осуществления рекрутинга. Эта еще одна из причин, обусловливающая необходимость разработки нормативных показателей для 4-й или 5-й группы профпригодности.
Определить нормативные показатели для групп профпригодности можно несколькими способами. Первый способ, условно названный «механический», предполагает простое разделение стандартной шкалы (например, стэновой) на равные интервалы. Недостатком данного метода является то, что он снижает точность прогноза и повышает вероятность преобладания средних показателей пригодности среди кандидатов на замещение вакантных должностей. Обычно данный метод используется тогда, когда не было возможности провести достаточно глубокое и полное пилотажное исследование.
Другой способ основан на частотном анализе показателей стандартизированной шкалы. То есть проводится анализ встречаемости одинаковых стандартных показателей среди лиц, принимавших участие в пилотажном обследовании, и по результатам этого анализа определяются нормативные показатели в отношении каждой конкретной группы профпригодности.
После определения нормативов для каждой конкретной группы профпригодности следует проверить обоснованность такого распределения показателей. Для решения этой задачи может быть использованы дискриминантный и дисперсионный анализ. Если различия между представителями различных групп профпригодности по показателям успешности профессиональной деятельности достигают уровня статистической значимости, то сомнения в адекватности выбранных критериев, которые использовались для формирования групп пригодности, не возникает. Если же различий нет, то необходимо пересмотреть выбранные критерии и сформировать новые.
Следует отметить, что на практике достаточно редко бывает так, чтобы между всеми сформированными группами обнаружились статистически значимые различия по показателям успешности профессиональной деятельности. Как правило, достоверные различия существуют между полярными группами профпригодности, а между представителями смежных групп отмечаются показатели, близкие к статистически значимым (т. е. отмечается позитивная тенденция).
В упрощенном виде анализ «истинности» выбранных интервалов стандартных показателей для каждой группы профпригодности может быть осуществлен с помощью пошаговой оценки наличия статистически значимых различий между двумя группами с использованием t-критерия Стьюдента. Например, для проведения мероприятий профотбора планируется использовать четыре группы профпригодности, т. е. соотносить показатели психологического обследования каждого кандидата на замещение вакантной должности с показателями четырех групп профпригодности. Для того чтобы проверить, насколько правильно выделены группы пригодности по определенной методике, всех кандидатов в ходе пилотажного исследования разделяют на четыре группы по показателям данной методики и сопоставляют между собой показатели их успешности профессиональной деятельности. Так, при оптимальном варианте разделения показателей на группы должны быть получены следующие результаты:
– различия в показателях успешности деятельности между 1-й и 4-й группами (между «пригодными» и «нерекомендуемыми») должны достигать уровня статистической значимости – не ниже р ‹ 0,05;
– различия в показателях успешности деятельности между 1-й и 3-й группами (между «пригодными» и «рекомендуемыми условно») должны достигать уровня статистической значимости – р ‹ 0,1 (что свидетельствует о наличии так называемых положительных тенденций) или быть выше;
– желательно, чтобы различия в показателях успешности деятельности между 2-й и 4-й группами (между «рекомендуемыми» и «нерекомендуемыми») также достигали уровня статистически значимых тенденций, т. е. соответствовали р ‹ 0,1.
Отсутствие данных закономерностей говорит о том, что используемая в мероприятиях методика не позволяет однозначно ранжировать всех испытуемых в отношении степени профессиональной психологической пригодности. Поэтому прежде всего следует пересмотреть интервалы показателей методики для соответствующих групп профпригодности, т. е. повысить или, наоборот, несколько снизить границы интервалов. Если попытки разделить показатели методики на соответствующие группы профпригодности завершились неудачей, то следует еще раз рассмотреть целесообразность использования данной методики в мероприятиях ППО. В качестве аргументов «за» использование могут выступать следующие:
– существует высокая корреляционная зависимость между показателями теста и успешностью деятельности;
– «успешные» и «неуспешные» в профессиональной деятельности статистически различаются по показателям данной методики.
Если эти аргументы «за» действительно существуют, то методику, несмотря на проблемы с соотнесением групп профессиональной пригодности, следует оставить в перечне методик, предназначенных для решения задач ППО. Целесообразность данного решения определяется несколькими факторами.
Во-первых, вполне возможно, что изучаемое с помощью данной методики психологическое свойство проявляется только в процессе выполнения деятельности. Поэтому в условиях лабораторного эксперимента профессионально значимое свойство может быть относительно неактуальным и в полной степени не проявляться. Например, тест МЛО «Адаптивность» не всегда позволяет ранжировать кандидатов на замещение вакантных должностей, находящихся в привычных и обычных для большинства людей условиях. Однако его показатели практически всегда выступают в качестве определяющих, когда речь идет о предстоящей смене деятельности или увеличении психоэмоциональных нагрузок, т. е. когда начинают активно работать механизмы психической адаптации.
Во-вторых, вполне возможно, что не совсем удачно разработана шкала стандартных показателей для данной методики. Например, используя стандартизованные показатели, не удается обнаружить те закономерности в различиях между группами профпригодности, о которых шла речь выше. Однако если отказаться от стандартизованных показателей и использовать «сырые» (первичные) баллы для определения интервальных значений методики в отношении групп профпригодности, то решить задачу ранжирования испытуемых с учетом степени их профпригодности удается. Подобная ситуация может встречаться тогда, когда первичные показатели методики по каким-то причинам не соответствовали нормальному распределению, а с помощью разработки стандартизированной шкалы было достигнуто соответствие показателей нормальному распределению. В этом случае целесообразно изменить стандартизированную шкалу и в первую очередь ориентироваться на соответствие стандартных показателей первичным, а не нормальному распределению. И хотя такое решение будет несколько противоречить догмам психодиагностики, но прогноз в отношении успешности профессиональной деятельности будет более адекватным.
В-третьих, всегда следует помнить, что при решении задач ППО используется не одна, а целый набор психологических методик. На практике встречаются случаи, когда конкретная психологическая методика, взятая отдельно от других, не позволяет качественно ранжировать испытуемых в отношении показателей успешности их деятельности. Однако именно она вносит существенный вклад в обеспечение высокой прогностичности интегрального показателя, включающего в себя показатели всех использованных в мероприятиях профотбора методик. Если же отказаться от использования данной методики в мероприятиях профессионального отбора, то прогностичность итогового заключения о профпригодности существенно снижается. Поэтому в каждом конкретном случае при разработке системы ППО всегда следует взвешивать все «за» и «против» с целью нахождения наиболее оптимального решения каждой конкретной задачи.
Завершая разговор о разработке нормативов, отражающих степень профессиональной пригодности кандидата, следует подчеркнуть, что в данном параграфе речь шла о разработке критериев пригодности в отношении одной конкретной методики, но, как уже неоднократно отмечалось, в мероприятиях ППО используется не одна, а целый набор методик. В связи с этим отметим, что в отношении интегрального показателя пригодности, объединяющего в себе показатели всех используемых методик, при необходимости разрабатываются нормативные показатели, отражающие степень профпригодности, аналогично разработке для одной конкретной методики.