Принципы и методы отбора критериев успешности профессиональной деятельности

Одна из самых сложных задач, которую необходимо решать не только при проведении пилотажного исследования, но и на других этапах разработки системы ППО, заключается в отборе критериев успешности деятельности. В качестве таковых могут использоваться различные показатели, характеризующие степень достижения конкретным работником целей работы. Например, они могут отражать уровень обучаемости профессии, а также включать прямые или косвенные показатели деятельности работника, характеризовать его вклад в результат общей деятельности организации или коллектива в целом[66]. Однако чаще всего используются следующие показатели:

– прямые показатели эффективности (качество и производительность);

– тесты профессиональной подготовленности;

– административные акты, отражающие профессиональную пригодность (дисциплинарные взыскания, поощрения, продвижение по службе и др.);

– текучесть кадров;

– несчастные случаи и происшествия, произошедшие по вине работника;

– экспертные оценки и самооценки эффективности деятельности и др.

Вместе с тем, какие бы критерии ни использовались при решении задач профотбора, они должны удовлетворять определенным требованиям, поэтому при отборе критериев следует исходить из ряда принципов. Один из основных таких принципов принцип релевантности.

Под релевантностью (адекватностью, валидностью) критерия понимается его значимость как показателя эффективности профессиональной деятельности[67], а также соответствие выбранных показателей тому аспекту деятельности, который подлежит оценке[68].

На практике проверка критерия на релевантность осуществляется с помощью корреляционного аннализа. Если критерий действительно является релевантным, то он должен коррелировать с другими параметрами, оценивающими тот же аспект деятельности.

Еще одним важным принципом отбора критериев успешности деятельности служит принцип полноты критерия. Данный принцип предполагает, что критерии успешности деятельности, которые планируется использовать при разработке системы ППО, должны отражать все значимые стороны профессиональной деятельности.

Весьма значимым принципом отбора критериев успешности деятельности является принцип обеспечения надежности критерия. Он заключается в том, что необходимо выбирать критерии, которые характеризуют наиболее устойчивые, стабильные параметры профессиональной деятельности. При этом на практике надежность может оцениваться корреляцией повторных замеров критерия, проведенных с различными интервалами времени.

Следует отметить, что надежность, вероятно, наиболее значимый критерий. От того, насколько надежен критерий успешности деятельности в целом, зависит прогностичность системы отбора. Однако в ряде случаев надежность критерия может оказаться не всегда высокой. Это обусловлено тем, что производительность не всегда зависит от личных качеств работников: она определяется общей организацией производства, обеспечением материалами и другими внешними обстоятельствами. Иногда низкая надежность обусловливается недостоверностью данных, использованных в качестве критерия, небрежностью, проявленной в замерах критерия, и другими причинами, которые зависят от лиц, проводящих исследование. Ненадежность критерия может также проявиться при исследовании недостаточно длительных периодов работы, что не позволяет выявить устойчивые различия между специалистами. Кроме того, бывают и другие причины, повышающие вероятность ошибки в использовании того или иного критерия.

Принцип обеспечения дифференциации работников как один из принципов отбора критериев успешности деятельности заключается в том, что выбранный критерий должен различать специалистов с высокой и низкой профессиональной пригодностью. Критерий, который не позволяет дифференцировать работников, вряд ли может быть интересен для профотбора, поскольку не обеспечивает возможность проверки прогностичности психологических методик, планируемых к использованию в мероприятиях профотбора.

Следующий принцип – принцип объективности критерия. Согласно данному принципу, в качестве критериев должны использоваться прямые объективные показатели профессиональной эффективности, например такие, как производительность, объем продаж и др. Однако очень часто на практике можно столкнуться с тем, что какого-то простого объективного показателя нет. Поэтому достаточно часто в качестве объективных критериев приходится одновременно учитывать не только количественные, но и качественные показатели (такие, как процент брака и другие, в зависимости от специфики деятельности предприятия или организации).

Следует отметить, что в данной книге охарактеризованы лишь основные подходы к выбору критериев успешности профессиональной деятельности. В каждом конкретном случае решение о выборе этих критериев принимается с учетом условий и специфики деятельности. Например, в качестве критериев профессиональной пригодности могут использоваться результаты контрольных испытаний, отражающих уровень профессиональной деятельности. Информацию о профессиональной пригодности работников также можно получить из административных актов, таких как приказы о поощрениях, взысканиях, повышении но службе, заработной платы и др. Однако при использовании данных критериев следует учитывать степень их объективности, поскольку в некоторых случаях поощрения и взыскания могут быть субъективно обусловлены.

Очень часто в качестве критериев берут показатели, которые характерны только для какого-то одного конкретного вида деятельности. Например, одним из критериев успешности профессиональной деятельности водителей автотранспорта является количество аварий за определенный период времени. Поэтому происшествия или несчастные случаи рассматриваются как критерии. Кроме того, в ряде случае при разработке методов прогнозирования профессиональной пригодности могут быть использованы показатели обучаемости: скорость обучения, а также уровень профессиональной подготовленности, достигнутый в его результате.

Вместе с тем следует отметить, что выбор критерия – это лишь один аспект общей проблемы правильного выбора и использования критериев успешности профессиональной деятельности. Другой заключается в том, как на практике оценить или замерить выраженность выбранного критерия успешности у конкретного человека. Как правило, различные аспекты профессиональной успешности измеряются с помощью экспертных оценок. Обычно для этого используются специально разработанные балльные шкалы. Установлено, что оценочная шкала должна включать от 5 до 7 градаций. Меньшее число градаций бывает недостаточным для получения адекватной дифференцированной оценки свойств личности, в то время как большее количество превышает способность их дифференциации.

Так, наиболее оптимальной для статистического анализа является 10-балльная шкала. Однако в случае работы с группой экспертов психолог сталкивается с ситуацией, когда эксперт испытывает затруднения в том, как «разнести» существующие критериальные признаки по этой шкале. Поэтому при работе с группой экспертов их прежде всего обучают вынесению оценок, а в ряде случаев – дополнительным методологическим приемам, которые упрощают процедуру вынесения оценки. Например, психолог достаточно часто сталкивается на практике с тем, что эксперту легче оперировать с наглядным представлением информации, чем с абстрактным. Поэтому балльным оценкам иногда придают вид графических шкал, на которых баллы соответствуют определенным точкам отрезка. При этом каждая точка может быть весьма точно измерена с помощью существующих и общепринятых единиц линейного измерения (миллиметры, сантиметры, дюймы). Кроме того, при использовании графических шкал на наглядно представленном отрезке могут быть заранее предусмотрены не только исходная, но и контрольные точки. В этом случае количество точек будет обусловлено тем, какую шкалу применяет психолог – 5-, 7– или 10-балльную).

Однако балльные шкалы имеют ряд недостатков, которые могут стать источником ошибок измерения соответствующих показателей профессиональной успешности. К их числу относятся гало-эффект, а также различие в подходах к оценке у разных экспертов. Напомним, что гало-эффект – это тенденция оценивать человека сходным образом по нескольким независимым шкалам в зависимости от общего (благоприятного или неблагоприятного) отношения оценивающего к оцениваемому. Как правило, гало-эффект возникает вследствие неспособности дифференцировать особенности личности, подлежащие оценке, или небрежности. В свою очередь, различия в распределении оценок, даваемых разными экспертами, обусловлены тем, что одни склонны к их завышению, другие – к занижению. В результате один и тот же балл у разных экспертов может иметь разное значение. Следовательно, баллы разных экспертов не могут суммироваться и усредняться. По мнению ряда исследователей, оценки экспертов должны анализироваться с учетом «центральной тенденции». Как известно, существует несколько методов, с помощью которых можно оценить «центральную тенденцию». В данном случае целесообразно определять моду совокупности полученных оценок[69].

Для того чтобы повысить точность экспертных оценок, в некоторых случаях предлагаемую экспертам балльную шкалу дополняют описаниями типичных особенностей поведения, соответствующих различным градациям показателя профессиональной успешности. Это позволяет в некоторой степени стандартизировать значение балльных оценок и уменьшить ошибки измерения, связанные с различным толкованием баллов. Разработать описание и соотнести его с баллами экспертной шкалы можно с помощью метода Л. Тёрстоуна[70].

На первом этапе группа экспертов численностью не менее 25 человек разделяет утверждения, отражающие конкретные образцы поведения, на 9 или 7 категорий (иногда может быть и другое количество), которые различаются по степени выраженности показателя профессиональной успешности, подлежащего оценке.

При этом количество утверждений должно быть существенно больше, чем категорий, в отношении которых производится сортировка. Кроме того, должны соблюдаться полярность и направленность выраженности успешности деятельности в содержании категорий. Например, первая категория – наименьшая выраженность, последняя – наибольшая, или наоборот. Для удобства сортировки каждое утверждение может быть напечатано на отдельной карточке.

На втором этапе изучается распределение каждого утверждения по категориям. В качестве балльной оценки, соответствующей утверждению, выбирается медиана распределения. Мера согласия экспертов оценивается по разбросу отнесения утверждения к различным категориям. При этом оптимальным считается вариант, если разница в баллах по утверждению не превышает для 5-балльной шкалы 1 балла, 7-балльной – 1,5, а для 9-балльной – 2. Утверждения, не удовлетворяющие этому условию, исключаются из шкалы.

Следует отметить, что очень редко удается разработать 5-балльную шкалу, поскольку чаще всего расхождения во мнениях экспертов в отношении утверждений превышают 1 балл.

При использовании разработанной с помощью метода Тёрстоуна оценочной шкалы эксперт отмечает утверждения, которые, по его мнению, правильно характеризуют поведение субъекта. Затем балльные оценки, соответствующие этим утверждениям, суммируются, что позволяет получить количественное значение по шкале показателя профессиональной успешности.

Существует еще один метод разработки шкал, в которых балльные оценки сопоставляются с примерами профессиональной деятельности различной эффективности[71]. При этом также выделяется несколько этапов.

Сначала деятельность анализируется с помощью метода критических инцидентов. Выделенные инциденты классифицируются в соответствии с определяющими их критериями успешности профессиональной деятельности. На следующем этапе другая группа экспертов, хорошо знающих особенности профессии, вновь классифицирует инциденты по критериям, определенным на первом этапе. При этом инциденты, по которым мнения разошлись более чем на 50 %, на дальнейших этапах разработки шкалы не используются.

Каждый инцидент, прошедший предварительные этапы, оценивается той же группой экспертов по 7– или 9-балльной шкале с точки зрения отражаемой им степени профессиональной пригодности. В результате описанной процедуры получается набор графиков, в соответствие определенным точкам которых поставлены примеры поведения, различающегося по профессиональной эффективности.

Еще один способ разработки шкалы для оценки успешности профессиональной деятельности основывается на результатах ранжирования испытуемых. Так, результаты наблюдения группы лиц в различных ситуациях оформляются в виде их ранжирования по степени профессиональной пригодности. Первый ранг присваивается субъекту с максимальной профессиональной успешностью, последний – работнику с наименьшей успешностью. (В некоторых случаях допускается обратное ранжирование.) Обычно ранжирование осуществляется в следующем порядке:

– составляется алфавитный список группы;

– производится выбор субъекта с максимальной успешностью (его фамилия зачеркивается в алфавитном списке и выписывается с рангом 1 на отдельный лист);

– производится выбор субъекта с минимальной успешностью (его фамилия зачеркивается в алфавитном списке и выписывается с рангом и, где и – число лиц в группе);

– из оставшихся в алфавитном списке выбирается субъект с максимальной успешностью (его фамилия зачеркивается в алфавитном списке и выписывается с рангом 2) и т. д.

Процедура продолжается до тех пор, пока все члены группы не будут расположены в определенном ранговом порядке. Далее ранговые показатели могут быть переведены в оценки, имеющие нормальное распределение и представляющие собой 100-балльную шкалу. Такие оценки достаточно удобно использовать при проведении математико-статистического анализа.

Завершая разговор о выборе критериев успешности деятельности и формировании шкалы, с помощью который они могут быть оценены, следует отметить, что экспертные оценки всегда подвержены различным искажениям, которые проявляются в гало-эффекте, деформациях, ограничении распределения оценок и т. д. Однако эти искажения могут быть уменьшены, если в ходе исследования будут соблюдены следующие условия[72]:

– особенности личности, подлежащие оценке, должны быть определены достаточно четко и однозначно;

– если необходимо оценить группу испытуемых по нескольким свойствам, то рекомендуется оценивать всю группу поочередно по каждому свойству личности (не рекомендуется оценивать испытуемого сразу по всем свойствам);

– следует разъяснять экспертам суть гало-эффекта и подчеркивать необходимость его устранения;

– достоверность измерения повышается при обобщении оценок нескольких экспертов (соответственно минимальное количество экспертов должно быть не менее трех, оптимальное – 10);

– экспертов необходимо обучать и готовить, поскольку в этом случае оценки будут более достоверными;

– точность оценок выше при продолжительном наблюдении, которое проводится в различных обстоятельствах и ситуациях непосредственной профессиональной деятельности.

Необходимо также подчеркнуть, что до настоящего времени нет какого-либо единого мнения о том, какую методологию в выборе критериев успешности профессиональной деятельности и разработки шкалы, с помощью которых они могут быть оценены, использовать. Высказываются самые разные мнения, некоторые из них целесообразно учитывать при решении конкретных задач.

Так, установлено, что показатели профессиональной успешности зависят не от одного, а от нескольких факторов. Поэтому некоторые авторы указывают на необходимость каждый фактор успешности профессиональной деятельности прогнозировать отдельно, а заключение о пригодности должно выноситься с учетом всех факторов профессиональной деятельности[73].

Кроме того, многие авторы считают, что успешность профессиональной деятельности зависит от индивидуальных стилей деятельности. Поэтому успешность ее следует оценивать с учетом индивидуальных особенностей лиц, отобранных для проведения пилотажного исследования, а, следовательно, критерии успешности должны быть различными.