Анализ эффективности мероприятий профессионального психологического отбора

После вынесения итогового заключения о профессиональной психологической пригодности работа психолога, связанная с отбором кандидатов, не заканчивается. Ему необходимо получить информацию об успешности деятельности тех, кто был принят на работу в результате мероприятий ППО. Далее полученная информация сопоставляется с результатами профотбора и определяется степень достоверности вынесенного заключения о профессиональной психологической пригодности.

Прежде чем приступить к рассмотрению механизмов эффективности профессионального психологического отбора, необходимо определить, когда следует приступать к сбору информации о деятельности новых сотрудников. Вероятно, в такой информации, полученной через месяц после приема на работу, мало смысла. Да и два месяца – срок, недостаточный для вынесения объективных суждений. Как считают некоторые авторы, необходимо определенное время для того, чтобы человек смог адаптироваться к новым условиям профессиональной деятельности. Как правило, в первые три месяца результаты профессиональной деятельности во многом будут зависеть от особенностей адаптационных характеристик нового сотрудника. Большинству работников, имеющих опыт трудовой деятельности, потребуется около полугода, для того чтобы полностью адаптироваться к новым условиям труда. Если же речь идет о молодых специалистах, то процесс адаптации может затянуться на год, а в некоторых случаях – и дольше. Поэтому сбор информации, которая будет использована при анализе эффективности мероприятий профессионального психологического отбора, следует начинать как минимум через полгода, а то и через год после приема сотрудника на работу. Обычно опытные специалисты собирают информацию через три месяца, через полгода и через год, поскольку при анализе могут возникнуть вопросы, ответить на которые возможно, только рассматривая динамику показателей успешности деятельности. Соответственно к этому следует быть готовым.

Следует также отметить, что обычно психолог организации решает не только задачи профессионального отбора, но и некоторые другие, в том числе задачи, связанные с психологическим сопровождением профессиональной деятельности. Поэтому на протяжении всей работы принятых на предприятие людей он обязан контролировать как их психическое состояние, так и процесс их адаптации к условиям трудовой среды. С этой целью он постоянно, с определенной периодичностью, собирает информацию об успешности их профессиональной деятельности.

Для этого многие высокопрофессиональные специалисты-психологи, работающие на предприятии, самостоятельно разрабатывают формы учетных документов (психологические паспорта, журнал психологических наблюдений и др.), в которых регистрируют всю информацию о сотрудниках предприятия, в том числе и сведения об успешности их профессиональной деятельности. Поэтому если психолог организации ведет работу по психологическому сопровождению профессиональной деятельности, то к тому моменту, когда необходимо проанализировать эффективность мероприятий ППО, он будет обладать всей необходимой информацией.

Какую информацию следует учитывать при анализе эффективности мероприятий ППО? Прежде всего ту, которая использовалась и при разработке системы профессионального психологического отбора для отражения основных показателей успешности профессиональной деятельности. В каждом конкретном случае критерии успешности могут быть различны. Это могут быть показатели производительности, количество продаж, факты брака, травматизм, прогулы и др. Причем при сборе информации сразу следует определиться, в каких единицах будут измеряться показатели успешности. Например, производительность может быть установлена через количество произведенных за какой-то промежуток времени конечных продуктов деятельности (количество деталей или изделий; масса произведенной продукции, общая стоимость совершенных продаж). Указывают на производительность и случаи травматизма, количество отбракованной продукции или общий объем ущерба, причиненного сотрудником из-за некомпетентных действий, и др… Далее, для того чтобы получить интегральный показатель успешности, целесообразно перевести показатели всех критериев успешности деятельности в стандартную шкалу. Как правило, для этого используются 10-балльная шкала.

Следует иметь в виду, что не всегда удается измерить успешность, используя абсолютные показатели. В некоторых случаях могут быть использованы качественные показатели. Например, учитывая специфику организации, можно говорить только о том, есть прогулы или нет, допускает специалист брак в процессе производства или нет. В данном случае понятие «есть» или «нет» является качественной характеристикой. Однако для того, чтобы получить интегральный показатель успешности на основании ряда первичных критериев, желательно использовать или только количественные, или только качественные показатели. В некоторых случаях в качестве успешности критериев деятельности может быть использована экспертная оценка. Для этого выбираются наиболее компетентные эксперты из числа сотрудников организации. Число экспертов должно быть достаточным для того, чтобы получить объективную оценку. (Правила отбора экспертов и порядок работы с ними были рассмотрены в предыдущих главах.) Наиболее целесообразно подготовить для экспертов специальный методический материал, который может быть использован при оценке успешности деятельности. Например, можно составить пояснительную записку о том, как и по какому алгоритму следует проводить оценивание и на что следует обращать внимание при выставлении итогового стандартного балла, характеризующего успешность деятельности.

Получив показатели успешности деятельности, можно приступать к анализу эффективности мероприятий ППО. Единого мнения в отношении того, как или по какому алгоритму следует анализировать эффективность этих мероприятий, нет. Поэтому мы рассмотрим основные направления такого анализа.

Прежде всего следует установить, насколько реально показатели развития профессионально важных качеств соответствуют показателям успешности профессиональной деятельности. Для этого может быть использован корреляционный анализ. Если между показателями отдельных психологических методик и показателями успешности профессиональной деятельности существует тесная взаимосвязь, то данные методики действительно оценивают уровень развития психологических качеств, которые в отношении данного вида трудовой деятельности являются профессионально важными. Если в ходе такого анализа будет обнаружено, что среди перечня критериев успешности есть показатели, которые не имеют никакой взаимосвязи с показателями психодиагностических методик, то в первую очередь следует определить, отражают ли используемые критерии успешности деятельности реальную эффективность труда сотрудников организации или нет.

В случае, если ответ на данный вопрос будет положительным, т. е. критерий значим, а связи показателей психологических методик с ним действительно нет, то, скорее всего, следует пересмотреть используемые для проведения профессионального отбора методологические подходы, а также перечень психодиагностических методик, использованных в мероприятиях профотбора. В данном случае целесообразно к уже используемым методам психодиагностики добавить методику, с помощью которой можно будет оценить психическое качество, связанное с рассматриваемым критерием успешности деятельности. После этого все мероприятия проводят повторно, как и при разработке системы ППО.

При этом следует помнить: если в перечень методик, используемых в мероприятиях ППО, вносятся изменения, то система психологического отбора разрабатывается повторно и в полном объеме. Если же в процессе корреляционного анализа было обнаружено, что все показатели успешности, выбранные как наиболее значимые, коррелируют на уровне статистической значимости с показателями психодиагностических методик применяемой в организации системы ППО, то надо переходить к следующему этапу анализа эффективности мероприятий профотбора.

На втором этапе анализируются различия в показателях успешности работы сотрудников, относящихся к разным группам профессиональной психологической пригодности. Обычно сопоставляются показатели успешности деятельности наивысшей и минимально допустимой групп профессиональной психологической пригодности[82]. Для этого, как правило, используется t-критерий Стьюдента. Если между сравниваемыми группами получены достоверные различия, то сомнения в эффективности разработанной системы отбора не возникает.

Однако использование t-критерия не всегда приемлемо и возможно. Поэтому прибегают к другим методом. Например, может быть использован х-квадрат Пирсона, показывающий степень сопряженности между качественными показателями[83].

Для того чтобы провести данный вид анализа, необходимо разделить всех сотрудников организации, выполняющих аналогичные виды трудовой деятельности, на несколько групп профессиональной пригодности, учитывая при этом показатели успешности профессиональной деятельности. (В данном случае речь идет о группах так называемой реальной профессиональной пригодности, отражающих реальную успешность профессиональной деятельности.) Обычно количество групп реальной профпригодности должно быть таким же, как и при проведении профессионального психологического отбора. (В данном случае группы профпригодности, полученные на основе результатов психологической диагностики, могут быть интерпретированы как группы прогнозируемой профпригодности.) Для формирования групп реальной профпригодности может быть использован примерно то же алгоритм, что и при формировании групп профессиональной психологической пригодности. Таким образом, будут получены два ряда сопоставляемых между собой качественных характеристик – прогнозируемая и реальная профессиональная пригодность.

Далее, используя технологию сопоставления двух выборок с помощью х-квадрата Пирсона, можно получить коэффициент, характеризующий степень сопряженности (совпадения) показателей. Соответственно чем больше будет значение коэффициента, тем выше вероятность совпадения реальной и прогнозируемой профпригодности, а следовательно, и выше эффективность мероприятий профессионального психологического отбора.

Еще одним вариантом использования групп реальной и прогнозируемой профпригодности для оценки эффективности мероприятий профессионального психологического отбора является метод получения интегральной оценки точности прогноза. Алгоритм определения достоверности психодиагностического прогноза в отношении успешности профессиональной деятельности имеет следующий вид:

где Д – коэффициент достоверности (эффективности) прогноза;

n, n, n – количество лиц с 1-й (n), 2-й (n) и 3-й (n) группами профессиональной психологической пригодности (прогнозируемой пригодности);

g, g, g – количество лиц соответственно с 1-й, 2-й и 3-й группами реальной психологической пригодности (успешности).

n – общее число лиц, принятых на работу из числа прошедших профессиональный психологический отбор.

Данный алгоритм определения достоверности психодиагностического прогноза является модификаций метода оценки достоверности и точности прогноза, предложенного В. С. Венцловым[84]. Основной постулат данного алгоритма заключается в утверждении того, что ошибкой прогноза следует считать случаи, когда результаты профессиональной деятельности конкретных людей ниже прогнозируемых. Например, для лиц, отнесенных к 1-й группе профессиональной психологической пригодности, ошибкой прогноза следует считать все показатели ниже 1-й группы реальной профпригодности (успешности). Соответственно для 2-й группы профессиональной психологической пригодности ошибкой прогноза будут показатели ниже 2-й группы реальной профпригодности и т. д. В то же время результаты, которые выше у прогнозируемой группы профпригодности, следует рассматривать в качестве подтверждения достоверности прогноза. Таким образом, основная идея данного алгоритма заключается в том, что специалист-психолог, вынося по результатам профессионального психологического отбора итоговое заключение о группе профпригодности, полагает, что кандидат на замещение вакантной должности, которого примут на работу, будет на практике показывать результаты не ниже данной группы. Поэтому все результаты практической деятельности, которые будут оцениваться как более низкие в отношении конкретной группы профпригодности, следует рассматривать как ошибку прогноза.

Рассмотрим данный алгоритм определения достоверности прогноза (эффективности мероприятий профессионального психологического отбора) на конкретном примере. Для этого воспользуемся данными, представленными в табл. 11.1.

Таблица 11.1