Психодиагностическая оценка надежности сотрудника. Учебное пособие для студентов вузов

из временного интервала, отведенного для обследования кандидатов. Это делается для того, чтобы в результате корреляционного анализа с необходимостью выявить наиболее информативные показатели методик.

Для примера1 разработаем модель расчета ОцПО.

Допустим, что оценка ЭВУ производится при помощи методик «А», «Б», «В» и «Г», имеющих соответствующие показатели (õi). Аналогично оценка ПН осуществляется при помощи методик «Д», «Е», «Ж» и «З». Соответственно оценка ПС производится при помощи методик «И», «К», «Л» и «М».

Психодиагностические методики от «А» до «М» сводятся в «батарею» и применяются на экспериментальной выборке. В качестве экспериментальной выборки привлекается группа сотрудников, характеристики которой отражают существенные параметры исследуемых специалистов, т.е. репрезентативная группа.

В результате обследования при помощи сконструированной «батареи» осуществляется сбор данных и их анализ, после чего из них выбираются наиболее информативные показатели методик.

Анализ экспериментальных данных осуществляется в соответствии со следующим алгоритмом.

1-é øàã — осуществляется расчет нормальности распределения эмпири- ческих данных.

2-é øàã — для адаптации тестов к реальным условиям проверяется надежность методик.

3-é øàã — расчет эмпирической валидности методик, т.е. величины связи их показателей с показателями «внешнего критерия», в качестве которого могут выступать оценки реальной профессиональной деятельности испытуемых экспериментальной группы.

4-é øàã — рассчитываются интеркорреляционные взаимозависимости показателей методик в целях отказа от неинформативных и дублирующих друг друга показателей.

5-é øàã — по значимости коэффициента корреляции с «внешним критерием» осуществляется расчет уровня информативности показателей методик и определение весовых вкладов каждого показателя методик по коэффициенту частной детерминации.

6-é øàã — рассчитываются коэффициенты регрессионного уравнения. 7-é øàã — рассчитывается свободный член регрессионного уравнения2. 8-é øàã — составляется общая формально-математическая модель ОцПО.

1В примере показан алгоритм формальной разработки модели прогноза профпригодности.

2В уравнение подставляются средние значения показателей методик.

111

9-é øàã — проверка модели по итоговым показателям относительно максимальных и минимальных значений принятой стандартной шкалы1.

Расчет нормальности распределения эмпирических данных производится по результатам выявления величин асимметрии и эксцесса или определения величины хи-квадрат (критерий согласия Пирсона). Различие этих методов заключается в том, что в первом случае оценивается отстояние вершины кривой распределения эмпирических данных от теоретической нормали. Асимметрия и эксцесс показывают разницу в положении вершины реальной кривой соответственно по горизонтали и вертикали в относительно теоретической нормали.

Хи-квадрат определяет отношение не только вершины эмпири- ческого распределения, но и определенных ее участков. Поэтому доказательство близости распределения эмпирических данных теоретической кривой Гаусса—Лапласа в последнем случае является математически более убедительным.

Исследование эмпирического распределения на нормальность — обязательный элемент разработки формально-математической модели. По его результатам делается вывод о дифференцирующей силе методик, корректности применения параметрической статистики и соответственно строится дальнейшая стратегия расчетов.

Проверка надежности и валидности методик проводится в слу- чае адаптации разработанных ранее или конструируемых в ходе профессиологического исследования новых методических средств диагностики. Тесты, используемые в профессиональном психологи- ческом отборе, подбираются на основе психограммы.

В случаях осуществления профессионального психологического отбора на престижные должности, где кандидаты «активно готовятся» к психодиагностике2 или профессиональная деятельность сложна и нет возможности применять известные стандартные методики, разрабатываются новые оригинальные технологии и процедуры, что требует отдельного изложения и в данном случае не рассматривается.

Эмпирическая валидизация известных методик заключается в проведении корреляционного анализа показателей тестов относительно объективных оценок поведения и деятельности испытуемых. При этом рассчитываются коэффициенты корреляции (в зависимости от шкалы измерения данного признака) между показателями методик и «внешним критерием» на экспериментальной выборке.

1 В уравнение подставляются значения показателей методик: максимальный уровень — средние значения плюс стандартное отклонение; минимальный уровень — средние значения минус стандартное отклонение. Эта процедура предназначена для определения расчетных пределов уравнения, которые не должны выходить за границы принятой стандартной шкалы.

2 Осуществляются предварительные консультации испытуемых, а также использование ими открытых публикаций методик.

112

Модель личностно-профессиональной пригодности. В основе разработки модели личностно-профессиональной пригодности — расчет корреляционных зависимостей, который осуществляется в целях определения наиболее информативных показателей методик. Физи- ческий смысл этой процедуры заключается в выявлении из массы признаков тех показателей, которые имеют наибольшую корреляционную экспансивность, т.е. значимо связаны с другими показателями данного теста.

Следующий шаг разработки модели оценки профессиональной пригодности — расчет эмпирической валидности теста, который заключается в выявлении величины связи тестовых показателей с показателями внешнего критерия. Далее производится выбор наиболее «удобных», информативных показателей с точки зрения математического анализа. Это осуществляется, как правило, на основе соблюдения трех правил: (1) эмпирические показатели методик должны иметь нормальное распределение; (2) они должны иметь наименьшую корреляционную связь с другими показателями внутри методики, т.е. не дублировать друг друга; (3) должны иметь наибольшую корреляцию с внешним критерием, т.е. удовлетворять требованиям предыдущих шагов-процедур.

В результате перечисленных аналитических действий число методик, при помощи которых измеряются интегративные качества, как правило, значительно уменьшается. Рассматриваются только наиболее информативные тестовые показатели, которые соотносятся с внешним критерием.

Для рассматриваемого примера внешний критерий личностнопрофессиональной пригодности (ОцПО) определен в результате экспертной оценки (каждый испытуемый из экспериментальной группы получил экспертную оценку результатов деятельности). Измерение ЭВУ, ПН и ПС осуществляется при помощи тестовых показателей — соответственно А, Б; Д, З; К, Л. Предположим, что это наиболее информативные показатели элементов модели оценки личностно-профессиональной пригодности. Таким образом, модель оценки личностно-профессиональной пригодности примет следующий вид:

Показатели тестов внутри элемента модели связаны между собой некоторой зависимостью. При кропотливом анализе психолог должен выяснить, какова эта зависимость, и затем ввести в уравнение формальное значение связей между показателями {А,Б}, {Д,З} и {К,Л}.

113

При составлении общей формально-математической модели прогноза личностно-профессиональной пригодности наиболее часто используются линейные зависимости. Они просты, наглядны и понятны с точки зрения обыденных представлений. К сожалению, реальная жизнь не подчиняется линейным закономерностям. Она гораздо сложнее и многограннее.

В целях повышения уровня прогностичности уравнений отбора можно аппроксимацией (или приближением — научным методом, состоящим в замене одних объектов другими, в каком-то смысле близкими к исходным, но более простыми) методом наименьших квадратов выявить, насколько экспериментальная кривая соответствует теоретической функциональной закономерности. В качестве эталона используются следующие виды функциональных связей:

ãäå y — показатель внешнего критерия или его аспекта; a, c — коэффициенты уравнения;

b — свободный член; X — показатель теста.

После выбора уравнения, описывающего элемент общей модели, рассчитываются его коэффициенты (à, ñ) и свободный член (b). В этом случае активно используется компьютер. Однако их можно рассчитать и «вручную».

При расчете «вручную» коэффициенты уравнения получают путем выявления коэффициентов частной детерминации (Ê×Ä) è ðàñ-

становки их в виде десятичных дробей с соблюдением условия, что их суммарное значение не превышает единицы.

КЧД показывает, насколько изменение одной переменной определяет изменение другой и вычисляется посредством возведения в квадрат значения корреляции. Если, например, переменные связаны линейной зависимостью и коэффициент корреляции равен 0,5, то КЧД будет показывать, что изменение первой переменной определяет 25% вариации второй.

Допустим, что переменные связаны линейной зависимостью и показатели тестов коррелируют с внешним критерием соответственно:

À = 0,5, Á = 0,4; Ä = 0,6, Ç = 0,4; Ê = 0,7, Ë = 0,8.

В модель каждого элемента показатели войдут со следующими коэффициентами:

114

ОцЭВУ = bý + 0,25(À) + 0,16(Á)

41% изменений ОцЭВУ определяется при регистрации показателей А и Б, а 59% — компенсирует свободный член.

Аналогично производится анализ коэффициентов других уравнений:

ÎöÏÍ = bí + 0,36(Ä) + 0,16(Ç) è ÎöÏÑ = bñ + 0,49(Ê) + 0,64(Ë).

Расчет свободных членов уравнения осуществляется путем подстановки средних значений внешнего критерия, с одной стороны, и показателей тестов — с другой.

В практике профессионального психологического отбора имеются случаи нарушения диапазона тестовых оценок вследствие эффекта совместности тестов, когда тесты, предназначенные для измерения определенных признаков (по внешнему критерию), сильно коррелируют с другими. Проверка рамок этого диапазона осуществляется путем анализа уравнения при максимальных и минимальных тестовых показателях, т.е. производится искусственное «покачивание» уравнения по максимальным и минимальным значениям показателей.

Заключительный шаг алгоритма отработки математической модели психологического обследования персонала — уточнение и составление детальной прогностической модели личностно-профес-сиональной пригодности. Для этого уравнения, при помощи которых производится описание элементов общей схемы профессионального психологи- ческого отбора, переносят в общую модель, умножив на весовые коэффициенты соответствующего элемента:

ÎöÏÎ = 0,13•A + 0,08•Á + 0,11•Ä + 0,05•Ç + 0,1•Ê + 0,13•Ë.

3. Следующий этап подготовки методики профессионального психологического отбора — разработка интерпретационной модели, на базе которой осуществляется формирование вывода о личностнопрофессиональной пригодности (ЛПП). В связи с этим усредняются

все оценки по элементам профессионального психологического отбора. Таким образом, выносится общая оценка ЛПП.

Психолог определяет основной критерий пригодности, по которому делается предварительный вывод. Например, если профессиональная деятельность отличается экстремальными условиями, то приоритет отдается показателям эмоционально-волевой устойчивости. В этом случае по данным характерологических методик определяются границы предрасположенности субъекта к оптимальному функционированию в сложных служебно-профессиональных ситуа-

115

циях. Здесь показатели тестовых шкал служат ориентиром в подготовке решения о личностно-профессиональной пригодности.

Общий вывод о личностно-профессиональной пригодности осуществляется на основе представления полученных экспериментальных оценок в виде нормального распределения данных. Психологи- ческие данные «выстраиваются» в виде частотного распределения (рис. 6.3).

Производится формирование групп (категорий) пригодности. Для этого от концов оси, где откладывается количество испытуемых (ось ΗN), отсчитывается по 15—20% показателей испытуемых. Полученные точки K, Ì è L будут являться границами групп лич- ностно-профессиональной пригодности (рис. 6.3).

Ðèñ. 6.3. Частотное распределение

экспериментальных данных

При определении группы «высокой» личностно-профессиональ- ной пригодности (LN) определение группы А осуществляется от высоких к низким показателям.

Набравших суммарный балл больше значения соответствующего показателя в точке L относят к первой группе личностно-профес- сиональной пригодности и «рекомендуют в первую очередь» для принятия к рассмотрению руководством организации.

Если суммарный балл тестовых испытаний находится в пределах от точки Ì до точки L (вторая группа пригодности — В), то они рекомендуются на данную должность.

Если суммарный балл тестовых испытаний находится в пределах от точки Ê до точки Ì (третья группа пригодности — В), то они

116

«условно рекомендуются» на данную должность при отсутствии конкурса.

Испытуемые, попавшие по результатам тестирования в группу «низких» показателей (четвертая группа Г — отрезок ÎÊ), т.е. зна- чение общих показателей меньше соответствующего значения Ê, — «не рекомендуются».

В практике профессионального психологического отбора сложилась определенная структура критериев принятия решения о личностно-профессиональной пригодности.

При условии небольшого конкурса на вакантные должности или его отсутствия, т.е. в ситуации так называемого мягкого отбора,

границы групп личностно-профессиональной пригодности смещаются влево и составляют соответственно: 1-я группа — 20% количества кандидатов; 2-я группа — 40%; 3-я группа — 30%;

4-я группа — 10%.

В ситуации жесткого отбора, при наличии достаточного конкурса: 1-я группа составляет 10%; 2-я группа — 30%; 3-я группа — 40%; 4-я группа — 20%, т.е. границы личностно-профессиональной пригодности смещаются вправо.

Результаты профессионального психологического отбора кандидатов на службу обязательно документируются.

Эффективность личностно-профессиональной диагностики. Определяется отношением затрат, связанных с текучестью кадров или упущениями сотрудников, к затратам на мероприятия профессионального психологического отбора и содержание психологов. Понятие эффективности включает в себя теоретическую, организацион-

ную, методическую и экономическую составляющие.

Теоретическая эффективность представляет собой рассмотрение психодиагностического инструментария в виде расчета достоверности эмпирических данных (результатов тестирования). Достоверность методических средств профессионального психологического отбора определяется оценкой валидности, надежности и прогно-

стичности применяемых методик.

Организационная эффективность складывается из оптимальной организации психологического обследования и системы профессионального психологического отбора в целом, совершенствования ее структуры, методики проведения отбора и распределения кадров,

автоматизации методов и др.

Методическая эффективность представляет собой совпадение процентного распределения по группам пригодности прогноза и реальной деятельности сотрудников. В этом аспекте вычисляются точность,

117

надежность и достоверность прогноза личностно-профессиональной пригодности.

Сравнение прогноза личностно-профессиональной пригодности по данным профессионального психологического отбора с результатами реальной деятельности может осуществляться по следующим параметрам:

(1)оценка качества выполнения служебных задач;

(2)оценка темпа (скорости) выполнения служебных функций;

(3)оценка коммуникативности (конфликтное поведение с коллегами, руководством, периодичность смены мест службы или специальности, переходы из одного подразделения в другое и др.);

(4)оценка исполнительности и служебной дисциплины (прогулы, частота опозданий на службу, неточности и ошибки при выполнении заданий, частые ссылки на плохую память, хаотичность, беспорядочность действий и др.);

(5)оценка адаптации на новом месте, при изменении условий службы и при постановке нестандартных задач;

(6)оценка здоровья (заболеваемость: количество обращений к врачу за адаптационный период, количество пропущенных рабочих дней по причине болезни, хронические заболевания, частота болезненного самочувствия и др.).

Для определения личностно-профессиональной пригодности по

результатам реальной служебной деятельности проводится экспертная оценка.

Для параметров (1), (2) и (5) применяется шкала оценки первой категории профпригодности «А» — успешное и самостоятельное выполнение обязанностей; второй категории профпригодности «Б» — удовлетворительное выполнение обязанностей при периодической помощи и контроле; третьей категории профпригодности «В» — низкая успешность выполнения обязанностей при постоянной помощи и жестком контроле.

Для параметров (3), (4) и (6) — первая, вторая и третья категории профпригодности оцениваются соответственно как высокий, средний и низкий уровни развития и проявления исследуемого качества.

На основе реальной функциональной деятельности сотрудников при помощи экспертов производится новая категоризация личностнопрофессиональной пригодности, которая затем сравнивается с прогнозом, осуществленным при профессиональном психологическом отборе. Реальная категоризация успешности деятельности сотрудников по группам получила название «внешний критерий отбора».

118

Точность прогноза личностно-профессиональной пригодности. Рас- считывается путем сравнения прогнозируемой пригодности специалистов в ходе профессионального психологического отбора с тем уровнем (или категорией пригодности), который определили эксперты, изучив служебную деятельность сотрудников за определенный период. Точность прогноза складывается из расчетов показателей абсолютной точности прогноза и погрешностей прогноза в сто-

рону его завышения/занижения.

Показатель абсолютной точности (АТП) определяет, насколько результаты профессионального психологического отбора совпадают с экспертной оценкой профессиональной деятельности сотрудников:

ãäå na (À), ná (Á), nâ (В) — количество специалистов, у которых совпали категории прогнозируемой и реальной личностно-профессио- нальной пригодности;

nâ (В) — используется в формулах при условии, что кандидаты категории «В» были приняты на службу при отсутствии конкурса;

Nî — общее количество персонала, прошедшего отбор.

Если предварительный прогноз при профессиональном психологическом отборе совпал с реальной оценкой в 65% и более случаев,

то методы прогноза считаются эффективными.

Показатели завышенного (ÒÏÂ) èëè заниженного (ÒÏÍ) прогноза

определяют направление ошибки прогнозирования пригодности в ходе профессионального психологического отбора при использовании примененных психодиагностических средств. Они дают возможность оценить и провести коррекцию модели профессионального психологического отбора кандидатов и привести его в соответствие с существующими требованиями.

Показатели погрешности, связанные с завышением/занижением категории пригодности (ТПВ/ТПН), рассчитываются по формулам

ãäå nà(Б,В) — численность сотрудников, у которых прогнозировалась категория «А» личностно-профессиональной пригодности при отборе, а экспертиза показала их принадлежность к категориям «Б» и «В»;

119

ná(В) — численность сотрудников, у которых прогнозировалась категория «Б» личностно-профессиональной пригодности при отборе, а экспертиза показала их принадлежность к категории «В»;

ná(А) — численность сотрудников, у которых прогнозировалась категория «Б» личностно-профессиональной пригодности при отборе, а экспертиза показала их принадлежность к категории «А»;

nâ(А,Б) — численность сотрудников, у которых прогнозировалась категория «В» личностно-профессиональной пригодности при отборе, а экспертиза показала их принадлежность к категориям «А» и «Б»;

Nî — общая численность сотрудников, прошедших психодиагностические процедуры.

Вывод о завышении/занижении прогноза личностно-профес-

сиональной пригодности осуществляется по соотношению ТПВ и ТПН. Если их разность не превышает 10%, то прогноз личностно-

профессиональной пригодности считается нормальным. Если более 10%, то соответственно или завышенным (при ТПВ> ТПН), или заниженным (при ТПН> ТПВ).

Учитывая вид фактического распределения категорий личност- но-профессиональной пригодности, необходимо периодически корректировать модель профессионального психологического отбора. Эта задача может выполняться путем смещения границ категорий пригодности в противоположную сторону рассчитанному завышению/занижению прогноза.

При завышенном прогнозе личностно-профессиональной пригодности «нижняя» граница категории «А» и «верхняя» граница категории «В» смещаются в сторону больших значений на то количество процентов (от балла, определяющего границу категории), которое определяет это завышение.

При заниженном прогнозе личностно-профессиональной пригодности «нижняя» граница категории «А» и «верхняя» граница категории «В» смещаются в сторону меньших значений на то количество процентов (от балла, определяющего границу категорий), которое определяет это занижение.

Например, при завышении прогноза на 15% (ТПВ – ТПН = 15) для оценки границ категорий пригодности, измеренных в 10-балльной шкале, нижняя граница категории «А» (8,01) и верхняя граница категории «В» (2,01) сместятся в сторону больших значений на 1,5 и составят соответственно 9,51 и 3,51 балла (рис. 6.4).

120