Математико-статистический анализ результатов проведения пилотажного исследования

При проведении математико-статистического анализа результатов пилотажного исследования, выполненного на основе тестирования полярных (контрастных) групп, как правило, не осуществляется оценка нормального распределения результатов, поскольку предполагается, что результаты двух обследованных групп будут существенно различаться. Поэтому, прежде всего, ведется поиск отличий в результатах выполнения тестов представителями изучаемых групп. Для этого чаще всего используется t-критерий Стьюдента. При этом сначала оценивается степень различия в целом по группам, а затем – в зависимости от возраста и пола. В ходе этого анализа выявляются методики, по которым обследуемые группы имеют достаточно четкие различия, а также те, по которым достоверных различий обнаружено не было. Вполне естественно, что методики, подчеркивающие различия между сравниваемыми группами успешных и неуспешных работников, должны быть включены в перечень методик, рекомендованных для использования в мероприятиях профотбора.

Несколько сложнее принимается решение об использовании в мероприятиях профотбора методик, которые не позволили обнаружить различия в сравниваемых группах работников. На что следует обращать внимание при анализе результатов таких тестов? Прежде всего – на наличие в перечне проверяемых тестов двух или трех методик, оценивающих одно и то же психологическое качество. Если это было сделано и по одним методикам были установлены различия, а по другим – нет, то в перечне методик, которые будут рекомендованы для профотбора, оставляются только те методики, которые подтвердили существование различий между сравниваемыми группами. Соответственно те методики, по которым различия не выявили, должны быть исключены из списка.

Если же для изучения какого-то профессионально важного качества в перечень методик, проверяемых в ходе пилотажного исследования, была включена лишь одна методика и по результатам ее выполнения не было обнаружено различий между сравниваемыми группами успешных и неуспешных работников, то принятие решения о целесообразности ее использования в мероприятиях профотбора еще более усложняется. Во-первых, оценивается степень важности данного профессионально важного качества в общей структуре ПВК. Если это качество является второстепенным, то в некоторых случаях данным качеством можно пренебречь и исключить тест, не позволивший установить различия между группами, из перечня методик, рекомендуемых для использования в мероприятиях профотбора. Во-вторых, оценивается величина отклонения полученного t-критерия от величин достоверных различий. Как известно, в статистике существуют самые разные уровни достоверности значений, характеризующие степень вероятности того или иного события. По мнению большинства авторов, разрабатывающих методологию использования различных приемов статистического анализа в психологии, в качестве достоверных показателей t-критерия Стьюдента, характеризующих различия между двумя группами людей, следует брать те, которые соответствуют не менее 95 %-ному уровню вероятности, т. е. р ‹ 0,05. Соответственно показатели ниже этой величины следует относить к категории недостоверных.

Такая точка зрения вполне обоснованна в отношении различных психологических исследований. Однако при разработке системы ППО следует учитывать характер того или иного профессионально важного качества. Так, существуют такие ПВК, которые могут проявиться в полной мере только при выполнении реальной профессиональной деятельности. Например, многие методики по оценке стрессовой устойчивости человека демонстрируют наилучшую результативность в дифференциации испытуемых по развитию данного качества лишь тогда, когда испытуемые находятся в ситуации стресса. Поэтому всегда следует иметь в виду, что при проведении психологического тестирования обследуемый находится в условиях только тестирования, а не реальной деятельности. Именно данное обстоятельство определяет необходимость оценивать величину отклонения полученного показателя t-критерия от величин, характеризуемых как достоверно значимые. В определенных случаях показатели t-критерия, даже не достигнувшие уровня достоверно значимых показателей, могут быть оценены как вполне достаточные. Например, при сравнении результатов двух групп по 30 человек в каждой достоверно значимым считается показатель t-критерия от 2,042 и более, но как относиться к t = 1,711 или 1,800? Данная величина показателя t-критерия не достигает уровня значимости, при котором в психологии принято говорить о высокой достоверности. Однако с точки зрения статистики она является вполне значимой. В случае сопоставления результатов психологического обследования двух сравниваемых между собой групп по 30 человек в каждой величина t-критерия более 1,697 и менее 2,042 свидетельствует о том, что существует 90 % (р ‹ 0,1) вероятности того, что эти группы действительно имеют различия в выраженности соответствующей психологической характеристики. В этом случае в психологии принято говорить о существующих тенденциях. Поскольку была выявлена тенденция, то отказываться от использования или, наоборот, рекомендовать к использованию в мероприятиях профотбора такую методику без проведения дополнительного анализа не представляется возможным.

Дальнейший анализ заключается в выявлении взаимосвязи между показателями теста и показателями успешности деятельности. Для этого используется корреляционный анализ – метод математической статистики, позволяющий обнаружить связь между отдельными характеристиками одного объекта. В данном случае предполагается, что если успешность деятельности действительно обусловлена какими-то психологическими качествами, то между показателями развития этого качества (оцениваемого с помощью тестов) и показателями успешности деятельности должна быть тесная взаимосвязь. Если в ходе корреляционного анализа такая взаимосвязь была установлена для показателей теста, по которому была выявлена лишь тенденция к достижению значимых различий (т. е. различия в показателях по этой методике между двумя группами соответствуют р ‹ 0,1), то он может использоваться в мероприятиях профотбора. Если же коэффициент корреляции не достиг уровня достоверной значимости, то использовать такой тест в мероприятиях профотбора не рекомендуется.

Следует отметить, что результаты корреляционного анализа выступают в качестве решающих при оценке того, какую из двух или трех методик, характеризующих уровень развития одного и того же психологического качества, целесообразно использовать в структуре мероприятий ППО. Как было сказано выше, при проведении пилотажного исследования можно, а иногда вполне целесообразно использовать несколько психологических методик (параллельных тестов), оценивающих одно и то же качество, поскольку на разных выборках и в разных условиях психологические тесты иногда демонстрируют разные надежность и валидность. Если в ходе математико-статистического анализа результатов пилотажного обследования было установлено, что параллельные тесты имеют равные показатели при сопоставлении полярных групп, то предпочтение отдается той методике, которая имеет более высокие показатели в корреляционном анализе. При этом предполагается, что все коэффициенты (и t-критерий, и коэффициент корреляции) должны достигать уровня достоверной значимости, в противном случае нет смысла сравнивать между собой методики. Всегда следует помнить, что первоочередное внимание при отборе методик уделяется показателям статистической достоверности.

В отличие от предыдущего варианта проведения пилотажного исследования при обследовании случайной выборки работников предприятия или организации с помощью математико-статистического анализа результатов прежде всего оценивается близость полученных показателей тестов к нормальному распределению. Если это требование соблюдается, то можно утверждать, что используемая методика позволяет ранжировать людей в зависимости от уровня развития психологического качества, для оценки которого она и предназначена. В случае если нормального распределения не получено, то вопрос о возможности использования проверяемого теста в структуре мероприятий профотбора ставится под сомнение. Поэтому дальнейший анализ сводится к оценке характера распределения полученных показателей теста.

Как правило, при анализе распределения показателей теста можно столкнуться с одним из трех вариантов:

– распределение, близкое к нормальному;

– вершина графика распределения смещается вправо или влево (правая или левая асимметрия);

– график распределения имеет два и более пика.

Первый вариант распределения является идеальным и, как было отмечено выше, снимает на данном этапе анализа все вопросы о целесообразности использования теста в структуре мероприятий профотбора.

Во втором варианте, когда отмечается левая или правая асимметрия показателей, необходимо учитывать конструктивные особенности теста и особенности выборки обследуемых. Например, при высоком уровне развития ПВК у большинства обследуемых будет встречаться правая асимметрия. Часто данное явление наблюдается в случае, если на этапе приема на работу проводился какой-либо отбор. Поэтому, столкнувшись с правой асимметрией, следует проанализировать опыт работы обследуемых, эффективность их деятельности, уровень профессиональной подготовленности и др. Как правило, подобный анализ позволяет обнаружить закономерность возникновения асимметрии, обусловленной особенностями выборки обследуемых.

Вместе с тем асимметрия может быть обусловлена и конструктивными особенностями теста. С этой точки зрения следует проанализировать возможность устранения данной асимметрии с помощью разработки нормализованной шкалы, т. е. такой шкалы, которая формируется при переводе «сырых» показателей в стандартные (стэны, станайны и др.). Например, при использовании нормализованной шкалы были получены асимметричные результаты. В этом случае предпринимается попытка внести коррективы в существующую нормализованную шкалу. Если асимметрия была получена на «сырых» показателях, то предпринимается попытка ее устранения с помощью разработки соответствующей стандартной нормализованной шкалы.

Далее решение о применении теста в мероприятиях профотбора принимается при взаимном сопоставлении результатов анализа особенностей выборки и конструктивных особенностей теста. Однако если попытки создать нормализованную шкалу или внести изменения в уже существующую шкалу не увенчались успехом и асимметрию компенсировать не удается, то рекомендовать такой тест к использованию в мероприятиях профотбора все же нецелесообразно.

Один из самых сложных случаев анализа распределения – случай с наличием нескольких пиков на графике распределения показателей теста. Это так называемый вариант распределения с отрицательным эксцессом, который свидетельствует о смещении большинства результатов к полярным значениям. У этого распределения могут быть свои объяснения. Во-первых, все те же особенности выборки. Однако если отрицательный эксцесс действительно вызван особенностями выборки, то он должен быть присущ не одной методике, а сразу нескольким. Именно такое явление может отмечаться при анализе результатов, полученных при обследовании хорошо подобранных полярных групп. Если же отрицательный эксцесс присущ только одной или двум методикам, то, скорее всего, он обусловлен конструктивными особенностями теста. В этом случае следует или отказаться от использования теста в мероприятиях профотбора, или увеличить численность выборки обследуемых и провести повторное обследование испытуемых.

После анализа характера распределения показателей тестов при проведении пилотажного обследования случайной выборки осуществляется корреляционный анализ. На данном этапе отсеиваются те методики, которые не имеют достоверно значимых корреляционных связей с показателями успешности профессиональной деятельности.

На завершающем этапе математико-статистического анализа результатов пилотажного исследования, проведенного на случайной выборке, оценивается способность тестов дифференцировать всех обследованных в отношении критериев успешности деятельности. Для этого среди обследуемых выделяются три группы лиц – с высокими, средними и низкими показателями успешности. Далее производится сравнение результатов тестов между группами с высокими и низкими показателями успешности. Тесты, по которым были получены достоверные различия между сравниваемыми группами, и тесты, которые показали наличие позитивных тенденций, могут рассматриваться как рекомендуемые для включения в перечень методик, планируемых для использования в мероприятиях профотбора.

Однако чаще всего при обследовании случайной выборки психологи сталкиваются с ситуацией, когда не представляется возможным сформировать контрольные группы с высокими или низкими показателями успешности деятельности. Это бывает обусловлено недостаточностью объема выборки. Поэтому возможно применение обратного анализа. С этой целью все обследуемые разделяются на несколько групп в отношении показателей какого-то одного теста, после чего анализируются показатели успешности деятельности между выделенными группами. В случае если между группами лиц обнаружены различия в показателях успешности деятельности (хотя бы на уровне закономерностей, т. е. р ‹ 0,1 или выше), то тест может быть рекомендован к использованию в мероприятиях профотбора.

В ходе пилотажного исследования теста аналогичная работа должна быть проделана в отношении каждого проверяемого. Кроме этого, следует также учитывать, что в итоговом перечне методик, рекомендованных для решения задач профотбора, не должно быть параллельных тестов. Поэтому, если в пилотажном исследовании используются параллельные методики, на заключительном этапе следует выбрать из них те, которые показали наилучшую прогностичность.

Еще один вариант пилотажного исследования – обследование экспериментальной моделируемой выборки. Этот вариант проводится в ситуациях, когда не представляется возможным обследовать людей, выполняющих профессиональную деятельность, на которую планируется проводить отбор. Самым существенным недостатком в данной ситуации является отсутствие показателей успешности деятельности. В результате получить высокодостоверные результаты анализа, характеризующие прогностичность оцениваемых тестов, не представляется возможным. Поэтому, какие бы ни были получены результаты, они могут быть расценены как предварительные и после накопления в ходе практического использования тестов материала весь анализ должен быть проведен повторно и в полном объеме. Тем не менее и при этом варианте проведения пилотажного исследования используются методы математико-статистического анализа. Принято считать целесообразным проведение анализа распределения показателей используемых тестов. Методики, по результатам которых показатели обследуемых не соответствуют нормальному распределению, как правило, исключают из перечня методик, рекомендованных для использования в ППО.

Завершая разговор об анализе результатов пилотажного исследования, являющегося одним из этапов разработки системы ППО, следует подчеркнуть, что в представленном обзоре рассмотрены лишь наиболее распространенные приемы и способы анализа результатов обследования экспериментальных групп. В конкретных условиях создания системы профессионального психологического отбора могут быть использованы и другие методы анализа. Поэтому психолог, решающий задачи профотбора, должен не только знать психологические тесты, но и хорошо разбираться в математической статистике.