II. Содержание психометрической работы с методикой «Профориентатор»

1. Тестовая оболочка «Maintest»

Разработанная лабораторией «Гуманитарные Технологии» тестовая оболочка «Maintest» позволяет сохранять в едином формате все протоколы испытуемых, прошедших тестирование, а также производить дальнейшую статистическую обработку протоколов с целью психометрического анализа работы тестовой методики.

Постоянный поток клиентов нашего Центра в Москве, а также постоянное взаимодействие с партнерскими центрами из регионов¹ позволяет довольно быстро набирать необходимое для статистической обработки количество протоколов, поэтому как минимум раз в полгода тест проходит проверку на «качество», регулярно ведется активная работа по обновлению и коррекции банка вопросов и списка профессий.

2. Психометрические свойства методики «Профориентатор»

а) Надежность. Надежность теста отражает степень внутренней согласованности включенных в него шкал (операционально – это взаимная скоррелированность ответов на разные задания, входящие в одну шкалу). Надежность-согласованность определяется вычислением коэффициента Альфа-Кронбаха. Такой анализ проводился неоднократно – на всех этапах совершенствования методики. Последний анализ надежности-согласованности методики «Профориентатор» показал довольно высокий уровень – 0,79 для теста в целом.

Отдельно по шкалам наблюдается разброс значений. При этом обнаружение невысоких показателей коэффициента Альфа по отдельной шкале служит причиной более глубокого анализа шкалы и пересмотра отдельных пунктов либо концепции шкалы в целом. Пример – шкала «Общение»: при обнаружении невысокой надежности был проанализирован качественный состав вопросов, после чего они были заменены на более профессионально ориентированные, в отличие от общения в обыденной жизни.

б) Валидность. Под валидностью методики понимается степень соответствия получаемой информации диагностируемому психическому свойству. В практическом смысле валидность можно интерпретировать как «пригодность» методики для решения поставленной практической задачи – в данном случае, для задачи адекватной профессиональной ориентации подростка.

Рассмотрим на примере «Профориентатора» два типа валидности: валидность прогностическую и конструктную. Прогностическая валидность – важнейший вид валидности диагностической методики, который подтверждает её пригодность для выдвижения прогноза. Очевидно, что в случае профориентации задача прогнозирования особо актуальна. Исследование прогностической валидности методики производилось 3 года назад, когда был произведен обзвон клиентов с вопросом о выборе вуза и специальности. Другой вариант анализа валидности методики (корреляция профилей по тесту с фактом принадлежности к той или иной профессиональной группе) был произведен в рамках дипломной работы М. Енгалычевой под руководством А.Г. Шмелева. Выявленный уровень прогностической валидности – около 0,4 – 0,6 для разных экспериментальных ситуаций (для разных источников информации). Важно подчеркнуть, что само значение коэффициента корреляции не следует путать с вероятностью точного прогноза. Скромный уровень корреляции 0,4 означает вероятностную точность прогноза на уровне примерно 0,7 (уровень 0,5 случайного угадывания плюс примерно 40 процентов прироста).

Конструктная валидность – один из основных теоретических видов валидности, показывающий степень отражения исследуемого психологического конструкта в результатах теста. Конструктная валидность методики «Профориентатор» обеспечивается теоретической базой, заложенной в шкалы-факторы, а также проверяется на практике психологами-консультантами в рамках психодиагностической беседы.

Шкалы, обнаруживающие недостаточный уровень валидности, подробно анализируются и корректируются. Пример: результаты по шкалам «Лексика» и «Зрительная логика» не всегда совпадали в практике с данными самоотчета испытуемых. Более глубокий анализ показал, что данные шкалы недостаточно многогранно отражают исследуемое качество (например, явно доминировали задания на анаграммы для «Лексики» и задания с нахождением закономерностей в двух блоках рисунков для «Зрительной логики»). В результате были предложены принципиально новые идеи заданий на диагностику данных шкал, которые позволили преодолеть неоправданное сужение области валидности тестов.

Конечно, авторы статьи понимают, что наиболее убедительные данные о валидности теста «Профориентатор» можно было бы получить в случае мониторинга прогностичности теста, или иными словами – в случае возможности лонгитюдного исследования успешности рекомендованной профессиональной карьеры (хотя бы успешности профессиональной адаптации в рекомендованных вузах). Но в настоящее время решение этого вопроса вне выделения особого фонда (финансовых средств) для оплаты испытуемых (и их родителей), сотрудничающих с учеными, не представляется возможным. Однако, на этом фоне важным источником дополнительной информации о валидности теста для нас служила прослеженная в ряде случаев практика психологического тренинга «Внимания» и «Личностного роста» (см. соответствующую статью в данном сборника): после тренинга были зафиксированы повышения диагностического профиля именно по тем шкалам, на которые был направлен тренинг.

в) Достоверность. Достоверность – психометрическое свойство теста, обеспечивающее защиту его результатов от сознательных фальсификаций (лжи, неискренности испытуемых) или непреднамеренных мотивационных искажений.

Достоверность результатов методики «Профориентатор» обеспечивается самой процедурой проведения тестирования: в данном случае мы сталкиваемся с ситуацией клиента, самопознания, а не с ситуацией экспертизы. Опираясь на такую посылку, тест «Профориентатор», в отличие от теста «Профконсультант» для взрослых, решено было не перегружать шкалой социальной желательности. Кроме того, возможная недостоверность результатов (в случае неадекватной мотивации испытуемого) может быть скорректирована в процессе постдиагностической беседы между клиентом (и его родителями) и психологом, которая в обязательном порядке дополняет результаты компьютерного тестирования.

г) Репрезентативность. Репрезентативность – представленность свойств более широкого множества объектов в свойствах подмножества.

Репрезентативность методики «Профориентатор» обеспечивается на высоком уровне, поскольку выборка стандартизации насчитывает тысячи человек и по времени сбора данных и по характеру формирования фактически совпадает с выборкой испытуемых, на которых в дальнейшем этот тест используется.