bodalev

ты корреляции). Наиболее высокие по модулю значения корреляции должны быть получены в этом случае для пунктов, из которых состав-

лена сама шкала лжи (это подтверждает ее консистентность, диффе-

ренцирующую силу для данной выборки). Положительная значимая корреляция для г (ti., Хk+2) пункта из основной шкалы Сi О указывает на то, что данный пункт оказывается «прямым» по шкале социальной желательности; отрицательная значимая корреляция указывает на то,

что данный пункт является «обратным» по этой шкале.

При подготовке особенно значимого психодиагностического об-

следования, в котором надо принципиально исключить всякую воз-

можность преднамеренной фальсификации результатов, следует до-

полнить критерий оценки достоверности с помощью особой шкалы лжи еще одним критерием, основанным на использовании «фальсифици-

рующей инструкции», Для этого после обычной инструкции той же са-

мой пилотажной выборке психолог дает инструкцию: «А теперь снова выполните задание, но старайтесь описать себя так, чтобы выглядеть максимально благоприятно в глазах большинства других людей». В

результате применения такой инструкции психолог получает дополни-

тельную таблицу, аналогичную таблице на рис. 15, только содержа-

щую фальсифицированные данные. В таком случае кроме подсчета очень грубого индекса «желательности» по формуле (3.3.2) у психо-

лога возникает возможность поэлементного сравнения ответов испы-

туемых на один и тот же вопрос в обычной и фальсифицированной ди-

агностических ситуациях. Очевидно, что недостоверным следует счи-

тать вопрос, ответы на который будут изменены в фальсифицирован-

ной ситуации в определенном систематическом направлении. Здесь пригодится простейший критерий значимости изменений, основанный на распределении «хи-квадрат» (Рунион Р., 1982, с. 57-61). Для каж-

дого пункта строится четырехклеточная матрица сопряженности: «После»

Здесь в клеточке А указана частота сохранения ответа «верно» на некоторый /-и вопрос (из 76 ответивших «верно» таких оказалось

131

только 40 испытуемых), в клеточке В - частота изменения ответа

«верно» на ответ «неверно» и т. д. Как видим, смена инструкции при-

вела к значительным изменениям. Но для оценки значимого направле-

ния этих изменений автор критерия Макнимар предложил сравнивать между собой по критерию «хи-квадрат» только элементы В и С этой матрицы:

квадрат

2

с одной степенью свободы. Для нашего примера xe =2,91, что

2

ниже, чем граничное значение xгр =3,84, и, следовательно, нулевая

гипотеза об отсутствии значимых направленных изменений не может быть отвергнута - пункт не является значимо нагруженным артефакт-

ным фактором социальной желательности и может быть включен в ди-

агностический вариант теста-опросника без изменений.

По результатам такого исследования удобно составить табличку К 2: в первом столбце -показатели корреляции пунктов со шкалой лжи, во втором - показатели значимости изменений при переходе к фальсификации. Безусловно достоверными можно считать только те пункты, которые не получили значимых :коэффициентов ни в первом,

ни во втором столбце. Если таких пунктов оказывается слишком мало для составления надежной шкалы и если среди недостоверных пунк-

тов достаточно много таких, которые обладают существенной внут-

ренней (корреляция с суммарным баллом по основной шкале) или внешней (корреляция с критерием) валидностью, то следует прибег-

нуть к тактике балансирования: ввести в основную шкалу одинаковое количество «прямых» и «обратных» пунктов по шкале социальной же-

лательности так, чтобы все четыре квадранта на рис. 13 были запол-

нены пунктами равномерно (среди «прямых» по основной шкале было бы поровну «прямых» и «обратных» по желательности, и среди «об-

ратных» по основной - также поровну).

132

Без указанных предосторожностей тест-опросник неизбежно бу-

дет давать систематическое искажение результатов (в сторону по-

вышения или понижения баллов по основной шкале) всякий раз, когда испытуемый будет квалифицировать диагностическую ситуацию как ситуацию экспертизы.

Указанные проблемы и приемы обеспечения достоверности от-

носятся не только к тест-опросникам, но и к другим техникам стан-

дартизованного самоотчета, подверженным мотивационным искаже-

ниям. Существует теоретическая возможность преодолеть все эти про-

блемы. Но на практике это оборачивается огромной эмпирико-

методической работой.

Другой путь - управление процессами категоризации в ходе са-

мой диагностики. В так называемой «репертуарной модификации» тест-опросника испытуемому специально предлагают выполнять тест не только от своего имени, но и от имени определенного репертуара ролей: «большинство людей», «моральный человек», «преуспевающий человек» и т. п. (Шмелев А. Г. и др., 1984). Извлечение практических выгод из подобной модификации обусловлено возможностью компь-

ютерной обработки результатов либо сразу же после тестирования,

либо даже в ходе самого тестирования (см. раздел 3.6).

Порядок действий психолога при проверке валидности. Очень трудно выделить универсальный алгоритм работы психолога по про-

верке валидности, ибо существуют различные подходы к обеспечению валидности, обусловленные теоретико-методологическими различиями определенных психологических школ. Для прагматически ориентиро-

ванных тестологов (каковыми традиционно являлись до недавнего времени почти все англо-американские специалисты) главный момент

- поиск операционально строго заданного социально-прагматического критерия валидности, по отношению к которому диагностические тес-

ты и их составные части (пункты) подбираются как бы автоматически -

в ходе эмпирико-статистических процедур сбора и корреляционного анализа результатов. Но, конечно, неверно было бы приписывать это-

му подходу «бездумность в опоре на статистику»: ведь статистика только тогда позволяет выявить валидное подмножество пунктов, ко-

гда исходное множество подобрано не случайно - с использованием априорных корректных содержательно-психологических представле-

133

ний.

Современные методологи психологического тестирования факти-

чески единодушно приходят к признанию (как наиболее оптимальной)

рационально-эмпирической стратегии конструирования теста и про-

верки валидности. Перечислим этапы этой стратегии.

1. Теоретический анализ диагностического конструкта, разра-

ботка теоретической концепции тестируемого психического свойства.

Выявление (с использованием литературы) системы взаимосвязанных диагностических конструктов, внутри которой новый диагностический конструкт характеризуется определенными структурно-функциональ-

ными связями и отношениями. Прогнозирование результатов корре-

ляционных экспериментов по проверке конструктной валидности.

2.Выделение составных частей теоретического конструкта,

формулирование системы «эмпирических индикаторов» - операцио-

нально однозначных показателей, фиксирующих проявление конст-

рукта в различных поведенческих ситуациях. Конструирование пунк-

тов теста.

3.Формулирование релевантного социально-прагматического критерия для проверки валидности.

4.Планирование и проведение корреляционного исследования

(или квазиэксперимента) на специально подобранной выборке испы-

туемых, для которых известно значение критериального показателя, а

также результаты по родственным психологическим тестам. При необ-

ходимости на этих испытуемых проводятся дополнительные тесты с целью получить возможность корреляционной проверки конструктной валидности теста (экспертные оценки в данном случае рас-

сматриваются в статусе одной из возможных параллельных процедур получения критериальной или психологической информации). Оценка валидности эмпирических индикаторов.

5. Исследование достоверности результатов (если используется самоотчет и диагностическая ситуация может быть воспринята ис-

пытуемыми с настороженностью). Оценка достоверности эмпирических индикаторов.

6. Отсев пунктов, не удовлетворяющих критериям валидности и достоверности. Измерение надежности для сокращенной шкалы, со-

стоящей только из валидных пунктов. Если надежность оказывается

134

невысокой, то психолог снова возвращается к этапу 1 - уточняет тео-

ретические представления.

3.4. ТЕХНОЛОГИЯ СОЗДАНИЯ И АДАПТАЦИИ МЕТОДИК

Рассматривая в предыдущем разделе вопрос о порядке проверки валидности, мы вплотную подошли к вопросу о целостной стратегии создания, эмпирической апробации и внедрения методики в практику.

Создание оригинальной методики или адаптация зарубежной методики не могут сводиться только к проверке (или перепроверке)

отдельных психометрических свойств - репрезентативности, надежно-

сти, валидности, достоверности - в произвольной последовательности.

В одних случаях целесообразно начинать с одного этапа работы, в

других - с другого.

В действительности любая реальная ситуация использования те-

ста не является ситуацией только «конструирования» или только

«применения». Можно без преувеличения сказать, что существует континуум между крайними полюсами:

«конструирование» __________________ «применение»

и каждая ситуация до определенной ступени удалена от обоих полюсов. Трудно назвать такой случай, когда бы конструирование со-

вершенно нового теста начиналось с нуля, «на пустом месте». Также трудно найти и такие случаи, когда все аспекты тестирования были бы полностью неизменными и воспроизводили бы уже совершенно ис-

следованную нормативную ситуацию применения готового теста.

Но все это многообразие ситуаций, всю комбинаторику незави-

симых параметров психологи-практики, как правило, пытаются свести

кдвум-трем типовым ситуациям.

1.Ситуация применения. Тест кем-то разработан (возможно, В:

других социокультурных условиях), известны тестовые нормы, полу-

ченные на представителях данной языковой культуры (несоответствие выборки стандартизации и выборки применения по половозрастной структуре и профессионально-культурным признакам признается не-

существенным).

135

2. Ситуация адаптации. Тест кем-то разработан – проверены надежность и валидность, но отсутствуют тестовые нормы (как прави-

ло, отсутствуют вообще для любых представителей данной языковой культуры). Задача адаптации сводится, таким образом, к построению тестовых норм.

3. Ситуация конструирования. Есть концепция психического свойства, но нет процедуры его измерения, удовлетворяющей требо-

ваниям места, времени, возможностям количественного анализа и ог-

раничениям прочих ресурсов. Надо придумать измерительную проце-

дуру, проверить ее надежности валидность, построить тестовые нор-

мы.

Остановимся прежде всего на вопросах адаптации так называе-

мых переводных тестов. Путь быстрого пополнения репертуара ме-

тодик за счет множества готовых зарубежных методик кажется многим психологам наиболее экономичным, кратчайшим путем к надежной и валидной психодиагностике. Но ведь если при этом адаптация сводит-

ся только к построению нормативного распределения тестовых баллов,

то это означает, что валидность и надежность адаптированной методи-

ки в новых условиях принимаются на веру, а теоретическая концепция автора теста и содержание использованных им критериев валидности просто переносятся в наши условия без изменений (ведь для любой, в

том числе и для невалидной и ненадежной методики, можно получить распределение).

Подобный перенос дает пренебрежимые погрешности только для тестирования относительно элементарных психических свойств (таких,

как свойства нервной системы, функциональные состояния, сенсомо-

торные параметры, элементарные когнитивные функции, причем с ис-

пользованием объективных процедур (психофизиологическая регист-

рация, тесты с «физическими» критериями успеха и т. п.). При тести-

ровании интегральных психических свойств личности и индивидуаль-

ного сознания (черты, мотивы, установки, самооценка, общие способ-

ности, стиль общения, ценностные ориентации, интересы и т. п.), а

также при употреблении любых лингвистических средств в самой про-

цедуре тестирования (включая не только формулировки задач, вопро-

сов; но и исходную формулировку инструкции к тесту) и использова-

нии культурно-специфических критериев оценки правильности

136

.результата (определения шкального ключа) ограничиваться только сбором тестовых норм при адаптации - недопустимо!

Требуется серьезная эмпирическая работа по проверке надеж-

ности и валидности в новых социокультурных условиях, работа, фак-

тически соответствующая по своему объему созданию оригинальной методики. С этой точки зрения, заимствование зарубежных общедиаг-

ностических тестов способностей, черт характера, интересов и т. п.

вовсе не оказывается кратчайшим путем к психодиагностике. Этот путь кажется короче только тем, кто сознательно или по неведению пренебрегает принципами психометрики.

Перечислим необходимые этапы эмпирико-статиетической рабо-

ты при адаптации многомерного переводного тест-опросника.

1. Анализ внутренней валидности, внутренней согласованности пунктов, из которых состоит тест-опросник. Этот анализ совершенно необходим, если в зарубежной методике он применялся в качестве средства самого конструирования методики. Этот-анализ призван по-

казать, что существует некое (еще неясно, какое именно) общее диаг-

ностическое свойство, лежащее на пересечении всех эмпирических индикаторов (в центре «пучка» скоррелированных пунктов-векторов).

Такой анализ обязателен по отношению ко всем тестовым шкалам, по-

лученным с помощью факторного анализа, например к тест-

опросникам EPI Айзенка и 16PF Кеттелла. А вот к опроснику «локус контроля» или ко многим основным клиническим шкалам MMPI требо-

вание внутренней согласованности применять не обязательно, так как пункты в эти шкалы подбирались по внешнему критерию и не связаны в один «пучок». Анализ внутренней согласованности может быть при-

менен и к одномерным, и к многомерным тестам. В первом случае дос-

таточно иметь настольный калькулятор. Для многомерных тестов не-

обходимо использование специальной компьютерной программы «Ана-

лиз пунктов».

По отношению к негомогенным шкалам анализ внутренней со-

гласованности позволяет осуществить в снятом виде необходимую проверку информативности пунктов (процент правильных или под-

тверждающих ответов должен соответствовать оригинальной автор-

ской версии).

2. Проверка устойчивости к перетестированию. Эта проверка со-

137

вершенно необходима при диагностике свойств, по отношению к ко-

торым теоретически ожидается инвариантность во времени. Анализ ретестовой надежности может быть (так же как анализ надежности -

согласованности) совмещен с исследованием информативности от-

дельных пунктов теста, а также, возможно, и устойчивости отдельных пунктов. Без сведений о ретестовой надежности психолог не имеет права использовать тест для построения любого элементарного ста-

тического экстраполирующего прогноза (см. раздел 3.5).

3. Анализ корреляций с релевантным внешним критерием. Этот этап адаптации совершенно необходим, если тест разрабатывался из-

начально как критериально-ориентированный, т. е. отбор пунктов производился на основании их корреляций с каким-то критерием ва-

лидности. Например, подобная работа проделана коллективом Ф. Б.

Березина для сокращенной модифицированной версии MMPI (Березин Ф. Б. и др., 1976).

4. Проверка или ре стандартизация тестовых норм. Об этом эта-

пе уже говорилось выше. К сожалению, только этот этап работы по адаптации тестов до недавнего ывремени признавался всеми психоло-

гами как необходимый. Но и в этом случае далеко не всегда воспроиз-

водилась необходимая статистическая работа по проверке устойчи-

вости полученного распределения тестовых баллов к расщеплению выборки (см. раздел 3.1).

5. Специфичный этап для многомерных тестов - проверка вос-

производимости структуры отношений между шкалами. Например, для теста Айзенка принципиальна ортогональность, статистическая неза-

висимость факторов «экстраверсия - интроверсия» и «нейротизм -

стабильность». На воспроизводимости структуры связей шкал между факторами 16PF основывается корректность подсчета вторичных фак-

торов (Ямпольский Л. Г., 1981; Мельников В. М., Ямпольский Л. Г., 1985).

Даже беглый взгляд на пять перечисленных этапов позволяет убедиться в том, что адаптация зарубежных тестов мало чем уступает по объему эмпирико-статистической работы созданию оригинальных методик. Здесь было бы даже более адекватным использование не термина «адаптация», а выражения «исследование зарубежной мето-

дики на отечественной выборке».

138

Тем не менее не следует понимать сказанное как призыв к пол-

ному отказу от работы с зарубежными методиками. Нет, конечно же,

такая работа должна проводится интенсивно и планомерно. Особенно по отношению к тем методикам, которые уже получили международное распространение, доказали свою кросскультурную универсальность,

адаптированы и успешно применяются во многих странах. Создание отечественных эквивалентов международных тестов позволяет ис-

пользовать международный опыт валидизации, теоретического осмыс-

ления и практического использования этих тестов. Сравнение резуль-

татов, структурно-функциональных характеристик адаптированных зарубежных и отечественных тестов позволит российским психологам глубже понять, установить на конкретно-эмпирическом уровне специ-

фику влияния образа жизни на психологический склад личности рос-

сиян, раскрыть разнообразие исторических и актуальных детерминант,

обусловливающих социально полезные и социально вредные тенден-

ции в психологической дифференциации индивидов в современных условиях, что совершенно необходимо для научного управления про-

цессами воспитания и формирования человека.

Особые задачи ставит перед психологом ситуация «внутрикуль-

турного переноса» теста на новую популяцию, отличающуюся от вы-

борки стандартизации половозрастными или профессионально-куль-

турными особенностями. В этом случае необходимо:

1. Проверить валидность методики в тмо случае, если методика чувствительна по своему содержанию к профессиональной или регио-

нальной специфике (могут ли отвечать пенсионеры, или школьники,

или жители отдаленных регионов на вопросы, подразумевающие ти-

пичные ситуации из жизни студента, обучающегося в крупном городе европейской части России?). Для этого надо выбрать по возможности максимально экономичную процедуру проверки валидности. Размеры выборки в эксперименте по проверке валидности должны быть такими,

чтобы можно было надеяться на получение статистических значимых связей между тестовым показателем и критерием валидности (это, как правило, не менее 30 испытуемых).

Если результаты проверки валидности оказываются неудовле-

творительными (коэффициент корреляции явно ниже 0,5, и дальней-

шее наращивание выборки все равно не оправдает применение .теста

139

со столь низким показателем валидности), то по собранным результа-

там следует произвести простейший анализ пунктов: посмотреть, не оказались ли некоторые пункты явно неинформативными (все испы-

туемые отвечают одинаково), не оказались ли некоторые вопросы яв-

но бессмысленными или слишком «прямыми», социально значимыми в данной ситуации. Не исключено, что при исключении неудачных пун-

ктов из подсчета тестового балла (после приравнивания С=0).,искомая валидность будет обнаружена.

В отсутствие доступного внешнего критерия необходимо прибег-

нуть к проверке внутренней валидности, консистентности методики. 2. Проверить соответствия тестовых норм. Только после получе-

ния позитивного результата при проверке валидности целесообразно расширять выборку и реконструировать эмпирическое распределение тестовых баллов (см. раздел 3.1). Квантили этого распределения не-

обходимо сравнить с квантилями нормативного распределения; если расхождения оказываются пренебрежимыми (не превышают ошибку измерения), то, можно принять вывод о приложимости к данной попу-

ляции универсальных тестовых норм. Но на к практике чаще возника-

ют значимые отличия (оценка близости двух распределений произво-

дится по формуле (3.1.15) на с. 9.6). В этом случае психолог должен построить так называемые частные тестовые нормы, причем не только для использования в собственной диагностической практике, но и для пополнения информационно-методического банка данных отечествен-

ной психодиагностики (копию таблицы распределения тестовых бал-

лов психолог должен послать в тот диагностический методический центр, с которым он поддерживает методические связи - получает ме-

тодические материалы, проходит переподготовку и т. п.).

Подчеркнем, что абсолютное большинство ситуаций, которые обычно расцениваются как ситуации «применения», на самом деле яв-

ляются ситуациями более или менее серьезного «внутрикультурного переноса». Именно эти обстоятельства предопределяют высокий уро-

вень требований к психометрической подготовке психологов-

психодиагностов (см. раздел 3.6).

При создании методики, как это уже было сказано в предыду-

щем разделе, решающее значение имеют методологическая ориента-

ция и статус психолога.

140