8.4. Критика: сопоставление тестов с содержанием психических процессов в реальном контексте

Тесты и опросники направлены на измерение «продуктов», а не процессов. Это мнение о тестах интеллекта послужило Пиаже поводом для отказа от предложения адаптировать шкалу Бине-Симона для Швейцарии. С того времени это критическое замечание повторяется в той или иной форме. Сегодня можно видеть два варианта этой линии критики и два типа ответов на нее.

326

327

1. В ответ на упрек в пренебрежении процессами их пытаются исследовать в рамках эмпирически-аналитической методологии. Примером может служить исследование информационных процессов. Некоторые их примеры приводились в четвертой главе.

2. Другая критическая точка зрения отвергает эмпирически-аналитический подход, считая его невалидным для получения информации о реальных процессах. С таких позиций высказывает критику Инглби (1994). Он отвергает претензии на объективность информации о человеке, если она получена с помощью тестовых показателей. Человек рассматривается как существо, неразрывно связанное с окружающей средой. Инглби называет тестовые показатели «обманчивыми и ограниченными, поскольку не существует объективного или независящего от от теоретических положений наблюдения и каждый индивид "впаян" в социальный контекст» (стр. 117). Психология тестов основывается на «вере» и существует как «наука» в силу того, что «имеет общественный статус и власть». Эти замечания носят преувеличенный характер и рассматривают работу диагноста как бессодержательную. Положение сводится к тому (на языке теории тестов," не приемлемой для Инглби), что существует столько достоверных показателей индивида, сколько существует контекстов, в которых ему случается проявлять себя" Неправильно искать у индивида один истинный показатель, который может быть оценен количественно.

Диагност не согласится с такой точкой зрения. В достижениях и характеристиках индивида существует некоторая стабильность, а назначение применения тестов — не в получении власти. Назначение теста — в сборе информации, которая может помочь в принятии решения. Индивид не рассматривается как некая монолитная констелляция. Он также не рассматривается обособленно от ситуации и контекста, но вместе с тем не следует думать, что индивид целиком и полностью зависит от контекста. Исследование должно обретать удвоенную силу благодаря знаниям индивидуальных характеристик в зависимости от контекста и вне его.

Инглби высказал три фундаментальных положения, заставляющих сомневаться в результатах теста. Во-первых, результаты отражают субъективное мнение испытуемого о

ситуации тестирования. Если представление испытуемого отличается от замысла тестирующего, результат может быть невалидным. В таком случае тестирующий будет стараться прояснить испытуемому цель тестирования. Вдобавок, если это случается с тестом или батареей тестов регулярно, данная процедура будет приводить к невалидным результатам, в том числе отсутствию прогностической и конструктной валидности. Психолог, занимающийся тестами, признает, что число как продукт теста является результатом многих процессов, некоторые из которых ему известны, а многие нет. Более того, он умышленно заключает некоторые факторы в скобки. Избежать этой процедуры ученый, ограниченный рамками существования «здесь» и «теперь» (кантовские синтетические априорные суждения) , не может. Вопрос в том, как далеко заходит это ограничение, насколько значима такая редукция, поскольку важно не потерять целое. В-третьих, поведение — это те или иные проявления индивида в естественной ситуации. Число баллов не может служить показателем «внутренней» способности индивида, что не будет отрицать ни один диагност.

Приведенные выше аргументы подчеркивают чувствительность показателей теста к влиянию различных факторов. Стандартизация теста означает, что среда берется как более или менее одинаковая для всех индивидов. Различия, выявленные в условиях стандартизации, рассматривались как выражение реальных индивидуальных различий. Итак, влияние условий не отрицается, но оно вынесено за скобки. Можно, конечно, попытаться сделать темой эмпирического изучения контекст и его различия. Но и при таком типе изучения тесты необходимы для демонстрации влияния контекста.

Если есть заинтересованность в изучении воздействия контекста на поведение, следует разрабатывать процедуры, которые расширяют возможности выявления влияний контекста. Ингбли утверждает, что эти процедуры в то же время более адекватно покажут психологические процессы. Процедуры характеризуются изучением с помощью наблюдения экологической ниши индивида — плотным наблюдением и отсутствием спешки в теоретическом обосновании.

328

329

Это напоминает старое изречение представителей феноменологии: «То, что являет себя так, как оно являет, само позволяет себя являть». Качественный подход должен быть разработан для некоторых вопросов и проблем точно так же, как совершенствовались тесты. Какова структура процедуры, как должны быть описаны результаты?

Однако вероятность того, что такие новые и в то же время старые процедуры превзойдут классические стандартные тесты и опросники, не велика. Тесты и опросники, хотя и ограничены, но представляют собой достаточно эффективные средства получения информации о характерных качествах индивида. Два подхода к достижению качественного содержания -ориентированный на исследование и на применение тестов — не противоречат друг другу. Качественный подход выступает дополнением классических методов.

Выделение специфического контекста как существенного для психодиагностики параметра, возможно, составит в ней новое направление. Некоторые авторы убеждены, что психодиагностика должна охватывать также анализ ближайшего окружения. Конкретная проблема клиента и должна определять диагностическую деятельность. Теории же в силу своей сжатости могут иногда «не замечать» сложности проблемы.

Это направление обещает более полно учитывать все стороны проблемы. Реальный мир не будет выноситься за скобки, а будет включен в диагностический процесс. У представителей этого направления обширные замыслы, но они остаются довольно абстрактными. Примером этого подхода является критика классического тестирования студентов. Виггинс (1993) отвергает все направления тестирования способностей в учебных заведениях, потому что наиболее интересные стороны этих способностей учащихся не могут быть стандартизованы. Реальное знание — это знание не фактов, а того, как их осмыслили студенты. Виггинс считает, что мы имеем те тесты, которых заслуживаем, но это не освобождает учителей от обязанности считать процесс обучения центральным в их деятельности. Тесты всегда представляют собой некоторый компромисс: они упрощены и вынесены за рамки жизненного контекста, потому что должны быть объективными и простыми в под-

счете. Измерение определяется однократным срезом, в то время как общей практикой должна стать лонгитюдная оценка. Многие пользователи тестов склонны к позициии «фатализма», согласно Виггинсу (стр.5), поскольку результаты выглядят стабильными и неизменными. Оценка должна служить только одной цели — совершенствованию достижений учащихся. Взаимооотношения между оценивающим и учеником имеют нравственный аспект и, следовательно, требуют уважения друг к другу. Это взаимодействие характеризуется своевременностью, точностью и значимостью «обратной связи», широкими возможностями обучения в благоприятном окружении тактичными учителями. Виггинс завершает изложение своих взглядов предложением «Манифеста» о правах студентов, называя его «Биллем о правах» (стр. 28). Пламенные аргументы во имя усовершенствования чего бы то ни было в этом мире часто заканчиваются такого рода предложениями. Моисею понадобилось всего десять заповедей (указаний, как действовать и думать), что лишь на три больше магического числа «семь», характеризующего нашу память. Лютер усложнил дело его последователей, пригвоздив более чем сто положений к двери дворцового монастыря в Виттенбурге. У Виггинса «Права студента» излагают требования минимального утаивания содержания тестов, большего изучения реальных проблем, раскрытия критериев, на основе которых делается вывод, реальной «обратной связи», атмосферы обсуждения и открытости, а также использования таких тестов, в которых студенты могли бы обосновывать свои ответы.

Выступления, подобные декларации Виггинса (1993), вдохновляют. Они помогают сохранить критичность по отношению к смыслу и назначению тестов, оправдывают определенное нежелание применять известные теории и тесты, т.к. выступают против любого рода предрешенности. Они требуют перенести центр тяжести с учительской и диагностической деятельности на диалог с учащимся (клиентом).

В этом разделе показано, что тесты как способ получения знаний о психических процессах подвергаются критике. При существующем нежелании использовать теории, навя-

330

331

зывающие поведенческому феномену свою структуру, качественное исследование того контекста, в котором возникает явление, выдвигается как альтернативное. Альтернатива привлекательная, но она не привела пока к многочисленным исследованиям. Тест и качественный анализ могут дополнять друг друга.

8.5. Другие возражения против тестов

Тесты спорны. Поэтому возможно, что диагносту придется появляться в суде, ведь он пользуется для описания человека такими ярлыками-определениями, как например, «легкая умственная отсталость», основанная на показателях коэффициента интеллекта в тестах. Школьные тесты способностей к обучению используются для зачисления в школу. Если у определенных групп оценка ниже, они не имеют равных с другими прав при поступлении в школу. Для разрешения проблемы используется квота. Важность квоты не всегда понимается, особенно группами с относительно высокими показателями. Тестовые показатели иногда обнаруживают различия, которые существуют между группами в обществе. Эти индикаторы подчас подвергаются нападкам. Итак, определенные тесты могут быть запрещены. Таким образом, возражения направлены против ярлыков и стереотипов, к которым приводят тесты, и против предпочтительного положения определенных этнических групп. Тесты дают несовершенную, хотя и валидную картину индивидуальных различий, но не выявляют их причины. Эти оправдания не всегда принимаются, потому что возникает впечатление, что тесты сами создают различия или, по крайней мере, так сконструированы, что легко приводят к различиям между этническими группами.

Второе возражение: диагносты могут сообщить информацию о клиенте другим лицам. Данные тестирования так или иначе носят частный характер и принадлежат клиенту. Тестирование может быть проведено на основании договоренности, что информация, которая дается третьему лицу, ограждается тем, что последнее слово для разрешения в ознакомлении остается за клиентом. Отказ в разрешении не должен иметь пагубные последствия.

Третье возражение связано с тем, что тесты несправедливы по отношению к определенным группам, например, женщинам. Эта несправедливость может быть связана и с содержанием заданий. В тестах многие задания отобраны так, что они более соответствуют особенностям мужчин, а не женщин. Это, конечно, несправедливо. Различия выступают не как следствие индивидуальных возможностей, например, в технических навыках, а вызываются типом заданий. Необходимо исследование, чтобы определить, не задания ли обусловливают различия, и, если это так, их следует заменить. Несправедливость может также быть связана с различиями в линиях регрессии групп. Эти различия называют дифференциальным прогнозом. Конкретно он означает, что при отсечении некоторого показателя члены одной группы получают более высокий результат по тесту, чем члены других групп, в то время как их достижения по критерию находятся на том же уровне. Различительный прогноз сначала должен быть показан. Имеет ли место этот феномен? Во-вторых, существуют выходы из этой ситуации, например, путем создания регрессионных линий для отдельных групп.

Этические правила профессиональных организаций включают процедуры, позволяющие на практике предотвратить необъективность. Некоторые правила, например, сводятся к тому, чтобы не злоупотреблять превосходством или позицией более информированного человека, избегать дискриминации, хранить тайну, не допускать к документации людей, не имеющих на то прав, предотвращать взаимоотношения, которые способны разрушить профессиональные отношения диагноста и клиента, пробудить у клиента нереалистические ожидания, всегда гарантировать клиенту право прекратить отношения или внести в них изменения, если на то появились причины.

Жалоба на необъективное тестирование подлежит обязательному рассмотрению. Иногда разрешить конфликт помогают существующие этические правила, иногда необходимо эмпирическое исследование, чтобы подтвердить существующий дифференциальный прогноз.

В этом разделе показано, что против тестов и их использования имеются возражения. Для предотвращения зло-

332

333

употреблений требуются этические правила. Вдобавок для исследования искажений, вносимых самой реальной действительностью, иногда необходимо их эмпирическое изучение.

8.6. Неправильное применение тестов

Тесты используются во многих странах мира. Их множество. В Нидерландах, например, существует документация о тестах и их использовании, которая содержит описание и обсуждение 376 тестов. Тесты не подлежат использованию, если они не применялись более восьми лет. В США публикуется «Ежегодник измерения умственных способностей». Не все тесты используются одинаково часто. Общие тесты интеллекта (WA1S, WISC), Тест дифференциальных способностей (DAT), Общая батарея способностей (GAT-B) и Школьный тест достижений (SAT) чаще других применяются для измерения предельных возможностей. Личностные опросники (MMPI, JPI) — самые используемые тесты для диагностики в диапазоне обычного функционирования. Продолжают применяться проективные методики. Частота их использования не уменьшается, несмотря на критику. В Нидерландах постоянно печатаются обсуждения тестов, но все это лишь в незначительной степени влияет на применение тестов (Evers & Zaal, 1979, 1982).

Мореланд, Айд, Робертсон, Примоффи Мост (1995) объединили тесты в кластеры. Они различают следующие типы тестов: образовательные тесты, тесты способностей и предпочтений, тесты определения трудностей в обучении: ней-ропсихологичесиё тесты, индивидуальные тесты интеллекта, тесты готовности, объективные личностные тесты и проективные методики. С помощью метода критических совпадений они попытались выяснить, какие факторы влияли на ошибки в интерпретации и использовании тестов. Недостатки были эмпирически упорядочены с помощью факторного анализа. Всесторонняя оценка (10%) предполагает специфические умения представлять данные клинических наблюдений должным образом, умение видеть при применении теста возникающие гипотезы, прослеживать психосоциальную историю развития пациента с учетом возрастных норм. Должное применение теста (8%)

включает специальные умения: удержаться от помощи в достижении хорошей оценки тем людям, которым благоволишь, согласиться с обязательствами во имя компетентного применения тестов, пройти через соответствующую тренировку для качественного контроля, превосходящего действия всех пользователей тестов и их результатов. Психометрическое знание (6%) связано с рассмотрением стандартной погрешности измерения и ошибок в тестовых подсчетах. Достижение целостности результатов теста (6%) предполагает специфическую компетентность: проницательность при определении некачественных эквивалентов и процентильных рангов, позволяющих дать определенную оценку отдельным ситуациям, в отсечении сомнительных показателей благодаря пренебрегаемой стандартной погрешности измерения. Точность счета — следующий фактор (4%), который говорит сам за себя; аккуратность в подсчете, избегание ошибок и усиленная проверка. Очевидным является и применение норм соответствующим образом (4%). И, наконец, была выделена обратная связь (4%), что означает готовность дать интерпретацию результатов и рекомендации в ситуации консультирования.

Вдобавок имеется двенадцать минимально необходимых условий должного обращения с тестами: аккуратность в подсчете и протоколировании (пользователь тестов помимо всего еще и клерк), недопустимость ярлыков и других унизительных определений, сохранность тестовых материалов и ключей к ним, тестирование в благоприятных условиях, умение удержаться от предварительной подготовки отдельных лиц к тестовым заданиям, несообщение пользователям тестов большего, чем позволяет руководство.

Существуют попытки поделить тесты на группы, которыми могут пользоваться люди с разным уровнем подготовки. В Нидерландах индивидуальные тесты — сфера компетенции квалифицированных психологов. Профессиональными тестами и тестами интеллекта могут пользоваться профессиональные консультанты. Тест достижений в учебе может применяться учителями.

В этом разделе качество тестов рассматривалось с позиции применения тестов. Неудачи в применении тестов и интерпретаций результатов также влияют на качество ди-

334

335

агностики. Надлежащее обучение для достижения знаний и мастерства — необходимый элемент обеспечения качества.

ТРИНАДЦАТЬ ИТОГОВЫХ ТЕЗИСОВ

1. Качество диагностики зависит от качества используемых тестов и опросников, оно также определяется качеством тестов и теоретических представлений о соответствующем психологическом конструкте. Современная теория тестов применяется еще достаточно редко, чтобы влиять на качество диагностики. Важно, что в основу теоретических моделей современных тестов заложены определенные требования к качеству тестов. Недостаточно заниматься только критикой тестов. Преодоление такой тенденции — задача для следующей редакции «Стандартов».

2. Тесты критикуют столько, сколько они существуют. Критика направлена на недостаточность получаемой информации о психологических процессах и на недостаточную объективность тестов в применении к разным группам общества.

3. Вывод о качестве тестов основан на оценке теоретических оснований психологических концепций, качестве материалов и руководства, нормах, надежности и валидности.

4. Тесты могут оцениваться по пяти категориям (см. тезис 3). Результат, который отстаивают авторы Голландской редакции WISC-R,— достаточная надежность этой версии теста, но недостаточная валидность.

5. Отказ авторов голландской версии WISC-R от указания профиля по показателям субтестов на первой же странице регистрационного листа правилен, т.к. интерпретация «сильных» и «слабых» сторон интеллекта не всегда подтверждается.

6. Каких-либо эмпирически устанавливаемых рамок для величины коэффициентов надежности и валидности практически не существует. Работа Наннелли и Бернштейна (1994) — исключение.

7. Коэффициент валидности считается достаточным, если он превышает величину погрешностей. Однако лучше, если он будет отвечать требованию уровней значимости.

8. Оценка качества диагностики носит предварительный характер.

9. Тесты могут рассматриваться как элемент эмпирико-аналитического подхода в психологии. Критика этого подхода подразумевает и критику тестов. В качестве альтернативного эмпирико-аналитическому направлению предлагается непредвзятый, свободный от связи с какой-либо теорией подход. Этот подход вызывает в памяти старое изречение представителей феноменологии: «То, что являет себя так, как оно являет, само позволяет себя являть». Критика достигает цели, если она подкрепляется эмпирическими исследованиями.

10. Не разработаны тесты для анализа различного рода влияний со стороны контекста. Стандартизация означает, что устанавливается относительно стабильный фиксированный контекст или же он выносится за скобки.

11. Классические тесты не отойдут в прошлое только под влиянием критики социальных конструктивистов и контек-стуалистов. Упреки последних в том, что тесты редуцируют действительное положение, справедливы. Однако при этом не следует забывать, что наука не может обойтись без некоторой редукции, по крайней мере, там, где это касается людей.

12. Тесты могут приводить к искаженным результатам как по причине неудачного содержания тестовых заданий, так и в связи с дифференциальным прогнозом. Необходимо эмпирическое исследование причин недостаточной объективности, пристрастности тестов.

13. Диагностику можно свести к своего рода «бухгалтерии души». Но точно так же можно увидеть связь диагностики с центральными психологическими проблемами и вопросами человеческого поведения. Если эта книга не убедила в последнем, она не достигла своей цели.

336

337