2. Понятие теста и его основные характеристики

В литературе определений понятия психологического теста очень много. Приведём здесь некоторые, сразу предупредив, что ни одно из них в отдельности сущность метода полностью не раскрывает. Кстати, попробуйте самостоятельно определить, что именно они оставляют непонятным.

А. Анастази: «Объективное и стандартизованное измерение образцов (проб) поведения».

П. Клайн: «Стандартизованное, часто ограниченное во времени испытание, предназначенное для установления количественных и качественных индивидуально психологических различий».

В. Гайда и В. Захаров: «специфический инструмент для оценивания психологических качеств личности. Он состоит из совокупности заданий или вопросов, предлагаемых в стандартных условиях и предназначенных для выявления частичных типов поведения».

Кстати, в этом пособии как синоним слова «тест» употребляется жаргонное для психологов слово «методика».

Обобщая вышеприведённые определения, можно подчеркнуть, что тест – один из многих методов измерения психического, который отличается наибольшей объективностью. Давайте попробуем разобраться, как субъективное – психическое – можно измерять объективно.

Объективность психологического теста означает, что результат не зависит от поведения и субъективных суждений исследователя. Здесь будет удобным сравнение со свободным опросом, например, знакомых о каком-то событии. В этом случае имеем сразу два источника субъективности: знакомые будут излагать Вам свою интерпретацию события, а Вы сами в их тексте будете выделять то, что именно Вам интересно. Вспомните игру в «Испорченный телефон». Причём все будут искажать информацию по-разному.

Довольно очевидным способом снижения искажений в процессе использования будет их унификация. То есть, искажать не кто во что горазд, а общим для всех способом. Этот способ придумывает разработчик теста: задаются не какие попало вопросы, а вполне определённые, значения ответов тоже определяются заранее. Всё это называется стандартизацией, то есть разработка, процедура проведения, обработка результатов и даже интерпретация теста осуществляется согласно определенным стандартным правилам. Стандартизация как процесс состоит из следующих этапов.

На первом определяется единообразная процедура тестирования, а именно:

1) Условия тестирования, внешние (помещение, освещение и др.) и внутренние (состояние испытуемого). Например, усталый испытуемый даст искажённые результаты. А если он ещё заполняет тест в трамвае… Кстати, в принципе можно и трамвай сделать стандартным условием, но обычно условия попроще.

2) Содержание инструкции и особенности ее предъявления (тон голоса, паузы, скорость речи и т.д.). Читать её каждый исследователь будет по-разному, поэтому в большинстве тестов инструкции письменные.

3) Стандартный стимульный материал. Например, пятна Роршаха или карточки Люшера должны быть вполне определённого цвета, размера и формы, иначе это уже какой-то другой тест. Удивительно, но, оказывается даже шрифт в опроснике влияет на ответы.

4) Временные ограничения. Они определяются для личностных тестов примерно, а для тестов интеллекта очень точно.

5) Влияние поведения диагноста. В идеале оно нейтрально-доброжелательное.

На втором этапе определяется единообразная оценка выполнения теста: обработка по ключу, сопоставление с нормой, стандартная интерпретация.

На третьем этапе создаются нормы – опять же, стандартная процедура, позволяющая оценить показатели конкретного испытуемого. Для этого их нужно соотнести с большинством людей. Всех людей (популяцию) разработчики теста, конечно не изучают. Ограничиваются репрезентативной выборкой стандартизации, позволяющей достаточно достоверно представить себе показатели всей популяции. Причём нормы разрабатываются для каждой из категорий испытуемых, отличающихся друг от друга по существенным для измеряемого свойства признакам. Например, один и тот же показатель в тесте интеллекта, очевидно, будет означать разное для 14-го и 25-летнего испытуемых. Процедуру создания норм мы подробнее рассмотрим в главе, посвящённой разработке тестов. После её изучения будет понятно, что в психодиагностике непосредственно измеряются не собственно психические явления, а определённые объективные проявления, с ними связанные. И объективность тестов обеспечивается взаимодействием разработчика с реальностью.

Сравнивая тестирование с другим объективным методом познания – экспериментом – В.Е. Орёл и И.Г. Сенин подчёркивают следующие его особенности:

- эксперимент индуктивен, то есть направлен на познание более общих закономерностей, чем экспериментальный факт. Тесты же дедуктивны: общие закономерности в них используются для познания единичного;

- тесты имеют непосредственную практическую направленность;

- условия эксперимента варьируют в зависимости от задач, тест же неизменен (стандартизирован). Можно ещё сказать, что эксперимент – мероприятие одноразовое, в отличие от тестов;

- и, наконец, тесты намного дешевле эксперимента.

Классификация, как и сравнение, является одним из способов прояснения содержания. Рассмотрим поэтому несколько из многих классификаций тестов.

Й. Шванцара предлагает несколько оснований для классификации:

- по используемому стимульному материалу: вербальные, невербальные, манипуляционные, тесты типа «карандаша – бумага», компьютерные и т.д.;

- по количеству получаемых показателей: простые и комплексные. Если речь идёт об опросниках, им соответствуют одношкальные и многошкальные;

- по вариативности ответов: тесты с «правильным» решением заданий (остальное «неправильно»), и с возможностью различных ответов;

- по направленности психической активности испытуемых: интроспективные, когда испытуемый специально сообщает информацию о личном опыте, отношениях и т.п., и экстроспективные (наблюдение и оценка разнообразных проявлений);

В.К. Гайда и В.П. Захаров делят тесты по таким основаниям:

- степени стандартизированности (на практике не во всех тестах стандартизировано всё, что мы выше рассмотрели);

- по назначению, на общедиагностические, тесты профессиональной пригодности, тесты специальных способностей и тесты достижений;

- по материалу, которым оперирует испытуемый: бланковые, предметные и аппаратурные; (устройства для изучения особенностей внимания и т.д.);

- по количеству обследуемых на индивидуальные и групповые;

- по способу ответа на устные и письменные;

- по степени однородности заданий: гомогенные (в принципе одинаковые) и гетерогенные (задания разнообразны и применяются для оценки разных характеристик);

- по комплексности: изолированные тесты и тестовые батареи;

- по характеру ответов на задачи: тесты с предписанными ответами (закрытые) и тесты со свободными ответами (открытые).

А.А. Бодалев и В.В. Столин, авторы настоятельно рекомендуемого пособия «Общая психодиагностика», предлагают всего два, зато сложных основания:

1) методический принцип, который положен в основу. По этому основанию тесты делятся на объективные тесты с «правильным ответом» (например, тесты интеллекта), анкеты, опросники, шкальные техники, субъективная классификация, идеографические (например, ТРР), проективные.

2) мера вовлеченности в диагностическую процедуру психодиагноста и, соответственно, степень его влияния на результат психодиагностики. Минимально это влияние в объективных тестах, а максимальна в диалогические (беседы, интервью, диагностические игры). Для контроля своего влияния на результаты в диалогических техниках, психодиагносту требуется очень высокий профессионализм. В объективных тестах достаточно соблюдать инструкции.

Если Вы немного запутались в этих классификациях, предлагаем обобщающую, и, на наш взгляд, чёткую классификацию Л.Ф. Бурлачука и С.А. Морозова. Они выделяют не основания для деления, а, более широко – подходы к диагностике.

Объективный подход предполагает измерение результативности и/или способа выполнения деятельности.

Субъективный основан на рефлексии испытуемым своих психических содержаний в предлагаемых тестом и обычно воображаемых ситуациях.

В проективном подходе испытуемый взаимодействует с реальным и безличным материалом, который служит объектом для проекций. Отсюда и название.

Классификаций можно приводить ещё много, можно создать их самим. Вышеприведённые были нужны для того, чтобы углубить первоначальное представление о тестах: основания классификаций являются одновременно качественными характеристиками (параметрами) тестов.

И существуют ещё параметры, определённому уровню которых должны соответствовать все используемые на практике тесты. Они же – требования к тестам. Н.И. Козлова формулирует их так.

1. Должна использоваться психометрическая шкала не ниже интервальной.

2. Высокая надёжность измерения – контролируемость всех искажающих факторов (в эксперименте это называется внешними переменными).

3. Высокий уровень валидности – соответствия между тем, что тест измеряет тому, для чего его разрабатывали.

4. Дискриминативность каждого задания и теста в целом – способность разделять испытуемых на классы.

5. Наличие критериев для оценки результатов. Обычно для этого используют нормы.

Первого и последнего требования мы уже касались, рассмотрим подробнее остальные.

Из курса экспериментальной психологии уже известно понятие валидности реального эксперимента – степени соответствия его результатов по сравнению с результатами безупречного эксперимента (по Р. Готтсданкеру). Но значение этого термина в психодиагностике несколько иное, как и у разновидностей валидности теста с вроде бы теми же названиями, что и у разновидности валидности эксперимента. Предлагаем читателям самостоятельно выделить эти отличия и сходство, которое тоже есть.

Итак, предназначение теста определяет его содержание. И это содержание должно соответствовать тому, что измеряется. Например, если мы хотим узнать о том, как человек себя чувствует, его биография будет неподходящим содержанием. Конечно, какое-то отношение личная история к настоящему моменту имеет, но очень уж отдалённое. В терминах психодиагностики, валидность биографии для изучения самочувствия будет низка. И совсем нулевой валидностью будут обладать часы для измерения температуры. Здесь есть важный момент, на который специально указывают В.Е. Орёл и И.Г. Сенин: «валидности вообще» не бывает, всегда надо определять её по отношению к конкретной цели. Так что понятие валидности относится не столько к тесту, сколько к ситуации его применения. Но, учитывая, что цель автор теста должен определять явным образом, мы всё же будем употреблять понятие «валидности теста».

Существует много разных классификаций видов валидности. Мы рассмотрим только одну из них, предложенную В.Е. Орлом и И.Г. Сениным, зато довольно подробно. Довольно наглядное представление о сущности видов валидности дают способы их проверки, поэтому рассмотрим их здесь же.

Одной из трёх наиболее важных разновидностей считается критериальная валидность, её также называют валидностью по критерию. Дело в том, что никакое измерение не является охватывающим все проявления феномена. Проще говоря, критериальная валидность проявляется при сопоставлении того, что измерено тестом и других, «внетестовых» проявлений психического свойства или состояния. Немного «натянутый», но, надеемся, понятный для студентов пример: Ваши знания сопоставляется на экзамене со знаниями преподавателя. В этой метафоре ответ студента соответствует содержанию теста, а его оценка преподавателем является тем самым «внетестовым» критерием. Строго говоря, со знаниями преподавателя сопоставляется не то, что студент знает, а то, что он сказал. И многим, наверное, знакомо неприятное чувство, будто Вы знали билет, но не смогли объяснить преподавателю так, чтобы он понял. Ваше субъективное представление о своих знаниях может совпасть с оценкой преподавателя (высокая валидность), или не совпасть (низкая критериальная валидность). Другой, более объективный, критерий знания – способность успешно решать задачи с его применением. Как указывал С.Л. Рубинштейн, она не всегда совпадает и с субъективным представлением студента, и с оценкой преподавателя.

Проверяют критериальную валидность теста обычно с помощью коэффициента корреляции между тестовой оценкой и внешним критерием. Если он достоверный и положительный, тест считается валидным. Задача выбора подходящего внешнего критерия очень сложна. К сожалению, невозможно дать исчерпывающие инструкции к её решению вместо этого мы предлагаем глубже разобрать понятие критериальной валидности через её разновидности – текущую и прогностическую.

Текущая (другие названия – совпадающая, конкурентная) – это валидность на момент исследования, которую можно проверить сразу, «не отходя от кассы». Например, можно сопоставить тестовую оценку с результатом соответствующей деятельности. Или с оценкой экспертов, что и делается на экзаменах.

Если тест претендует на измерение достаточно устойчивых во времени или развивающихся свойств, то он должен обладать и достаточной прогностической валидностью – соответствием тестовой оценки и прогноза на её основе внешнему критерию в будущем. Например, в одном из американских исследований была установлена достоверная связь между уровнем интеллекта выпускников университета и их заработком через десять лет. Заработок сразу после окончания университета был у всех примерно одинаковым, и на тот момент не связанным с уровнем интеллекта – тот-то не был одинаковым у всех. Видимо, одно из базовых предположений-прогнозов авторов, было: «Высокий интеллект позволяет занимать более высокооплачиваемые должности». И, в таком понимании интеллекта в американских условиях, прогностическая валидность была подтверждена. Рискнём предположить, что в Украине размер заработка связан с несколько другими индивидуально-психологическими особенностями.

Дж. Тиффин и Э. МакКормик выделяют 4 класса возможных критериев валидизации:

1. Поведенческие, например, производительность труда, совершение или несовершение определённых поступков и т.п. Авторы отдельно выделяют несчастные случаи, но их классификация предназначена для индустриальных психологов. В общем же виде мы можем их отнести к поведенческим.

2. Субъективные – установки, мнения, суждения. Получается каламбур, но есть возможность объективизировать их с помощью, например, грамотно организованной экспертной оценки.

3. Физиологические показатели – частота сердечных сокращений, кровяное давление и т.п.

Разумеется, выбирать подходящий показатель для проверки критериальной валидности всё равно приходится исходя из конкретной ситуации. И учитывать при этом, что он должен быть релевантным (подходящим к цели тестирования), «незагрязнённым» влиянием побочных переменных и разницы в условиях, и надёжным (в данном случае – стабильным во времени).

Если всё-таки попытаться дать «универсальную» рекомендацию по выбору подходящего способа проверки критериальной валидности, то она будет заключаться в тщательном теоретическом анализе измерительного конструкта теста. Например, связь между агрессивностью и сердечно-сосудистыми заболеваниями неочевидна. Тем не менее состояние сердечно-сосудистой системы может быть внешним критерием для агрессивности людей среднего и старшего возраста – это обосновано в психосоматических теориях. Если используемое определение агрессии с ними согласуется, таким критерием можно пользоваться.

Второй из основных видов валидности – конструктная – похож на валидность экспериментальной переменной по отношению к явлению. Напомним, что она показывает, насколько адекватно переменная его отражает. Например, количество произнесённых матов в единицу времени отражает не столько агрессивность, сколько уровень культуры или принятое в социальной среде поведение. И если мы так попробуем измерять агрессивность, то попадём впросак.

У подбора валидной переменной в эксперименте и обеспечения конструктной валидности теста есть общий момент. И то, и другое, можно сделать только на основе тщательного теоретического анализа.

Теории, конечно, не вполне адекватно отражают бесконечно сложную реальность, но зато дают возможность «увидеть» многое одновременно. В том числе связи между отдельными теоретическими понятиями. И даже установить новые.

Создавая тест, разработчик обязательно создаёт новое понятие, даже если использует уже существующий термин. Новое определяется через старое, значит, придётся описать связи между рядом понятий, новым и уже существующими. То есть, создать модель или даже мини-теорию. А когда имеем чёткую теоретическую модель, то будем уже меньше путаться, определяя, чем по сути являются феномены реальности, отличить их друг от друга. Для иллюстрации можно провести простой опыт. Попробуйте поднести свои указательные пальцы на 1,5-2 сантиметра к глазам, и описать отличия левого и правого. Вам удастся это сделать только на большем расстоянии, когда сможете посмотреть обоими глазами на каждый из пальцев. Вот теоретизирование как раз и похоже на отдаление в этом мини-опыте.

Возвращаясь к конструктной валидности, её можно определить как качество теоретического описания измеряемого свойства. Если оно высокое, описание не имеет внутренних противоречий и согласуется с более общей теорией. Тогда появляется определённая гарантия, что и эмпирические индикаторы будут подобраны точно.

Глубже объяснить понятие конструктной валидности можно через описание способов её проверки.

Первый, наиболее распространённый из-за своей лёгкости, заключается в проведении на тех же испытуемых других методик и вычислении связей между ними и проверяемым тестом. Проверочные методики подбираются как раз на основе теоретического определения. При этом, конечно, следует смотреть не просто на названия проверочных методик, а на их теоретические определения. И если обнаруженные эмпирические связи соответствуют теоретически предсказанным, то конструктная валидность подтверждается. На наш взгляд, этот способ хорошо показывает, как теоретические построения проверяются на практике. Правда, трудно подобрать проверочную методику, которая бы нам и нам подходила, и сама была валидной.

Другой способ – проверка в эксперименте. Например, разрабатывается опросник реактивной тревожности. По созданному определению, она должна повышаться в напряжённых ситуациях. Тогда можно дать тест студентам посреди семестра, а потом – перед экзаменом. Если между этими измерениями будут достоверные различия, то, по крайней мере, мы убеждаемся, что измеряем «что-то, увеличивающееся в напряжённой ситуации». Кстати, пример реальный, автор сам был одним из этих студентов.

Ещё один способ, имеющий отношение и к критериальной валидности – «метод контрастных групп». Для опросника, к примеру, лживости, одной из таких групп могут быть осужденные за мошенничество, а второй – православные монахи. Если не обнаружим достоверных различий между ними, придётся признать, что мы измерили что-то, в чём эти группы не отличаются.

Существуют и другие способы проверки конструктной валидности, но и описанных уже достаточно, чтобы понять, что здесь та же логика, что и в научном исследовании. Создаётся теоретическая модель реальности (определение измеряемого конструкта), из неё выдвигаются более частные и конкретные эмпирические гипотезы типа «если тест обладает конструктной валидностью, то …», и проверяют их. Если они подтверждаются, подтверждённой считается и теория. Или, в психодиагностике, – тест обладает конструктной валидностью.

И, наконец, третий вид – содержательная валидность. Если тест ею обладает, то его задания охватывают всю область, в которой измеряемое свойство может проявляться. Особенно она важна для тестов достижений, интеллекта, и других, где внутреннее содержание методики достаточно близко к соответствующей деятельности. Например, если бы Школьном Тесте Умственного Развития были задания только по математике, он не обладал бы достаточной содержательной валидностью как инструмент измерения общего интеллекта. И обладал бы, если бы назывался Школьный Тест Математического Развития.

В личностных методиках, как считают В.Е. Орёл и И.Г. Сенин, содержательная валидность не столь важна. Однако, если в том же опроснике лживости будут предлагаться только профессиональные ситуации, его лучше уж назвать Опросником Лживости на Работе и не распространять результаты на личные отношения.

Другие виды валидности не столь существенны, но и о них стоит позаботиться.

Синтетическая – разновидность критериальной валидности. Она высока, если внешний критерий для оценки валидности соответствует по широте (сложности) свойству, которое измеряется. И низка, если с помощью внешнего критерия можно проверить адекватность измерения только одного из многих аспектов свойства.

Валидность с точки зрения испытуемого называется очевидной. Она низка, если испытуемый обзывает тест дурацким, особенно вслух. Испытуемый, кстати, склонен объявлять тест «дурацким», если опасается тестирования. С истинной валидностью очевидная практически не связана. Однако, если методика внушает уважение испытуемому, не перегружает его, тестирование даст более достоверные результаты.

Экологическая валидность в психодиагностике близка к этому понятию в эксперименте. Так называют валидность теста по отношению к измеряемому свойству в контексте определённой ситуации. Выше мы приводили пример с проверкой гипотетического опросника лживости на уже осужденных мошенниках. Так вот, если бы ситуация была такой, что этим испытуемым было бы выгодно показаться честными, они постарались бы исказить соответствующим образом свои ответы.

Если говорить об экологической валидности теста вообще, то нужно учитывать его предназначение – именно оно задаёт типичные ситуации. Не очень высокой экологической валидностью обладает, на наш взгляд, MMPI, утомляя испытуемых и усиливая самой процедурой некоторые патологические симптомы вроде астении (нервного истощения).

Итак, мы рассмотрели валидность как важнейшую характеристику тестов и её основные виды. Следует сказать, что при этом мы старались максимально упростить изложение. На самом деле проблемы валидности очень сложны. В следующей главе мы ещё раз вернёмся к ним, рассматривая процедуру разработки тестов.

Капитан Врунгель вполне обоснованно утверждал, что даже стоящие часы дважды в сутки показывают абсолютно точное время. Правда, определение этих моментов зависит от личных качеств наблюдателя. Так вот, предельно упрощённо – надёжным считается тест, в котором результат не зависит ни личных качеств пользователя, ни от колебания условий. Если ещё приводить пример с часами, то часы с маленьким циферблатом будут хороши днём и при хорошем зрении, а для близорукого человека и ночью (колебание условий) – не очень, даже если идут правильно. Это и называется ненадёжностью. Неправильно идущие часы, конечно, тоже ненадёжны.

Надёжность теста напоминает внутреннюю валидность исследования – степень его похожести на абстрактный идеальный эксперимент. Абсолютно надёжный тест – такая же абстракция. Но представление о нём нужно, чтобы было понятно, к чему стремиться.

Во введении мы оговаривали, что определений постараемся не давать. Но здесь одно всё-таки приведём. По Л.Ф. Бурлачуку и С.М. Морозову, надёжность теста в широком смысле – мера того, насколько выявленные у разных испытуемых различия по тесту являются отражением действительных различий в измеряемых свойствах, а не в действии случайных факторов.

Наиболее простые операциональные (выявляемые на практике) критерии надёжности следующие:

1) при повторном применении метода к тем же самым испытуемым в одних и тех же условиях через определенный интервал времени результаты обоих тестирований существенно не различаются между собой.

2) Действия случайных посторонних факторов не оказывают существенного влияния на результаты тестирования (эмоциональное состояние и утомление, если они не входят в круг исследуемых характеристик, температура, освещенность помещения и т.п.).

Очевидно, что оба критерия тесно связаны. Ведь в другой момент времени сочетание «неконтролируемых» условий будет иным. И если результаты существенно не изменятся, это и означает, что тестовое измерение от колеблющихся условий не зависит.

Этот вид надёжности называется ретестовой, потому что проверяется как раз повторным тестированием. Если корреляция между результатами обоих тестирований достоверна и положительна, ретестовую надёжность можно считать высокой.

Ещё один аспект надёжности – это внутренняя согласованность теста, то, насколько согласованы отдельные задания. В басне Крылова про щуку, рака и лебедя животные не бездельничали, тянули изо всех сил. Нулевым результат был из-за несогласованности их действий. Аналогично, тест не может быть надёжным, если каждое из заданий в нём измеряет что-то своё.

Существует два основных способа проверки внутренней согласованности.

Метод расщепления состоит в том, что тест разбивают на две сопоставимые части. Респондент выполняет задания этих двух частей подряд, считая их двумя разными тестами. Числовой индекс надежности по однородности – коэффициент корреляции между результатами тестирования двумя этими частями. Есть другой вариант этого метода, когда испытуемый выполняет как бы один тест. После этого подсчитывается коэффициент корреляции между суммой, например, отдельно по чётным и отдельно по нечётным заданиям.

Однако наиболее точный и удобный для отбора заданий теста способ – определение корреляции каждого из заданий с итоговым баллом. Существует и общая мера на основе этого подсчёта – так называемый коэффициент Кьюдера-Ричардсона для тестов с дихотомическими (да-нет) заданиями и «Альфа» Кронбаха для тестов с большим количеством вариантов ответа. Это уже называется надёжностью по однородности. Соответствующие коэффициенты оказываются равными 1, если согласованность абсолютная (хотя так не бывает), и нулю, если в тесте полный разнобой (а так бывает). Приемлемой считается внутренняя согласованность более 0,7, и при разработке этого обязательно добиваются.

Ещё одна важнейшая характеристика теста – дискриминативность – способность разделять испытуемых на классы с разной выраженностью свойства. Она может быть определена для каждого из заданий и для всего теста (шкалы). На наш взгляд, она имеет отношение как к надёжности, так и к валидности. Вопрос о том, как они связаны, обязательно будет на экзамене, поэтому рекомендуем внимательно прочитать следующий абзац, и спросить преподавателя, если это не станет полностью понятным.

Напомним основной постулат дифференциальной психологии – «все люди разные». И если какое-то психическое (внутреннее! индивидуальное по своей природе!) явление существует, то люди будут различаться по его проявлениям. Они могут быть близки или похожи в этом, но не абсолютно одинаковы. Если не различаются – то и изучать явление бессмысленно, его для психологии как бы не существует. И ещё вспомним, что тест – инструмент для обнаружения индивидуальных различий. С этой точки зрения, если все испытуемые отвечают на вопрос теста одинаково, то никакого психического явления он не измеряет. В лучшем случае, указывает на что-то внешнее по отношению к психике, может быть, социальное. Например, на вопрос «Вы дурак?», все ответят «нет». Это не даст никакой информации ни об интеллекте, ни об «образе Я», а будет указывать только на то, что для всех быть дураком неприемлемо. А это уже социальная установка. Конечно, она как-то интериоризирована, вот только такой прямой вопрос не даёт никакой возможности узнать, как именно человек преломляет такую установку.