Часть 3

Проблемы психологической диагностики

Раздел 1

Основные требования

К конструированию и проверке

Психологических тестов

1.1. Надежность психологических тестов (опыт психологической интерпретации)

По мере того как расширилось практическое применение тестов и увеличилось их изготовление, все настоятельнее становилась необходимость разработки не­которых, методически обоснованных требований к подобным психологическим пробам. Эти требования складывались в ходе самой работы над тестами и над их совершенствованием, а большее или меньшее соответствие тестов этим требо­ваниям свидетельствовало об их качестве. Кроме того, требования, выступая в ка­честве некоторого критерия методического уровня тестов, давали возможность оградить психологию от всевозможных безграмотных подделок, претендующих на диагностическо-прогностическое испытание психологических особенностей людей.

Изготовление методически грамотного теста представляет большую и трудоемкую задачу, решение которой предполагает проведение специальных исследований. Если даже не касаться теоретической основы тестов, а остаться лишь в рамках самой по себе методики, то следует признать, что путь от первого рабочего варианта до со­здания практически приемлемой пробы требует не одного года систематического труда. И, в конце концов, даже США, страна, выпускающая до 4/5 современных тестов, не может похвалиться тем, что они стоят на уровне современных методи­ческих вопросов.

Следует сказать, что разработка формальных требований к психологическим тестам, начавшаяся еще в 20-30 годы XX века, сыграла положительную роль в раз­витии этого направления исследований. Но сейчас понятно, что при всей необхо­димости формальных требований, они не дают всего того, что позволило бы полно и всесторонне оценить тест даже с методической стороны. Особенно актуальным представляется в свете сказанного истолкование требований к надежности и валид-ности тестов.

Мы уже обращали внимание на то, что о значении этих требований можно судить хотя бы по факту того, что фирмы и издательства, торгующие тестами в США, как правило, указывают в рекламных проспектах коэффициенты надежности и валид-ности своей продукции, а также и то, на каких выборках и в какие годы эти коэф­фициенты получены. Но такая общепризнанность указанных требований не озна­чает, что они не нуждаются в дальнейшем уточнении; и действительно, вопросы надежности и валидности активно обсуждаются в тестологической литературе.

Раздел 1, Основные требования к конструированию и проверке психологических тестов 229

Для дальнейшего анализа важно еще раз уточнить основные понятия.

• Надежность — такой признак психологического теста, который позволяет судить о том, насколько внушают доверие полученные при его применении данные, насколько обоснованно ожидание исследователя, что при сохране­нии известного минимума неизменных условий, испытуемые в выборке останутся и при повторных испытаниях примерно на тех же порядковых (ранговых) местах. Уровень коэффициента надежности и его статистическая значимость укажут на вероятность осуществления этого ожидания.

• Валидность — признак теста, по которому можно судить, насколько данные, полученные при применении теста, совпадают с показателями какой-то де­ятельности испытуемых: учебной, спортивной, производственной. Валид­ность — это действенность теста, характеризующая возможность ставить практически важный диагноз и в некоторых случаях намечать прогноз. Мож­но полагать, что исследователь, применяющий тесты, обычно рассчитывает в дальнейшем на практическое использование полученных результатов, то есть имеет в виду валидность. Вопрос о валидности потребует специаль­ного рассмотрения.

Продолжая обсуждение выделенной проблемы, напомним, что надежность и валидность взаимосвязаны. Надежность есть необходимое, но не достаточное условие валидности, из чего следует, что надежные показатели теста не могут быть валидными. Но надежные показатели сами по себе не представляют валидности.

Простое рассуждение подтверждает справедливость приведенного высказыва­ния. В самом деле, если тест отличается низкой надежностью, то это значит, что его показатели весьма сильно варьируют от одного испытания до другого. Испытуе­мый, который в одном испытании выступал как представитель наиболее успешно работавшей части, в другом может попасть в наиболее неуспешно работающую часть выборки. Сопоставлять данные одного из этих испытаний с показателями какой-то деятельности испытуемых очевидно бессмысленно. С другой стороны, высокая надежность тоже еще не дает права считать, что результаты теста могут быть по существу сопоставимыми с показателями деятельности. Успешность или неуспешность по тесту может представлять собою нечто самодовлеющее или не-соотносимое с какими-либо другими уместными для данного исследования внеш­ними — по отношению к тесту — показателями. Поэтому испытания с применением заданий психологического характера, надежность и валидность которых по отно­шению к данной популяции или выборке не установлены, не могут иметь никако­го диагностического практического значения, хотя их при начальном этапе подго­товки теста приводят лишь как первый шаг исследовательского поиска.

Во второй части этой книги мы уже касались данной темы в связи с проблемой надежности психофизиологических показателей (см. раздел 2, подраздел 2.2). Напомним, как устанавливается надежность психологического теста, и продолжим обсуждение этого вопроса.

В тестологической литературе описываются несколько способов, рекомендуе­мых для этой цели.

1. Повторное проведение испытаний тем же тестом через какой-то срок, дли­тельность которого определяется характером теста и задачами исследования.

230 Часть 3. Проблемы психологической диагностики

2. Проведение испытаний двумя вариантами, двумя различными «формами» теста, обычно построенными по одному принципу.

3. Разделение, «расщепление» теста на две половинки, обычно на половинки, состоящие из четных и нечетных заданий.

4. Проведение двух эквивалентных форм теста. Этот способ представляет со­бою уточнение 2-го способа¹.

В установлении надежности сопоставляют, таким образом, два получаемых показателя и чаще всего прибегают к вычислению коэффициента корреляции по Пирсону — Бравэ или по Спирмену. Надежность тем выше, чем больше получен­ный коэффициент приближается к единице, и наоборот. Оставаясь в пределах фор­мального анализа, можно отметить, что коэффициент корреляции будет тем выше, чем меньше дисперсия, то есть разброс данных, получаемых конкретным испыту­емым по тесту. Если по одному из сопоставляемых показателей испытуемый ока­жется в верхней части таблицы, составленной по убыванию успешности, а по дру­гому показателю в нижней ее части, то очевидно дисперсия данных по тесту — по крайней мере в данной выборке — велика и не позволяет делать вывод о том, како­ва, собственно, его характеристика по результатам этого психологического иссле­дования. Напротив, чем дисперсия меньше, тем больше оснований для определен­ных психологических выводов. В этом смысле корреляция может дать достаточ­ную информацию для суждения о надежности.

Представим себе, исследователь поставлен перед таким фактом: надежность разрабатываемого им теста оказалась слишком низкой. Что же делать, как доби­ваться ее повышения?

Очевидно, что даже внимательное ознакомление со способами установления надежности приводит к заключению, что дисперсия, снижающая уровень коэффи­циента корреляции, зависит не от одной, а от нескольких различных причин.

В самом деле, проверяя надежность способом расщепления, исследователь по­лучает информацию о внутренней однородности теста, о его гомогенности. Если тест — по составу включенных в него заданий — разнороден, то это обнаружится в том, что при случайном его разделении на половинки испытуемые будут выпол­нять разнородные по своей психологической трудности задачи, и вряд ли можно ожидать, что их успешность в каждой из этих половинок будет одинаковой. При однородности заданий можно полагать, что большой разницы в успешности по половинкам не будет. Следовательно, дисперсия в этом способе показывает, насколь­ко однороден тест.

Совсем другую информацию получает исследователь при повторении того же теста через какой-то срок. Дисперсия в таком случае может зависеть от того, что тот процесс, который испытывался тестом, изменился. Почему это произошло, на этот вопрос статистика не ответит. Но факт большего или меньшего изменения процесса по тому параметру, на который направлен тест, она обнаружит и зафик­сирует. Вопрос же о гомогенности теста в данном способе не актуализируется.

¹ Нам представляется, что в некоторых экспериментах следует учитывать воздействие на надежность некоторых неформализуемых условий, напр., личность экспериментатора.