Проектирование тестов

Итак, тесты обычно являются частью исследования, связанного с некоторой психологической гипотезой. Для их проектирования существуют специальные методы.

Для проверки грамотности, например, требуется проверить знание испытуемым всех слов, но это очень долго и дорого. Поэтому возникает задача выбора не очень большого числа «хороших», показательных образцов слов. Та же ситуация наблюдается при измерении психологических атрибутов. Нельзя просто спросить, коммуникабелен ли респондент, так как ответ, скорее всего, будет неверен. Требуется задать респонденту целый ряд вопросов, с разных сторон освещающих коммуникабельность. Но этих вопросов не должно быть слишком много. Чтобы сформулировать вопросы, надо изучить соответствующую литературу, понять, что подразумевается под изучаемым понятием, из каких аспектов оно состоит.

Определение коммуникабельности, особенно для менеджера, дано в [6]²²⁸.

Коммуникабельность – это дружелюбие с определенной целью: подвигнуть людей в желательном для Вас направлении.

Из этой же работы можно выделить и черты, свойственные коммуникабельному человеку. Это целая система свойств и оттенков эмоционального аспекта личности:

• широкий круг знакомств;

• убежденность в пользе широкого круга знакомств;

• умение найти общие темы для разговора с разными людьми;

• понимание того, что важные вещи не делаются в одиночку;

• понимание собственных эмоций;

• умение контролировать их;

• эмпатия чувствам других;

• оптимизм;

• умение увлечь своим оптимизмом других.

Коммуникабельность можно распознать в действии по многим признакам, продолжает автор [6]. Это

• умение хорошо руководить командами (эмпатия в действии);

• умение искусно уговаривать (проявление самоосознанности, саморегуляции и эмпатии);

• знание того, когда лучше обратиться к эмоциям собеседника, а когда – к его разуму;

• публично видимая мотивация деятельности (энтузиазм), которая распространяется и на окружающих.

От такого перечня уже можно перейти к вопросам. В простейшем случае задается по одному вопросу на каждый из перечисленных аспектов, но несложно предложить ряд ситуаций, в которых проявляется та или иная черта личности и задать вопросы о предпочтительных действиях в каждой из них. Часто описание таких ситуаций можно найти в литературе.

Итак, для отбора вопросов теста, применяется следующая последовательность действий.

Шаг 1.Четко определяется, чтó подлежит измерению, (например, коммуникабельность), а что – нет (лень, проявляющаяся в том, чтобы поболтать с коллегами вместо того, чтобы работать).

Шаг 2.На основе обзора литературы, обзора опыта, проведения фокус-групп, то есть методами поисковых исследований генерируется набор из достаточно большого количества (порядка 100) вопросов, позиций, определяющих характеристику с различных сторон. Предполагается, что каждый вопрос имеет количественный ответ. Если разрабатывается тест на грамотность, то правильно написанному слову присваивается оценка1, неправильно –0. Если задается вопрос о коммуникабельности, например,

Как Вы оцениваете свой круг знакомств?

то обычно предлагаются три ответа:

Он широк, и я рад каждому новому знакомому (3 балла); он не очень широк, в нем лишь те, кто мне приятен (2 балла); он мал, так как я трудно схожусь с людьми (1 балл).

Общий результат теста для респондента будет подсчитан как сумма ответов на каждый вопрос. Чем больше получилось баллов, тем более коммуникабельным признается респондент.

Шаг 3.Вопросы предварительно проверяются. Явно плохие сразу же отбрасываются. Например, при контроле грамотности не следует предлагать при опросе узкоспециальные термины. Бесполезно включать в тест грамотности и слишком простые слова.

Однако число оставшихся вопросов все равно велико. Поэтому требуется использовать специальные методы для отбора только сравнительно небольшого числа наилучших вопросов.

Шаг 4.Собираются данные от определенной выборки. Если, например, предполагается разработать тест коммуникабельности для менеджеров среднего звена, то выборка может производиться среди работников фирм, аналогичных тем, где предполагается проводить исследование, и занимающих аналогичные должности. Как обычно, для «сырых» анкет, используется личное интервью или опрос с приглашением респондентов в лабораторию. Ответив на все вопросы, респонденты обычно получают небольшое вознаграждение.

Шаг 5.Для окончательного выбора на основе полученных данных используется так называемаямодель доменов.

То, что желательно узнать – истина – это сумма ответов на всевозможные вопросы теста. Чтобы проверить грамотность, надо проверить правильность написания всех возможных слов; чтобы оценить коммуникабельность, надо провести респондента через все возможные испытания. Реально имеются ответы на некоторое число вопросов, хотя это число и довольно велико. Задача состоит в том, чтобы найти такие вопросы, небольшое число которых позволило бы определить истину с высокой точностью.

Основное допущение, на котором строится процесс отбора, заключается в том, что сумма ответов по всем заданным вопросам и есть истина.

Принимается, что X_о=X_t+X_r, то есть результаты опроса X_o слагаются из измерения психологической характеристики (коммуникабельности) плюс случайная составляющая²²⁹. Надежность теста можно количественно оценить как

надежность = ,

то есть как долю различия по измеряемой характеристике в общих различиях, включающих и ошибки тестирования.

Надежность теста возрастает с ростом количества вопросов, так как случайная составляющая в различных ответах компенсируется и повышается доля истинной компоненты

Второе допущение заключается в том, что не существует ни одного вопроса, который полностью определил бы исследуемую характеристику (грамотность нельзя проверить по одному слову). Иначе достаточно было бы задать этот единственный вопрос. Каждый вопрос рассматривает исследуемую психологическую характеристику под некоторым особым углом зрения, касается различных аспектов общей концепции (грамотный человек должен правильно писать слова с безударными гласными, с суффиксами и т. д., коммуникабельный – обладать всеми вышеперечисленными аспектами коммуникабельности).

Цель процедуры отбора – определить полезность каждого вопроса для установления истины и выбрать лучшие, то есть наиболее полезные, вопросы.

Так как в опросе участвовало несколько человек, то имеются ряды значений ответов на каждый вопрос по всем отвечавшим, а также ряд суммарных оценок всех отвечавших.

Для начала вычисляются корреляции ответов на каждый вопрос и сумм баллов, полученных респондентами.

Если вопросы касаются какой-то одной концепции, то между ответами существует более или менее значительная положительная корреляция.

Если корреляция ответов на какой-то вопрос и сумм ответов мала, то вопрос не связан с общей тематикой теста (согласно допущению – с установлением истины) и его следует убрать. Для опредления того, мала корреляция или нет, следует вспомнить коэффициент детерминации (квадрат коэффициента корреляции), который показывает, насколько одна величина определяется другой. Так, если коэффициент корреляции ответов на некоторый вопрос и суммы ответов равен 0,1, то это означает, что данный вопрос определяет результат теста на0,01, что, конечно, мало (обычный для исследований уровень случайной ошибки составляет0,05).

При проектировании тестов могут появиться вопросы, имеющие большую отрицательную корреляцию с суммарным результатом²³⁰. Они сильно влияют на итоги тестирования. Если их достаточно много, то возникают сомнения в истинности суммарной оценки по всем ответам. Для таких вопросов можно использовать инвертирование ответов (как в шкале Ликерта). В простейшем случае при наличии трех ответов с разными весами в ключе теста следует поменять местами минимальный и максимальный веса, оставив среднее значение веса без изменений. Более радикальным является удаление данного вопроса. В любом случае начинать следует с вопроса, имеющего максимальное абсолютное значение отрицательной корреляции, и после каждого преобразования пересчитывать суммы ответов и все значения корреляций.

После устранения вопросов с большой отрицательной корреляцией, для опроса из kпунктов, в котором участвовалоnчеловек, вычисляется показатель

,

где – коэффициент надежности Кронбаха;D_i– дисперсия ответов наi-й вопрос;D_t– дисперсия сумм результатов теста по всем участникам.

Если действуют только случайные факторы, то  = 0. Если же тест совсем не содержит случайной составляющей, то все ответы идентичны и = 1²³¹.

Если мала, то требуется либо добавить новые вопросы, либо убрать неудачные.

Программная система StatisticaforWindowsвычисляет корреляцию ответов на каждый вопрос с суммарным результатом. Кроме того, вычисляетсявсего теста, а главное – для каждого вопроса выводится то значение, которое будет иметь тест, если из него изъять данный пункт. Таким образом, отбор вопросов следует осуществлять либо по корреляции (убирать те пункты, которые имеют малую корреляцию с суммарным результатом), либо по(удалять те вопросы, при изъятии которыхувеличивается). Этот процесс можно повторить несколько раз до тех пор, пока изъятие любого оставшегося вопроса не будет ухудшать надежность теста.

После корректировки теста образуется домен – набор вопросов, которые освещают одну и ту же проблему.Далее возникает вопрос, какую же проблему они освещают.

Шаг 6. Проверка того, какую характеристику измеряет получившийся набор вопросов.

Ответ на этот вопрос может дать только анализ валидности. Валидность должна проверяться всеми доступными способами.

Например, если существует корреляция между результатами теста на коммуникабельность и умением руководить, то это повышает нашу уверенность в том, что тест измеряет именно коммуникабельность. Реально проверка валидности тестов – длительная процедура. Например, валидность теста профессиональной пригодности может быть проверена только через несколько лет по успехам принятых на работу с предварительным тестированием²³².

***

Большой интерес представляет также анализ уже разработанных тестов с использованием модели доменов²³³.