5.3. Анализ заданий

Первый этап психометрической проверки психодиагностиче­ской методики заключается в определении диагностической при­годности каждого из заданий методики. Работа на этом этапе начи­нается после того, как первичная форма теста будет разработана и проведена на специально подобранной выборке. Предполагается, что на данном этапе каждое задание психологического теста долж­но быть проверено по нескольким психометрическим показателям.

1. Коэффициент корреляции между ответами испытуемого на каждый отдельный пункт опросника и итоговым баллом по той шкале, в которую входит данный пункт, должен быть статистиче­ски значимым, поскольку в этом случае коэффициент корреляции отражает тот факт, что данное конкретное утверждение способно измерять тот же самый конструкт, что измеряет вся шкала в целом, в которую, естественно, входит этот пункт. Обычно в литературе, посвященной проблемам психометрики, данный психометрический Параметр известен как «дискриминативность заданий теста», т.е. способность отдельных заданий теста дифференцировать испытуемых относительно «минимального» или «максимального» результата теста. Коэффициент дискриминативности, как и любой коэффициент корреляции, может принимать значение от -1 до +1.

Значимый положительный коэффициент дискриминативности свидетельствует о том, что данное задание направлено на измерение того же параметра личности, который измеряет вся шкала в целом, а, кроме того, это демонстрирует хорошую способность задания для деления испытуемых. В свою очередь, значимое отрицательное значение этого коэффициента говорит о том, что задание направлено на измерение параметра личности, противопо­ложного тому, который измеряет вся шкала. Отметим, что значи­мое отрицательное значение этого коэффициента далеко не всегда указывает на то, что такое задание подлежит немедленному ис­ключению из опросника, поскольку так называемые «обратные задания» должны иметь именно отрицательные и значимые коэф­фициенты дискриминативности. В том случае, если коэффициент дискриминативности не является значимым, это говорит о том, что задание не выполняет своей диагностической задачи, посколь­ку измеряемое им свойство личности никак не связано с тем свойством личности, которое измеряет вся шкала в целом.

По мнению ряда авторов, коэффициент дискриминативности заданий теста является, по сути, показателем конструктной валидности отдельного пункта, поскольку определяется по отношению к внешнему критерию - суммарному результату по всему тесту.

2. Задание психологического теста должно быть проверено с точки зрения индекса трудности, смысл которого состоит в том, чтобы определить процентное соотношение испытуемых, отве­тивших согласно «ключу». Понятие «трудность» чаще всего ис­пользуется в отношении так называемых тестов достижений и ин­теллектуальных тестов, которые, как правило, с помощью мысли­тельных задач определяют уровень развития тех или иных интел­лектуальных функций и в которых ответ в соответствии с «клю­чом» и является критерием правильности решения задания. В этих случаях трудность задания отражает процентное соотношение лиц, решивших или не решивших данное задание. Такое процент­ное соотношение выражается в виде индекса трудности, который может колебаться от 0 до 1. В том случае, если задание выполняется ЮО процентами испытуемых, индекс трудности принимает значение 1, при выполнении задания 50 процентами испытуемых, индекс трудности, соответственно, принимает значение 0,5 и т.д. Предполагается, что, если индекс трудности заданий слишком вы­сок, это означает, что наибольшая часть испытуемых не может правильно решить данное задание, поэтому оно не является диагностичным. Однако, если индекс трудности слишком низок, это означает, что практически все испытуемые правильно решают за­дание, что в свою очередь также говорит о его диагностической непригодности.

В тестах, диагностирующих не интеллектуальные, а личност­ные особенности, индекс трудности также отражает процентное соотношение лиц, ответивших в соответствии с «ключом». При этом, однако, не предполагается, что в таких тестах могут сущест­вовать правильные или неправильные ответы. В личностных тес­тах ответы в соответствии с «ключом» определяют выраженность у испытуемого того параметра личности, который является диаг­ностическим конструктом данного теста. Например, если на зада­ние, сформулированное как: «Любите ли Вы бывать в шумных компаниях?», которое диагностирует экстравертированность лич­ности, 90 процентов испытуемых отвели «Да» (индекс трудно­сти - 0,9), то, исходя из этого, мы должны согласиться с тем, что 90 процентов окружающих нас людей являются экстравертами, что на самом деле неверно, а значит, проблема заключается в са­мом задании. Скорее всего, оно сформулировано таким образом, что провоцирует большинство испытуемых отвечать именно так, а не иначе.

Наиболее удачными с точки зрения трудности являются зада­ния, индекс трудности которых составляет 0,5. Однако, исходя из закона нормального распределения, существует диапазон прием­лемых значений индекса трудности, который находится в преде­лах от 0,16 до 0,84, или в процентном соотношении в соответствии с «ключом» на данный пункт должны отвечать не менее 16 про­центов и не более 84 процентов испытуемых. Указанный диапазон приемлемых значений не является случайным. Если предполо­жить, что частоты распределения оценок испытуемых подчиняют­ся закону нормального распределения, то в пределах М ± 1а нахо­дятся около 68 процентов всех испытуемых, а за этими пределами по 16 процентов испытуемых. Эти величины и принимаются за пороговые при отборе заданий из первичной формы теста.

Для того чтобы вычислить индекс для дихотомической шкалы ответов, достаточно лишь соотнести процентную долю испытуемых, давших на данное задание ответ, соответствующий «ключу» с процентной долей испытуемых, давших не соответствующий «ключу» ответ. Чем выше будет доля лиц, ответивших в соответ­ствии с «ключом», тем выше будет индекс трудности. Например, индекс трудности задания, на которое 80 процентов испытуемых дали ответ, соответствующий «ключу», будет равен 0,80.

Для вычисления индекса трудности для многоступенчатых шкал ответов обычно используется следующая формула:

,

где а - максимальный балл по шкале ответов, N - сумма баллов всех испытуемых по данному заданию, п - общее количество ис­пытуемых.

3. Одним из важных показателей является характер распреде­ления тестовых оценок. Данный статистический показатель ис­пользуется при проверке тестовых заданий, которые предполага­ют многоступенчатую порядковую шкалу ответов. Цель опреде­ления данного показателя состоит в том, чтобы в окончательную форму теста попали бы только те задания, тестовые оценки по ко­торым подчиняются закону нормального распределения, т.е. наи­большее количество испытуемых выбирает средние варианты от­вета, в то время как самые крайние варианты ответов выбираются наименьшим количеством испытуемых. В том случае, если харак­тер распределения тестовых оценок не соответствует закону нор­мального распределения, можно говорить о том, что данное зада­ние теста не является достаточно диагностичным и «провоцирует» большинство испытуемых давать варианты ответов, относящиеся к крайним полюсам шкалы ответов.

Вопросы для самопроверки

1. В каких пределах могут колебаться значения индекса дискриминативности?

2. В каких пределах могут колебаться значения индекса труд­ности?

3. Почему приемлемые значения индекса трудности находятся в пределах 0,16-0,84?