Леонова Емпирические методы псикхологического исследования 2014

Занятие 9.2. Трудность и дискриминативность заданий теста

где N1 – число испытуемых, правильно выполнивших задание;

N – об щее число испытуемых.

Задание считается оптимальным по трудности для данной выборки испытуемых, если индекс трудности близок к 0,5. Отметим, что вычисление индекса трудности применяется для интеллектуальных тестов и тестов достижений.

Показателем дискриминативности задания служит мера соответствия его успешного решения успешному решению всех заданий теста. Он называется коэффициентом дискриминации и вычисляется как бисериальный (рангово-бисериальный) коэффициент корреляции между результатом выполнения данного задания (дихотомическая шкала) и результатом выполнения всего теста (порядковая или интервальная шкала) у выборки испытуемых.

Если шкала измерения – интервальная, то используется бисериальный коэффициент корреляции:

где X1 – среднее арифметическое оценок по тесту у тех испы-

туемых, которые верно выполнили задание; X – среднее арифметическое всех индивидуальных оценок по тесту; σ – стандартное отклонение оценок по тесту в выборке.

Коэффициент дискриминации может принимать значения от –1 до +1. Высокий положительный rрb свидетельствует об эффективности деления испытуемых, чем ближе значение коэффициента дискриминации к 1, тем более соответствует данная задача всему тесту. Отрицательное значение коэффициента отдельного задания

121

теста свидетельствуют о несоответствии результатов выполнения этого задания суммарному показателю по тесту. Такие задания должны быть исключены из теста. Отсутствие зависимости между отдельным заданием и всем тестом (значение rрb по модулю меньше критического) может говорить либо о высокой трудности задания, либо о том, что оно слишком лёгкое для данной выборки испытуемых.

В тех случаях, когда одна переменная (Y) измеряется в дихотомической шкале, а другая (Х) – в порядковой шкале, для определения дискриминативности задания используется рангово-бисери- альный коэффициент корреляции rrb, который вычисляется по формуле

где X1 – среднее по тем элементам переменной Х, которым соответствует значение 1 переменной Y; X0 – среднее по тем элементам переменной Х, которым соответствует значение 0 переменной Y.

Порядок работы

1.Открыть файл Равен.xls и сохранить его под своей фамилией.

Вфайле представлены результаты выполнения теста Равена студентами. Суммарный балл по тесту находится в колонке «Сумма»,

востальных колонках – результаты выполнения каждого задания (1 – в ерно, 0 – неверно ).

2.Определить N1 – количество испытуемых, правильно выпол-

нивших каждое задание теста, просуммировав индивидуальные результаты по каждому субтесту. Вычислить индекс трудности каждого задания по формуле (9.3). Данные внести в таблицу (табл. 9.2.1). Сделать вывод о работе принципа прогрессивности, заложенного автором теста.

3. Вычислить среднее значение и стандартное отклонение значений столбца «Сумма», воспользовавшись функциями СРЗНАЧ и СТАНДОТКЛ.

122

4. Для вычисления X1 использовать логическую функцию

ЕСЛИ. Для этого можно сначала скопировать исходную таблицу, затем в ячейке задания 1 испытуемого 1 ввести формулу ЕСЛИ(D4=1;$C4;0). Протянув за нижний квадратный маркер в ячейке, распространить вычисления на все ячейки. Разделив сумму элементов каждого столбца в полученной таблице на соответствующее значение N1, получим X1 .

5. Определить дискриминативность каждого задания теста по формуле (9.5) и внести полученные результаты в таблицу (табл.

9.2.1).

Таблица 9.2.1. Результаты вычислений

6. Проанализировав значения индекса трудности и коэффициента дискриминации для каждого задания, сделать выводы (табл.

123

9.2.2). Отметить, какие задания для данной выборки оказались слишком лёгкими, какие – трудными, какие – оптимальными по трудности. Какие задания эффективны с точки зрения дискриминативности, если критическое значение бисериального коэффициента корреляции для данного объёма выборки равно 0,5 ( p ≤ 0,01 )?

Таблица 9.2.2. Выводы

Слишком лёгкие задания:

Слишком трудные задания:

Задания, оптимальные по трудности:

Задания, эффективные с точки зрения дискриминативности:

7. Отчёт должен включать заполненные таблицы 9.2.1 и 9.2.2, их анализ и общие выводы о работе принципа прогрессивности.

Занятие 9.3. Определение надёжности теста

Вводные замечания

Надёжность – это психометрическая характеристика строгоформализованной психодиагностической методики, отражающая точность психодиагностических измерений, а также устойчивость результатов теста к действию посторонних случайных факторов. Надёжность теста – это характеристика того, в какой степени выявленные у испытуемых различия по тестовым результатам являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам.

В психометрике термин надёжности имеет два значения: надёжность по внутренней согласованности (надёжность эквивалентных половин теста) и надёжность ретестовая.

1. Надёжность эквивалентных половин теста. Вычисляется корреляция результатов по двум эквивалентным частям теста, по-

124

лученных после процедуры расщепления (например, на чётные и нечётные задания в тесте Равена). Этот тип коэффициента надёжности называется коэффициентом внутренней согласованности.

2. Ретестовая надёжность – степень согласованности результатов теста, получаемых при первичном и повторном его применении на одних и тех же испытуемых, при условии, что психологические характеристики испытуемых не изменились (так, если выборка включает студентов, то при определении надёжности теста тревожности оба испытания следует проводить в одинаковых условиях: не допускается, например, проводить одно из испытаний в период экзаменационной сессии). Этот тип надёжности характеризует устойчивость методики. Интервал должен быть не менее месяца. Вычисляется с помощью коэффициента корреляции показателей при первичном и повторном обследовании (ретестовая надёжность считается удовлетворительной при величине коэффициента корреляции не менее 0,7).

Порядок работы

1.В электронных таблицах Excel создать файл под своей фамилией и скопировать в него данные из файла ЛР2.xls.

2.Определить количество испытуемых, правильно выполнивших каждое задание теста. Для этого выделить ячейку под столбцом с результатом выполнения 1 задания, выбрать формулу СЧЁТЕСЛИ (в разделе Статистические), указать в качестве диапазона первый столбец, а в качестве условия – =1. Если всё выполнено правильно, то результат вычислений (подсчёт количества единиц в столбце) будет равен 25. Протянув за нижний квадратный маркер в ячейке, распространить указанные вычисления на все столбцы.

3.Вычислить индекс трудности каждого задания по формуле,

I = 1 − T , где Т – число испытуемых, правильно выполнивших за-

N

дание, N – общее число испытуемых. Сделать вывод о работе принципа прогрессивности, заложенного автором теста.

125

4.Выделить цветом все чётные столбцы и скопировать полученный результат два раза по горизонтали с интервалом 2 столбца.

Вполученных копиях удалить чётные (нечётные) столбцы.

5.Вычислить результативность выполнения испытуемыми каждой половины теста. Для этого в каждой таблице вычислить сумму элементов в строке.

6.Вычислить дисперсии в множествах результатов выполнения каждой половины теста. Для этого использовать функцию ДИСП. Произвести оценку равенства дисперсий по критерию Фишера:

1,98 ( p £ 0,05),

Fкр = £ (9.7)2,66 ( p 0,01).

7.Сопоставить эмпирическое значение критерия Фишера с критическими и сделать вывод о равенстве дисперсий.

8.Если дисперсии обеих частей теста равны, то для вычисления надёжности можно использовать формулу Спирмена-Брауна. Для этого сначала вычислить коэффициент корреляции Пирсона между половинами теста, используя для этого функцию КОРРЕЛ. Полученное значение подставить в формулу

9.В отчёт включить выводы по п. 2 и 6, а также полученные значения F, r, f.

10.В исходной таблице представлены результаты первичного (столбец Σ1) и повторного (столбец Σ2) выполнения школьниками теста Равена. Для определения коэффициента ретестовой надёжности вычислить коэффициент корреляции Спирмена между этими множествами данных.

11.Сделать выводы. В отчёт включить полученное значение коэффициента корреляции.

126

Занятие 9.4. Определение валидности теста

Вводные замечания

Валидность – комплексная характеристика, включающая сведения о том, пригодна ли методика для измерения того, для чего она была создана, и какова её действенность, практическая полезность. Соответственно, процесс проверки валидности (валидизация) в первом случае называется теоретической валидизацией, а

во втором – прагматической валидизацией. Если показатели на-

дёжности и дискриминативности могут быть вычислены определённо и однозначно, то установление валидности – гораздо более разносторонняя и менее однозначная процедура.

Существует множество различных типов валидности, основными из которых являются: валидность по содержанию, а также критериальная, конкурентная, конструктная, инкрементная и дифференциальная валидности. Эти типы валидности подробно рассмотрены в учебном пособии [38]. Настоящее занятие посвящено определению критериальной валидности теста.

Критериальная валидность – это способность теста дифференцировать испытуемых по изучаемому признаку. В качестве таких признаков могут выступать познавательные процессы, способности, личностные характеристики. Критериальная валидность определяется по результатам вычисления коэффициента корреляции между результатами тестирования с экспертными оценками по соответствующим критериям.

В таблице 9.4.1 представлены результаты диагностики социального интеллекта выборки студентов-психологов с помощью методики Гилфорда-Салливэна, а также усреднённые экспертные оценки проявлений социального интеллекта в различных видах интерперсонального взаимодействия. Эти данные будут использованы для изучения технологии определения критериальной валидности.

127

Порядок работы

1.Изучив содержание субтестов методики Гилфорда-Салливэна

исодержание критериев оценки социального интеллекта (см. табл. 9.4.1), выбрать для каждого субтеста наиболее подходящий внешний критерий.

2.Вычислить коэффициенты ранговой корреляции Спирмена между результатами диагностики социального интеллекта по каждому из субтестов с соответствующими экспертными оценками.

3.Вычислить коэффициент корреляции между композитной оценкой по тесту с суммарной экспертной оценкой.

4.Сделать вывод о критериальной валидности субтестов (выбрав по результатам вычислений более адекватный данному субтесту критерий), а также теста в целом.

5.Отчёт должен включать а) обоснование выбора внешнего критерия для каждого субтеста; б) результаты вычисления коэффициентов корреляции; в) обоснованные выводы о критериальной валидности субтестов и теста в целом.

Приложение к занятию 9.4.

Алгоритм расчёта коэффициента ранговой корреляции Спирмена

1.Проранжировать значения переменной Х, приписывая меньшему значению меньший ранг. Занести в таблицу полученные значения рангов Rx.

2.Поступить также со значениями переменной Y.

3.Подсчитать разности d между рангами Rx и Ry. Внести полученные результаты в соответствующий столбец таблицы.

4.Возвести каждую разность в квадрат и заполнить следующий столбец таблицы. Подсчитать сумму квадратов.

одинаковых рангов в ряду Х; b – объём каждой группы одинаковых рангов в ряду Y.

130