Репрезентативность тестовых норм
1. Статистическая природа тестовых норм
Для того чтобы оценить полученные в результате проведения теста суммарные баллы испытуемого необходимо иметь соответствующие нормы. Тестовые нормы позволяют оценить результат конкретного испытуемого как низкий, средний или высокий. Эти нормы получаются эмпирическим путем в результате проведения испытаний на определенной группе испытуемых. Тесты разрабатываются для применения на определенной популяции – генеральной совокупности (ГС). Наиболее точные нормы получаются при использовании всей генеральной совокупности, но на практике это невозможно. Поэтому обычно используют определенную часть генеральной совокупности – выборку стандартизации. Для того чтобы нормы, полученные на этой выборке можно было применить ко всей ГС, необходимо, чтобы эта выборка была репрезентативной по отношению к ней. Признаки репрезентативной выборки следующие:
Во-первых, она должна быть достаточной по объему. Этот объем зависит от величины генеральной совокупности (но не менее 200 человек).
Во-вторых, она должна по составу соответствовать генеральной совокупности: в требуемой пропорции должны быть представлены испытуемые, относящиеся к разному полу, возрасту, уровню образования, месту проживания и т.п.
Процедура получения тестовых норм заключается в следующем: случайным образом отбираются испытуемые в выборку стандартизации. Затем проводится обследование отобранных испытуемых с помощью нормализуемого теста. Затем для каждого испытуемого вычисляются суммарные баллы.
После этого производится проверка репрезентативности выборки. Первый способ основывается на идее о том, что если взять половину выборки и форма распределения частот суммарных баллов ее совпадет с формой распределения частот целой выборки, то данная выборка репрезентативна по отношению к генеральной совокупности.
Второй способ этой проверки заключается в проверке нормальности распределения в выборке стандартизации, так как большинство психологических переменных имеет нормальное распределение.
Если доказана репрезентативность выборки стандартизации, то для получения тестовых норм вычисляются две статистики:
Среднее арифметическое по формуле:
где хi
– суммарный балл по тесту у i-го
испытуемого, n – число
испытуемых в выборке стандартизации.
Стандартное отклонение по формуле
Нормы получаются следующим образом:
Средние нормативные
значения для данной выборки испытуемых
определяются по формуле
Значения высокие
и низкие будут находиться в интервалах
соответственно [
;
]
и [
;
].
Значения очень
высокие и очень низкие будут находиться
в интервалах соответственно [
;
]
и [
;
].
Значения крайне
высокие и крайне низкие – будут находиться
в интервалах соответственно >
и <
.
2. Проблема меры в психометрике и свойства пунктов теста
Для измерения физических величин психолог пользуется соответствующим эталоном – физический объект, стабильно сохраняющий заданную величину измеряемого свойства. В психометрике такие эталоны отсутствуют. Роль таких эталонов выполняют сами тесты. Тесты состоят из отдельных заданий или пунктов, которые могут отличаться степенью своей трудности. Трудность решаемых задач определяется способностями. Чем труднее задача, тем выше должен быть уровень способностей. Для «ли-вопросов» опросника подобной мерой является сила пункта (чем сильнее пункт, тем меньше число испытуемых согласно с ним). Трудность задания и сила пунктов выявляются эмпирическим путем (проведением теста). Чем меньше процент испытуемых, справившихся с заданием теста, тем труднее задание. В тесты рекомендуется включать пункты, трудность или сила которых составляет 25–75%. Средний уровень трудности всех пунктов, включенных в тест должен составлять 50%.
По кривой распределения тестовых баллов можно судить о пунктах теста. Если распределение имеет правостороннюю асимметрию, то в тесте преобладают трудные задания, так как мало испытуемых получили высокие баллы. Такой тест плохо дифференцирует испытуемых с низким уровнем способностей. Если кривая распределения имеет левостороннюю асимметрию, то большинства пунктов теста легкие, так как большинство испытуемых получили высокий балл, такой тест плохо дифференцирует испытуемых с высоким уровнем способностей.
Рис. 3. Графики, иллюстрирующие асимметрию распределения тестовых баллов
Если пункты обладают оптимальным уровнем трудности или силы, то кривая распределения зависит от однородности пунктов. При разнородных пунктах, когда результат по одному пункту не предопределяет исхода по другому пункту, и пункты имеют примерно одинаковую трудность, то распределение автоматически получается нормальным. Здесь нормальность распределения – артефакт, прямое следствие направленного отбора пунктов с заданными свойствами.
Если подбираются пункты, тесно положительно коррелирующие между собой, то в распределении баллов возникает отрицательный эксцесс. При максимальном отрицательном эксцессе наблюдается две вершины или две моды – бимодальное распределение. Оно указывает на то, что выборка испытуемых разделилась на 2 категории: одни справились с большинством заданий, другие нет. Оно свидетельствует о том, что в основе пунктов лежит какой-то один общий им всем признак, соответствующий определенному свойству испытуемых. Есть это свойство – испытуемые справляются с большинством заданий, нет – не справляются.
В очень редких случаях пункты могут отрицательно коррелировать друг с другом. Тогда на кривой возникает положительный эксцесс. Причинами могут быть: 1) неверно составленный ключ, т.е. при подсчете объединены отрицательно связанные признаки, что обусловливает взаимоуничтожение баллов; 2) испытуемые, разгадав направленность опросника, применяют специальную тактику «медианного балла», искусственно балансируя ответы «за» и «против».
Рис. 2. Графики, иллюстрирующие положительный (в) и отрицательный (а, б) эксцесс распределения тестовых баллов