24.Преимущества и недостатки классических тестов и тестов по моделям irt.

Преимущества IRT

• Оценки уровня подготовленности испытуемых инварианты относительно тестовых заданий,

– по результатам выполнения которых они получены.

• Оценки трудности тестовых заданий инвариантны относительно контингента испытуемых,

– по результатам тестирования которых они получены.

• Ошибка измерения оценивается индивидуально для каждого испытуемого и каждого задания.

• Все параметры заданий и испытуемых находятся на единой шкале.

– Имеется общая шкала (логитов/пробитов) для измерения уровня

подготовленности испытуемых и уровня трудности заданий, эта шкала является интервальной.

• Возможен анализ влияния дополнительных факторов на оценки параметров заданий и мер испытуемых.

• Разработаны методы решения специфических проблем тестирования.

• Теория компьютерного адаптивного тестирования базируется на IRT.

Недостатки IRT

• Игнорирование проблемы валидности - способность изначально должна быть согласована со шкалой интервалов.

• Теория применима к факторно простым тестам (одномерность).

– В психологической практике практически не наблюдается случаев, когда ответы на задания теста были бы обусловлены лишь одним фактором.

– Даже при тестировании общего интеллекта модели IRT плохо неприменимы.

• Для того чтобы получить надежную и не зависимую от испытуемых шкалу свойств, требуется провести тестирование большой выборки (не менее 1000 испытуемых).

• Тестирование достижений показывает, что существуют значительные расхождения между предсказаниями модели и эмпирическими данными.

• Шкалирование способно привести к образованию бессмысленных шкал.

– Например, попытка применить его модель к опроснику EPQ Айзенка

породила смесь шкал N, Е, Р и L.

Перечень основныхнедостатковВ классической теории тестирования:

• Оценки уровня подготовленности испытуемых зависят от уровня трудности конкретного теста.

• Оценки трудности тестовых заданий зависят от уровня подготовленности конкретной выборки испытуемых.

• Шкала первичных баллов часто является порядковой и теория не показывает как повысить уровень шкалы.

• Методы оценивания надежности требуют существенных ограничений и дают искаженные результаты.

• Ошибка измерения является величиной постоянной для всех

испытуемых.

• Уровни подготовленности испытуемых и параметры заданий теста находятся на различных шкалах.

• Нет возможности решить специфические проблемы тестирования.

– Не подходит для компьютерного адаптивного тестирования.

– Невозможно предсказать исход выполнения данным испытуемым данного задания.

Возможности обработки данных

1. Оценка статистической сложности заданий.

2. Интеркорреляция между заданиями теста и корреляция баллов заданий и внешнего критерия (суммы баллов испытуемых), для определения валидности тестовых заданий.

3. Быстрая оценка качества теста на основе графического вида кривой распределения тестовых баллов испытуемых.

4. Получение оценки надёжности результатов тестирования посредством корреляционного анализа баллов испытуемых по тесту, либо по нескольким его вариантам.

5. Построение доверительного интервала, в пределах которого находится истинный балл испытуемого, либо получение точечной регрессионной оценки.

6. Интерпретация результатов - определение места (рейтинга) испытуемого в выборке.