16. Анализ тестовых заданий в классической психометрической теории.
Основные подходы к анализу тестовых заданий:
Классическая теория тестов (CTT)
Item response theory (IRT) – «теория характерологических кривых», «теория латентных черт», «современная теория тестов»
Классическая теория теста (психометрическая теория)
(по В.Н. Дружинину; на всякий случай я оставила формулы – не думаю, что они необходимы для ответа, но могут быть полезными для понимания сути теории)
Классическая теория теста лежит в основе современной дифферен¬циальной психометрики. Создателем классической теории тестов является известный британский психолог, автор факторного анализа, Чальз Спирмен.
Конструирование тестов для изменения психологических свойств и состояний основано на шкале интервалов. Измеряемое психическое свойство считается линейным и одномерным. Предполагается также, что распределение совокупности людей, обладающих данным свойством, описывается кривой нормального распределения.
В основе тестирования лежит классическая теория погрешности измерений; она полностью заимствована из физики. Считается, что тест — такой же измерительный прибор, как вольтметр, термометр или барометр, и результаты, которые он показывает, зависят от величины свойства у испытуемого, а также от самой процедуры измерения («качества» прибора, действий экспериментатора, внешних помех и т.д.). Любое свойство личности имеет «истинный» показатель, а показания по тесту отклоняются от истинного на величину случайной погрешности. На показания теста влияет и «систематическая» погрешность, но она сводится к прибавлению (вычитанию) константы к «истинной» величине параметра, что для интервальной шкалы значения не имеет.
Если тест проводить много раз, то среднее будет характеристикой «истинной» величины параметра. Отсюда выводится понятие ретестовой надежности: чем теснее коррелируют результаты начального и повторного проведения теста, тем он надежнее. Стандартная погрешность измерения:
Предполагается, что существует множество заданий, которые могут репрезентировать измеряемое свойство Тест есть лишь выборка заданий из их генеральной совокупности. В идеале можно создать сколько угодно эквивалентных форм теста. Отсюда — определение надежности теста методами параллельных форм и расщепление его на эквивалентные равные части.
Задания теста должны измерять «истинное» значение свойства. Все задания одинаково скоррелированы друг с другом. Корреляция задания с истинным показателем:
Поскольку в реальном монометрическом тесте число заданий ограничено (не более 100), то оценка надежности теста всегда приблизительна.
Так, определяемая надежность теста связана с однородностью, которая выражается в корреляциях между заданиями. Надежность возрастает с увеличением одномерности теста и числа его заданий, причем довольно быстро. Стандартная надежность 0,02 соответствует тесту длиной в 10 заданий, а при 30 заданиях она равна 0,007.
Оценка стандартной надежности:
Для оценок надежности используется ряд показателей. Наиболее известна формула Кронбаха:
Для определения надежности методом расщепления используется формула Спирмена—Брауна.
В принципе классическая теория теста касается лишь проблемы надежности. Вся она базируется на том, что результаты выполнения разных заданий можно суммировать с учетом весовых коэффициентов.
Так получается «сырой» балл
Y=axi+c,
где xi — результат выполнения i-го задания, а — весовой коэффициент ответа, с — произвольная константа.
По поводу того, откуда возникают «ответы», в классической теории не говорится ни слова.
Несмотря на то, что проблеме валидности в классической теории теста уделяется много внимания, теоретически она никак не решается. Приоритет отдан надежности, что и выражено в правиле: валидность теста не может быть больше его надежности.
Валидность означает пригодность теста измерять то свойство, для измерения которого он предназначен. Следовательно, чем больше на результат выполнения теста или отдельного задания влияет измеряемое свойство и чем меньше — другие переменные (в том числе внешние), тем тест валидней и, добавим, надежнее, поскольку влияние помех на деятельность испытуемого, измеряемую валидным тестом, минимально.
Но это противоречит классической теории теста, которая основана не на деятельностном подходе к измерению психических свойств, а на бихевиористской парадигме: стимул—ответ. Если же рассматривать тестирование как активное порождение испытуемым ответов на задания, то надежность теста будет функцией, производной от валидности.
Тест валиден (и надежен), если на его результаты влияет лишь измеряемое свойство.
Тест невалиден (и ненадежен), если результаты тестирования определяются влиянием нерелевантных переменных.
Каким же образом определяется валидность? Все многочисленные способы до-казательства валидности теста называются разными ее видами.
1. Очевидная валидность. Тест считается валидным, если у испытуемого скла-дывается впечатление, что он измеряет то, что должен измерять.
2. Конкретная валидность, или конвергентная—дивергентная валидность. Тест должен хорошо коррелировать с тестами, измеряющими конкретное свойство либо близкое ему по содержанию, и иметь низкие корреляции с тестами, измеряю¬щими заведомо иные свойства.
3. Прогностическая валидность. Тест должен коррелировать с отдаленными по времени внешними критериями: измерение интеллекта в детстве должно пред-сказывать будущие профессиональные успехи.
4. Содержательная валидность. Применяется для тестов достижений: тест дол¬жен охватывать всю область изучаемого поведения.
5. Конструктная валидность. Предполагает:
а) полное описание измеряемой переменной;
б) выдвижение системы гипотез о связях ее с другими переменными;
в) эмпирическое подтверждение (неопровержение) этих гипотез.
С теоретической точки зрения, единственным способом установления «внутренней» валидности теста и отдельных заданий является метод факторного анализа (и аналогичные), позволяющий:
а) выявлять латентные свойства и вычислять значение «факторных нагрузок» — коэффициенты детерминации свойств тех или иных поведенческих признаков;
б) определять меру влияния каждого латентного свойства на результаты тести-рования.
К сожалению, в классической теории теста не выявлены причинные связи факторных нагрузок и надежности теста.
Дискриминативность задания является еще одним параметром, внутренне присущим тесту. Тест должен хорошо «различать» испытуемых с разными уровнями выраженности свойства. Считается, что больше 9-10 градаций использовать не стоит.
Тестовые нормы, полученные в ходе стандартизации, представляют собой систему шкал с характеристиками распределения тестового балла для различных выборок. Они не являются «внутренним» свойством теста, а лишь облегчают его практическое применение.
Основные положения классической теории теста кратко (по лекциям Орел):
Классическая теория тестов:
Наиболее широко используемый анализ заданий
Легкость обработки данных и интерпретации результатов
Анализ выполняется на материале всего теста целиком
Статистика по заданиям применима только к данному, конкретному набору задач
Мера – выборка заданий из бесконечного их множества, представляющего определенный признак
Задания понимаются, как эквивалентные друг другу
Чем больше заданий, тем выше надежность теста
Все респонденты отвечают на одни и те же задания
Все респонденты должны выполнить все задания
Показатели задания в CTT
«Трудность» задания («сила» задания для личностных тестов)
Дискриминативность задания (дифференцирующая сила задания)
Надежность задания – изменчивость результатов по заданию
Валидность задания – связь задания с критерием
Табличка по классификации теорий для наглядности:
