12. Основные положения irt, модель Раша, двух- и трехпараметрическая модели.

СОВЕТ: перед тем, как читать этот вопрос лучше прочитать 16 (чтобы понять, о чем речь вообще)

IRT – Item response Theory⁴. Основана на теории латентно-структурного анализа (один из формальных методов, с помощью которого выявляется латентный признак (скрытый), связанный с регистрируемыми явными (эмпирическими) признаками; основоположник LSA – П. Лазарсфельд) Больше всего применимо к оценке интеллекта и тестам способностей.

-Т.о. Латентный параметр – свойство личности (знание, способность, личностная черта), недоступная для прямого наблюдения.

-Индикатор – некоторое средство воздействия (вопрос теста), связанное с латентным параметром, реакция на который доступна для непосредственного наблюдения.

-Конструкт – система индикаторов, позволяющих оценить латентный параметр.

-Существуют индикаторные переменные, связанные с латентными параметрами, доступные для непосредственного наблюдения. По их значениям можно судить о латентном параметре.

-Оцениваемый латентный параметр должен быть одномерным (один тест – один фактор – тест на интеллект), на многофакторных тестах IRT не работает.

-Есть два класса латентных параметров:

1. Уровень подготовленности респондента

2. Уровень сложности заданий

-Предполагается, что и индивидов, и задания можно расположить на одной оси «интенсивность свойства-сила пункта», например. Каждому индивиду ставится в соответствие только одно значение латентного параметра (интенсивности свойства).

(Более научно)

-Существует одномерный континуум свойства – латентной переменной (x), на этом континууме происходит вероятностное распределение индивидов с определенной плотностью f(x).

-Существует вероятностная зависимость ответа испытуемого на задачу (пункт теста) от уровня его психического свойства, которая называется характеристикой пункта. Если тест имеет два ответа (да-нет), то эта функция есть вероятность ответа, зависящая от места, занимаемая индивидом на континууме (х).

-Ответы испытуемого не зависят друг от друга, а связаны только через латентную черту. Вероятность того, что выполняя тест, испытуемый даст определенную последовательность ответов, равна произведению вероятностей ответов на отдельные задания.

-Главное отличие от классической теории теста в том, что в IRT не ставятся и не решаются фундаментальные проблемы эмпирической валидности и надежности теста: задача априорно соотносится лишь с одним свойством, т.е. тест заранее считается валидным. Кроме того, в классической теории теста индивидуальный балл (уровень свойства) считается некоторым постоянным значением, а в irt латентный параметр трактуется как непрерывная переменная.

-Кроме «свойства» и «силы пункта» в аналитическую модель IRT могут включаться и другие переменные. Все варианты IRT классифицируются по числу используемых в них переменных. Самые известные: однопараметрическая модель Раша, двухпараметрическая и трехпараметрическая модели Бирнбаума.

На всякий случай прикрепляю ссылки, где можно почитать об этом более подробно: http://testolog.narod.ru/Theory59.html http://www.uspi.ru/struct/ui/kim/monograph/src/glava_5_1.html

Модель Раша. Раш предложил однопараметрическую модель латентной дистанции: разность уровня способности и трудности теста (х-i – B-j), где х-итое – положение итого испытуемого на шкале, а В-житая – положение житого задания на той же шкале. Разница эта (расстояние) характеризует отставание способности испытуемого от уровня сложности задания. Если разница велика и отрицательна, то задание не может быть выполнено, т.к. для данного испытуемого оно слишком сложно. Если же разница велика и положительно, то задание также не информативно, ибо испытуемый заведомо легко и правильно его решит.

-Предполагается, что ответ испытуемого обусловлен только индивидуальной величиной измеряемого свойства и «силой» тестового задания (однопараметричность модели именно в этом). Чем выше уровень свойства (способности), тем вероятнее получить правильный ответ.

-В графическом изображении кривая (имеет вид волны, называется Характеристической кривой) имеет точку перегиба, в ней «способность» равна «трудности задания», а значит, «вероятность его решения» равна 0,5. (оси кривой имеют вероятность правильного ответа на оси у и на оси х либо задание, либо испытуемый)

Пояснение к графикам.

Чем выше уровень свойства (способности), тем вероятнее получить правильный ответ («ключевой» ответ — «да»). Следовательно, функция является монотонно возрастающей.

В точке перегиба характеристической кривой i-го задания теста «способность» равна «трудности задания», следовательно, «вероятность его решения» равна 0,5 (рис. 6.6).

Очевидно, что индивидуальная кривая испытуемого, характеризующая вероят-ность решить то или иное задание (дать ответ «да»), будет монотонно убывающей функцией(рис. 6.7).

В точке на шкале, где «трудность» равна «индивидуальной способности испытуемого», происходит перегиб функции. С ростом «способности» (развитием психологического свойства) кривая сдвигается вправо.

Главной задачей IRT является шкалирование пунктов теста и испытуемых.

-Шкала Раша (в теории) является шкалой отношений.

-Логит – единица измерения, которая позволяет измерить и «силу пункта», и «величину свойства» (способность) в одной шкале. Это делается так: предполагается нормальность распределения данных тестирования и значения свойства, им присваивается значение в диапазоне от -6 до 6 (рекомендуется, правда, рассматривать интервал от -3 до 3), где -6 – практически каждый испытуемый дает правильный ответ, а 6 – с заданием не может справиться ни один испытуемый (вероятность дать правильный ответ ничтожна). Далее шкалы преобразуются в единую шкалу «уничтожением» влияния трудности задания на результат индивидов, элиминируется влияние индивидуальных способностей на решение заданий различной трудности. Там все в формулах, которые можно посмотреть самим, но вряд ли их можно вот так запомнить. В общем, после применения этих формул мы получаем окончательные характеристики измеряемого инструмента.

-Если перед исследователем стоит задача конструирования теста, он приступает к получению характеристических кривых заданий. Х-кривые должны быть распределены в диапазоне от -6 до 6, причем в седине их должно быть побольше, чем на краях распределения, чтобы тест обладал необходимой дифференцирующей (различающей) силой. Иногда Х-кривые могут накладываться друг на друга –тогда избыточные задания убираются, а иногда на некоторых участках оси х Способность могут отсутствовать Х-кривые. Тогда надо добавить задания недостающей трудности, чтобы равномерно заполнить интервал шкалы логитов (-6 до 6).

-Вся процедура повторяется несколько раз, пока разработчик не удовлетворится.

-Главные недостаток модели Раша считают пренебрежение «крутизной» Х-кривых, их крутизна полагается одинаковой (задания с более крутыми Х-кривыми позволяют лучше «различать» испытуемых, чем задания с более пологими кривыми). Параметр, определяющий крутизну Х-кривых называют дифференцирующей силой задания, которая используется в двухпараметрической модели Бирнбаума.

Графики по модели Раша

Модель Раша

Модель Раша: функция трудности задания

Двухпараметрическая модель Бирнбаума.

-В формулу (имеется в виду основная формула модели Раша) вводится параметр а-j, который определяет «крутизну» кривой в точке ее перегиба. Это а - item discrimination parameter.

-Интервал изменения параметра а-j (а – это альфа) от –бесконечность до +бесконечность. Если значения а близки к 0 (для заданий разной трудности), то испытуемые, различающиеся по уровню выраженности свойства, равновероятно дают правильный ответ на это задание теста. При выполнении такого задания у испытуемых не обнаруживается различий.

-Парадокс при а<0, тогда более способные отвечают правильно с меньшей вероятностью, а менее способные – с большей вероятностью. В практике это встречается весьма часто.

-Практики рекомендуют использовать задания, характеризующие значение а в интервале от 0,5 до 3. Кстати, при значении а-j=1 задание соответствует однопараметрической модели Раша.

Двухпараметрическая модель IRT

a – дифференцирующая сила задания

Трехпараметрическая модель Бирнбаума. Но при решении закрытых вопросов показатели отклоняются от предсказанных вероятностей двухпараметрической модели. Бирнбаум не опустил руки и ввел еще и третий параметр – угадывание (С-j).

-Чем ниже уровень способностей испытуемого, тем чаще он прибегает к стратегии угадывания, а также чем труднее задание, тем больше вероятность того, что испытуемый будет пытаться угадать правильный ответ, а не решать задачу.

-Итак, С-j характеризует вероятность правильного ответа на задание j в том случае, если испытуемый угадал ответ, а не решал задание.

-Для заданий с пятью вариантами ответов С-j становится более пологой (кривая), т.к. 0<C<1, но при всех С=0 кривая поднимается над осью х Способность на величину С-j. Тем самым даже самый неспособный испытуемый не может показать нулевой результат.

-Дифференцирующая сила тестового задания при введении параметра С-j снижается. Из этого следует, что тесты с закрытыми заданиями хуже дифференцируют испытуемых по уровням свойства, чем тесты с открытыми заданиями.

(вот так коротко, учитывая, что в книгах еще куча формул. Было придумано еще две теории, но о них в вопросе не упоминалось, поэтому не буду о них говорить)

-Параметр С применим только в случае вопросов с множественным выбором (у Орел в лекции)

Трехпараметрическая модель IRT

c – вероятность угадывания ответа

Если здесь что-то осталось непонятным, очень советую учебник В.Н. Дружинина «Экспериментальная психология» (есть электронная версия).