§ 2. 3 Адаптивное тестирование.

Адаптивное тестирование – это широкий класс методик тестирования, предусматривающих изменение последовательности предъявления заданий в самом процессе тестирования с учетом ответов испытуемого на уже предъявленные задания.

Можно выделить два подхода к созданию адаптивных тестов. При первом подходе принятие решения об изменении порядка предъявления тестовых заданий производится на каждом шаге тестирования (постоянная адаптация). Во втором подходе принятие решения об изменении порядка следования заданий осуществляется после анализа результатов отчетов испытуемого на специальный блок заданий (блочная адаптация).

С точки зрения порядка прохождения тестовых заданий существуют два подхода к созданию адаптивных тестов. Во-первых, существуют адаптивные тесты с постоянной адаптацией (детерминировано ветвящейся), когда принятие решения об изменении порядка следования тестовых вопросов производится на каждом шаге тестирования. Во-вторых, существуют адаптивные тесты с блочной адаптацией (варьирующей ветвящейся стратегией), когда принятие решения об изменении порядка следования заданий осуществляется после анализа результатов обработки некоторого специального блока заданий.

Самым первым адаптивным тестом является тест интеллекта Байнета, который был разработан в 1905 году в бумажной версии, без использования компьютеров. Современный адаптивный тест представляет собой вариант автоматизированной системы тестирования, в которой заранее известны параметры трудности и дифференцирующей способности каждого задания. Эта система создана в виде компьютерного банка заданий, упорядоченных в соответствии с их определенными характеристиками. Самая главная характеристика заданий адаптивного теста – это уровень их трудности, полученный опытным путем, что означает: прежде чем попасть в банк, каждое задание проходит эмпирическую апробацию на достаточно большой целевой выборке учащихся. В целом алгоритм компьютерного адаптивного тестирования состоит из следующих этапов:

1. Из банка заданий выбирается подходящее по параметру задание.

2. Выбранное задание предъявляется экзаменуемому, который отвечает на него правильно или неправильно.

3. Оценка тестируемой способности обновляется на основании этого ответа.

4. Таким образом, предыдущие три шага повторяются до тех пор, пока согласно определенному критерию оценка измеряемого качества признается удовлетворительной, и происходит выход из тестирования.

В связи с тем, что про способности тестируемого ничего неизвестно до тех пор, пока он не ответит на первый вопрос, тест начинается со среднего уровня сложности.

Соответственно для разработки адаптивного теста необходимы следующие компоненты:

1. Калиброванный по уровню сложности банк тестовых заданий. Банк заданий должен быть калиброван в соответствии с определенной психометрической моделью (как правило, используются IRT для количественной оценки или MDT Лоуренса Руднера для тестов, предполагающих номинативную оценку). Этот компонент является самой важной частью адаптивной тестовой методики и её основой.

2. Стартовая точка (алгоритм входа в тест). Большинство адаптивных тестов для входа в тест используют задание среднего уровня сложности, но если о тестируемом известна какая-либо информация, возможен иной способ входа в тест.

3. Алгоритм выбора задания из банка тестовых заданий. Как уже говорилось ранее, метрика заданий адаптивного теста, как правило, задается современной теорией теста (IRT). Соответственно, согласно используемой модели, выбирается задание, которое наиболее информативно для оценивания тестируемого.

4. Процедура (алгоритм) набора баллов. После ответа на каждое задание оценка уровня знаний испытуемого обновляется. Если испытуемый отвечает на задание правильно, CAT оценивает способности испытуемого выше и наоборот.

5. Критерий выхода из теста. Алгоритм CAT осуществляет выбор заданий из банка и оценивание измеряемой способности тестируемого. Это может продолжаться до тех пор, пока не будет исчерпан банк заданий или пока не будет выполнен критерий выхода из теста. Как правило, тестирование прерывается, когда стандартная ошибка измерения способностей испытуемого опускается ниже определенной заданной отметки. Отсюда вытекает одно из преимуществ адаптивного тестирования – унифицированная точность оценок знаний испытуемых. Возможны и другие алгоритмы прерывания теста. Например, в случае, если тест разработан для категоризации тестируемых (по принципу «прошел тест/ провалил тест»), а не для количественного измерения тестируемой способности.